Information

Beschreibung

Sei $X$ eine Zufallsvariable. Die Information eines Ereignisses ist dessen “Unwahrscheinlichkeit” $1/p$. Je unwahrscheinlicher das Ereignis, desto mehr Information erhalten wir daraus. Die Information wird in Bits angegeben.

Definition

Für eine Zufallsvariable mit Wahrscheinlichkeit $p(i)$ für ein Ergebnis $i$ errechnet sich die Information eines Ergebnisses durch: $I(p(i))={\log }_2(\frac{1}{p(i)})$

Eigenschaften

Additivität

Seien $X$ und $Y$ zwei unabhängige Experimente und $x_i,y_j$ zwei Ergebnisse. Dann gilt für die Information der Hintereinanderausführung: $I(x_i{y}_j)=I(x_i)+I(y_j)$

lit_hammingArtProbability2018