Entropie (Informationstheorie)

Beschreibung

In der Informationstheorie oder der Stochastik beschreibt Entropie die Menge an Ungewissheit in einem System.

Haben wir beispielsweise ein Zufallsexperiment mit $2$ möglichen Ergebnissen, so ist das Zufallsexperiment viel “gewisser” als ein Experiment mit $1024$ möglichen Ergebnissen. Um das zu formalisieren, führen wir den Begriff der Entropie ein.

Definition

Die Entropie $H$ errechnet sich aus der erwarteten erhaltenen Information. Sie ist also: $H(X):=E(I(X))={\sum }_{i=1}^n{\log }_2(\frac{1}{p(i)})$

Entropie des Binären Experiments

Ein Bernoulli-Experiment taucht so häufig auf, dass es sinnvoll ist, die Entropie-Schreibweise zu vereinfachen. Statt dem $X$ schreiben wir die Trefferwahrscheinlichkeit $p$: $H(p)=H(X)=p\log \frac{1}{p}+q\log \frac{1}{q}$

Bedingte Entropie

In einem Experiment zu Bedingte Wahrscheinlichkeit (Didaktik) kann man ebenfalls die Entropie berechnen. Dies ist einfach die Entropie des Experiments unter der Bedingung, dass ein Ereignis eingetreten ist.

Eigenschaften

Logarithmuseigenschaft

So wie die Information hat auch die Entropie eine Logarithmuseigenschaft für unabhängige Ereignisse: $H(XY)=H(X)+H(Y)$

Additive Ungleichung

Würfelt man mit zwei Würfeln eine $7$ und wir wissen nicht, mit welchen Würfeln das passiert ist, ist Information verloren gegangen. Die Entropie wird nach diesem Prinzip bei Summen von Zufallsvariablen kleiner

Beispiele

Beispiel mit unendlicher Entropie

Betrachte die Wahrscheinlichkeitsverteilung $p(n)=\frac{1}{A(n\log (n{)}^2)},n\ge 2$ wobei $A$ der normierende Faktor ist.

Die Entropie der Verteilung ist unendlich groß.

mmingArtProbability2018]]