Gibbs Ungleichung

Beschreibung

Gibbs Ungleichung gibt eine sehr hilfreiche Ungleichung, mit der sich die Entropie (Informationstheorie) von verschiedenen Wahrscheinlichkeitsverteilung vergleichen lässt.

Definition

Es seien $p(i),q(i)$ diskrete Wahrscheinlichkeitsverteilungen. Dann gilt: $-{\sum }_{i=1}^{n}p(i){\log }_2(p(i))\le {\sum }_{i=1}^{n}p(i){\log }_{2}q(i)$ mit Gleichheit genau dann wenn $p(i)=q(i)$.

lit_hammingArtProbability2018