Verbundentropie

Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.

Definition

Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:[1]

H ( X Y ) := − ∑ y ∈ Y ∑ x ∈ X P r { X = x , Y = y } log 2 ⁡ ( P r { X = x , Y = y } ) [  bit  Symbolpaar ] {\displaystyle H(XY):=-\sum _{y\in Y}\sum _{x\in X}Pr\{X=x,Y=y\}\log _{2}(Pr\{X=x,Y=y\})\quad {\Big [}{\frac {\text{ bit }}{\text{Symbolpaar}}}{\Big ]}}

Hierbei sind x {\displaystyle x} und y {\displaystyle y} jeweils einzelne Symbole aus den Quellenalphabeten X {\displaystyle X} und Y {\displaystyle Y} .

Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt

P r { X = x i , Y = y j } = P r { X = x i } ⋅ P r { y = y j } {\displaystyle Pr\{X=x_{i},Y=y_{j}\}=Pr\{X=x_{i}\}\cdot Pr\{y=y_{j}\}}

und somit

H ( X Y ) = H ( X ) + H ( Y ) {\displaystyle H(XY)=H(X)+H(Y)} .

Für mehr als zwei Quellen ergibt sich:

H ( X 1 , … , X n ) = − ∑ x 1 … ∑ x n P r { x 1 , … , x n } log 2 ⁡ ( P r { x 1 , … , x n } ) {\displaystyle H(X_{1},\dots ,X_{n})=-\sum _{x_{1}}\dots \sum _{x_{n}}Pr\{x_{1},\dots ,x_{n}\}\log _{2}(Pr\{x_{1},\dots ,x_{n}\})}

Siehe auch

Literatur

  • Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
  • Peter Bocker: Datenübertragung. Band I – Grundlagen. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.
  • Informationstheorie (abgerufen am 8. März 2018)
  • Kodierungs- und Informationstheorie (abgerufen am 8. März 2018)
  • Entropie (abgerufen am 8. März 2018)
  • Information und Kommunikation (abgerufen am 8. März 2018)

Einzelnachweise

  1. ↑ T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9