Übungsaufgaben zur Informationstheorie

Lösung zur Aufgabe 6.4.1 (Karten)

Wahrscheinlichkeit
$1 p(D1 ) = -- (A.6.1) 8-$
Wahrscheinlichkeit
$3 p(D1 ∧ D2 ) = ---- (A.6.2) -248$
Wahrscheinlichkeit
$p(D ∧ D ) = -1- (A.6.3) 1 2 64-$
Wahrscheinlichkeit
$1 p(D2 ) = -- (A.6.4) 8-$
Wahrscheinlichkeit
$1 p(D32) = -- (A.6.5) -8$

Lösung zur Aufgabe 6.4.2 (Lotto)

Informationsgehalt
$( ) ---1--- I (6er ) = ld p (6er ) = ld (13.983.816 ) = 23,737bit-$ (A.6.6)
Informationsgehalt
$( ) I(3er) = ld --1---- = ld (56,565 ) p(3er) ln(56,565) = ---------- = 5,822bit (A.6.7) ln(2)$
Informationsgehalt
$( 1 ) I(!6er) = ld ------- = − ld (p (!6er)) = 1,031-⋅ 10−7bit p(!6er ) --------------$ (A.6.8)

Informationsgehalt

( ) I(!3er) = ld ---1--- = − ld (p(!3er )) = 0,025733bit p(!3er) -----------

(A.6.9)

Lösung zur Aufgabe 6.4.3 (Binäre Entropie)

Funktionswerte binäre Entropiefunktion und Verlauf der binären Entropiefunktion

Abbildung A.6.1: Verlauf der binären Entropiefunktion H(p)

Lösung zur Aufgabe 6.4.4 (Entropie)

Bedingte Entropie
$H (Y |X ) = px0H (Y |X = 0) + px1H (Y |X = 1) (A.6.10) = 0,1 ⋅ 0,722bit + 0,9 ⋅ 0,722 ) = 0,722bit --------$
Transinformation zwischen Y und X
$I (Y ;X ) = H (Y) − H (Y |X ) (A.6.11) = 0,827bit − 0,722bit = 0,105bit --------$
Aussage
$I(X; Y ) = H (X ) − H (X |Y ) (A.6.12) = H (Y ) − H (Y|X ) = I(Y ;X )$