Gegeben sei ein Skatkartenspiel mit 32 Karten von denen 4 eine Dame sind.
Die Definition des Informationsgehalts hat die folgende, intuitiv einleuchtende, Eigenschaft, dass seltene bzw. unwahrscheinliche Ereignisse viel Information tragen.
Berechnen Sie den Informationsgehalt folgender Aussagen:
Gegeben sei ein Zufallsexperiment X mit lediglich zwei mögliche Werten x1 und x2 mit den Wahrscheinlichkeiten p1 = p(x1) und p2 = (1 − p1) .
Berechnen Sie die Entropie H(X) der binären Quelle für die Wahrscheinlichkeiten p1 = n⋅0,1 für n = 1… 5 und konstruieren Sie aus den Werten den Verlauf der binären Entropiefunktion H(p)!
Ein Kanal mit der Fehlerwahrscheinlichkeit pe = 0,2 verbindet die binären Quelle X = {0,1} mit den Wahrscheinlichkeiten px0 = 0,1 und px1 = 0,9 mit der binären Quelle Y = {0,1}.