6.3 Kanal

Kanal:

Mathematisch gesehen verbindet ein Kanal die Quelle X (Sender) und die Quelle Y (Senke, Empfänger) miteinander, wie in Abb. 6.3.1 dargestellt .

---

Abbildung 6.3.1: Zwei durch einen Kanal verbundene Quellen

---

→ Die Beschreibung des Kanals mit Verbundwahrscheinlichkeiten der Zeichenpaare ergibt die bedingten Wahrscheinlichkeiten zwischen den Zeichenpaaren.

Kopplung:

Bei einer Kopplung der beiden Quellen über den Kanal nimmt die Ungewissheit in dem Maße ab, wie die Ergebnisse einer Quelle Aussagen über die andere Quelle erlauben!

Beispiel 6.3.1
(Entropie)

Gegeben seien 2 binäre Quellen X = {0,1} und Y = {0,1} mit der Wahrscheinlichkeit p(x) und der Verbundwahrscheinlichkeit p(x,y), der Wahrscheinlichkeit, das je ein Ereignis aus X und Y gleichzeitig auftreten¹⁰

x	p(x)	p(x,y)
		y = 0	y = 1
0	0,1	0,08	0,02
1	0,9	0,18	0,72
p(y)		0,26	0,74

Berechnen Sie folgende Entropien:

1. Die Ungewissheit über das nächste Zeichen X, die Entropie der Quelle X:

   H(X) = −p_x0 ld(p_x0) − p_x1 ld(p_x1)

2. Die Ungewissheit über das nächste Zeichen Y , die Entropie der Quelle Y:

   H(Y ) = −p_y0 ld(p_y0) − p_y1 ld(p_y1)

3. Unsicherheit über X wenn Y = 0 empfangen wurde:

   H(X|Y =0) = −p_x0y0 ld(p_x0y0) − p_x1y0 ld(p_x1y0)

4. Unsicherheit über X wenn Y = 1 empfangen wurde:

   H(X|Y =1) = −p_x0y1 ld(p_x0y1) − p_x1y1 ld(p_x1y1)

5. Äquivokation oder Rückschlussentropie H(X|Y )

   H(X|Y ) = p_y0H(X|Y =0) + p_y1H(X|Y =1)

6. Transinformation zwischen X und Y I(X;Y)

   I(X; Y ) = H(X) − H(X|Y )

Lösung:

Die Lösung wird in der Vorlesung erarbeitet. Zahlenwerte sind:

1. Entropie der Quelle X
   
2. Entropie der Quelle Y
   
3. Unsicherheit über X wenn Y = 0 empfangen wurde
   
4. Unsicherheit über X wenn Y = 1 empfangen wurde
   
5. Äquivokation oder Rückschlussentropie
   

Begriffe:

der Informationstheorie nach Shannon:

Äquivokation:

H(X|Y ) →− Verluste im Kanal

auch Verlustentropie genannt, ist die Information, die bei der Übertragung über einen Kanal verloren geht.

Irrelevanz:

H(Y |X) → + Rauschen im Kanal

auch Fehlinformation genannt, ist die Information, die im Kanal selbst erzeugt wird und somit minimal sein soll.

Transinformation:

I(X; Y ) → = Nutzen des Kanals

oder gegenseitige Information gibt die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen an. Die auch Synentropie eines Kanals genannte Größe stellt den mittleren Informationsgehalt dar, der vom Sender zum Empfänger gelangt und somit maximal sein soll.

Diagramm:

Im Informationsflussdiagramm in Abb. 6.3.2 wird die Veränderung der zu übertragenden Nachricht mit Hilfe dieser Entropien

---

Abbildung 6.3.2: Informationsflussdiagramm

---

Entropie:

Die bisher nicht verwendete Irrelevanz oder Streuentropie H(Y |X) enthält die Ungewissheit der empfangenen Zeichen bei bekanntem Sendezeichen. Kanalstörungen wirken wie störende Informationsquellen!¹¹

Kanal:

Die Kanalkapazität ist das Maximum der Transinformation eines vorgegebenen Kanals. Sie ist unabhängig von einer tatsächlichen Quelle X.

(6.3.1)

• Kanal mit Additive White Gaussian Noise (AWGN):

  Die Kanalkapazität C in bits∕s eines bandbegrenzten Kanals B in kHz mit additivem weissem gaussverteiltem Rauschen der Rauschleistung P_N ist für eine Signalleistung P_S gegeben durch

  (6.3.2)

• Die Kanalkapazität hängt also von der Bandbreite des Kanals und dem Verhältnis von Signal- zur Rauschleistung ab
• Die Kanalkapazität eines rauschfreien Kanals (P_S∕P_N →∞) geht gegen unendlich.