SlideShare ist ein Scribd-Unternehmen logo
O
Wege, Umwege, IrrwegeWege, Umwege, Irrwege
zur Kanalkapazit¨atzur Kanalkapazit¨at
– Die Entwicklung hocheffizienter digitaler ¨Ubertragungsverfahren –
Johannes Huber
Lehrstuhl f¨ur Informations¨ubertragung
Friedrich–Alexander–Universit¨at Erlangen–N¨urnberg
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 1/50
O
¨Ubersicht¨Ubersicht
Informationstheorie
Kanalcodierung und Kanalcodierungstheorem
Algebraische Kanalcodierung
Faltungscodierung
Turbo–Codes
LDPC–Codes und deren Wiederentdeckung
Polar Codes
Zusammenfassung und Schlußfolgerungen
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 2/50
O
InformationstheorieInformationstheorie
Das Shannonsche Informationsmaß:
Informationssymbol
X = {x1, x2, . . . , xi, . . . , xM }
Informationsempf¨anger: Beobachter eines Zufallsexperiments
Information: Verringerung der Unsicherheit ¨uber das Ergebnis eines
Zufallsexperiments
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 3/50
O
InformationstheorieInformationstheorie
Das Shannonsche Informationsmaß:
Informationssymbol
X = {x1, x2, . . . , xi, . . . , xM }
Informationsempf¨anger: Beobachter eines Zufallsexperiments
Information: Verringerung der Unsicherheit ¨uber das Ergebnis eines
Zufallsexperiments
Informationsmaß nach C.E. Shannon (1948):
IS(xi) = − log2(Pr{X = xi})
bit
Symbol
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 3/50
O
InformationstheorieInformationstheorie
Mittlerer Informationsgehalt je Quellensymbol:
→ Entropie der Informationsquelle
H(X) = −
M
i=1
Pr{X = xi} log2(Pr{X = xi})
bit
Symbol
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 4/50
O
InformationstheorieInformationstheorie
Mittlerer Informationsgehalt je Quellensymbol:
→ Entropie der Informationsquelle
H(X) = −
M
i=1
Pr{X = xi} log2(Pr{X = xi})
bit
Symbol
Beispiel: Vereinfachtes Lotto
X = {6−, 5−, 4−, 3 − Richtige, kein Gewinn}
H(X) = 0,14 bit/Ziehung
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 4/50
O
InformationstheorieInformationstheorie
Beispiel: Bin¨are Quelle
X ∈ {A, B} , Pr{X = A} = p , Pr{X = B} = 1 − p
H(X)
bit
Bin¨arsymbol
p
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 5/50
O
InformationstheorieInformationstheorie
Beispiel: Bin¨are Quelle
X ∈ {A, B} , Pr{X = A} = p , Pr{X = B} = 1 − p
fairer M¨unzwurf
↓H(X)
bit
Bin¨arsymbol
p
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 5/50
O
InformationstheorieInformationstheorie
Informations¨ubertragung ¨uber gest¨orte Kan¨ale:
Direkte Beobachtung von X nicht m¨oglich.
⇒ R¨uckschluß auf X anhand der Beobachtung von Y , aber leider
unzuverl¨assig!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 6/50
O
InformationstheorieInformationstheorie
Informations¨ubertragung ¨uber gest¨orte Kan¨ale:
Direkte Beobachtung von X nicht m¨oglich.
⇒ R¨uckschluß auf X anhand der Beobachtung von Y , aber leider
unzuverl¨assig!
Kanal: Mehr oder weniger zuf¨allige Erzeugung von Y aus X.
M × L bedingte Wahrscheinlichkeiten Pr{Y = yj | X = xi} = kij
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 6/50
O
InformationstheorieInformationstheorie
Beispiel: Symmetrischer Bin¨arkanal
BER: Bit Error Ratio
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 7/50
O
InformationstheorieInformationstheorie
Beispiel: Symmetrischer Bin¨arkanal
BER: Bit Error Ratio
Beispiel: Additives weißes gauß’sches Rauschen
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 7/50
O
InformationstheorieInformationstheorie
Transinformation, Kanalkapazit¨at:
Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y :
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
O
InformationstheorieInformationstheorie
Transinformation, Kanalkapazit¨at:
Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y :
− log2(Pr{X = xi})
Unsicherheit vorher
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
O
InformationstheorieInformationstheorie
Transinformation, Kanalkapazit¨at:
Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y :
− log2(Pr{X = xi}) − (− log2(Pr{X = xi | Y = yj}))
Unsicherheit vorher − Unsicherheit nachher
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
O
InformationstheorieInformationstheorie
Transinformation, Kanalkapazit¨at:
Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y :
− log2(Pr{X = xi}) − (− log2(Pr{X = xi | Y = yj})) =
Unsicherheit vorher − Unsicherheit nachher =
= ¨ubertragene Information
bit
Kanalbenutzung
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
O
InformationstheorieInformationstheorie
Im Mittel je Kanalbenutzung ¨ubertragene Information:
→ Transinformation
I(X; Y ) =
M
i=1
L
j=1
Pr{X = xi} kij log2
kij
M
l=1 Pr{X = xl} klj
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 9/50
O
InformationstheorieInformationstheorie
Im Mittel je Kanalbenutzung ¨ubertragene Information:
→ Transinformation
I(X; Y ) =
M
i=1
L
j=1
Pr{X = xi} kij log2
kij
M
l=1 Pr{X = xl} klj
Maximierung der Transinformation
Kanalkapazit¨at:
C = max
Pr{X}
I(X; Y )
bit
Kanalbenutzung
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 9/50
O
InformationstheorieInformationstheorie
Beispiel: Symmetrischer Bin¨arkanal mit Bit Error Ratio BER
C = 1 + BER log2(BER) + (1 − BER) log2(1 − BER)
bit
Kanalbenutzung
C
bit
Kanalbenutzung
BER
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 10/50
O
InformationstheorieInformationstheorie
Beispiel: Kanal mit additivem weißen gauß’schen Rauschen
Bei beschr¨ankter mittlerer Sendeleistung S = σ2
x wird die
Transinformation f¨ur kontinuierlich gaußverteilte Eingangsvariable X
maximiert:
Kanalkapazit¨at (AWGN–Kanal):
C =
1
2
log2 1 +
S
N
bit
Kanalbenutzung
Shannons ber¨uhmte Gleichung (1948).
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 11/50
O
InformationstheorieInformationstheorie
Kapazit¨at des AWGN–Kanals:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
O
InformationstheorieInformationstheorie
Kapazit¨at des AWGN–Kanals:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
O
InformationstheorieInformationstheorie
Kapazit¨at des AWGN–Kanals:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
O
InformationstheorieInformationstheorie
Kapazit¨at des AWGN–Kanals:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
O
InformationstheorieInformationstheorie
Kapazit¨at des AWGN–Kanals:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Redundante Kanalcodierung:
Wort aus n Bin¨arsymbolen Xi ∈ {0, 1}
⇒ Es existieren somit 2n
m¨ogliche verschiedene W¨orter
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 13/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Redundante Kanalcodierung:
Wort aus n Bin¨arsymbolen Xi ∈ {0, 1}
⇒ Es existieren somit 2n
m¨ogliche verschiedene W¨orter
Beispiele:
• n = 10 210
= 1024
• n = 100 2100
= 1,3 · 1030
• n = 1000 21000
= 1,1 · 10301
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 13/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information je Wort k bit Information je Wort
n Bin¨arsymbole
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information je Wort k bit Information je Wort
n Bin¨arsymbole
Von 2n
m¨oglichen W¨ortern sind nur 2k
Codew¨orter zugelassen → Code
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information je Wort k bit Information je Wort
n Bin¨arsymbole
Von 2n
m¨oglichen W¨ortern sind nur 2k
Codew¨orter zugelassen → Code
Mittlerer Informationsgehalt je Codesymbol → Rate des Code
R =
k
n
bit
Codesymbol
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information je Wort k bit Information je Wort
n Bin¨arsymbole
Von 2n
m¨oglichen W¨ortern sind nur 2k
Codew¨orter zugelassen → Code
Mittlerer Informationsgehalt je Codesymbol → Rate des Code
R =
k
n
bit
Codesymbol
Coderedundanz je bin¨arem Codesymbol:
ρ = 1 − R =
n − k
n
bit
Codesymbol
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information je Wort k bit Information je Wort
n Bin¨arsymbole
Von 2n
m¨oglichen W¨ortern sind nur 2k
Codew¨orter zugelassen → Code
Mittlerer Informationsgehalt je Codesymbol → Rate des Code
R =
k
n
bit
Codesymbol
Coderedundanz je bin¨arem Codesymbol:
ρ = 1 − R =
n − k
n
bit
Codesymbol
Je zugelassenem Codewort werden 2n−k
m¨ogliche W¨orter verworfen!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information/Wort k bit Information/Wort
n Bin¨arsymbole
Beispiel: Code mit Rate R = 0,6
bit
Codesymbol
• n = 100, k = 60 → Dichte =
1
1,1 · 1012
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information/Wort k bit Information/Wort
n Bin¨arsymbole
Beispiel: Code mit Rate R = 0,6
bit
Codesymbol
• n = 100, k = 60 → Dichte =
1
1,1 · 1012
• n = 1000, k = 600 → Dichte =
1
2,6 · 10120
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information/Wort k bit Information/Wort
n Bin¨arsymbole
Beispiel: Code mit Rate R = 0,6
bit
Codesymbol
• n = 100, k = 60 → Dichte =
1
1,1 · 1012
• n = 1000, k = 600 → Dichte =
1
2,6 · 10120
• n = 10000, k = 6000 → Dichte =
1
1,3 · 101204
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
k bit Information/Wort k bit Information/Wort
n Bin¨arsymbole
Beispiel: Code mit Rate R = 0,6
bit
Codesymbol
• n = 100, k = 60 → Dichte =
1
1,1 · 1012
• n = 1000, k = 600 → Dichte =
1
2,6 · 10120
• n = 10000, k = 6000 → Dichte =
1
1,3 · 101204
Die geringe Dichte zugelassener Codew¨orter erlaubt sichere Erkennung und
Korrektur von Fehlern!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Kanalcodierungstheorem (Shannon 1948):
Theorem:
Auch ¨uber einen gest¨orten ¨Ubertragungskanal kann Information prinzipiell mit
beliebig hoher Zuverl¨assigkeit ¨ubertragen werden, wenn man eine redundante
Kanalcodierung einsetzt und dabei die Rate R des Codes kleiner als die Ka-
pazit¨at C des Kanals sowie die Blockl¨ange n gen¨ugend groß gew¨ahlt werden.
¨Ubersteigt dahingegen die Coderate die Kanalkapazit¨at, dann ist eine zu-
verl¨assige Informations¨ubertragung prinzipiell unm¨oglich.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 16/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Kanalcodierungstheorem (Shannon 1948):
Theorem:
Auch ¨uber einen gest¨orten ¨Ubertragungskanal kann Information prinzipiell mit
beliebig hoher Zuverl¨assigkeit ¨ubertragen werden, wenn man eine redundante
Kanalcodierung einsetzt und dabei die Rate R des Codes kleiner als die Ka-
pazit¨at C des Kanals sowie die Blockl¨ange n gen¨ugend groß gew¨ahlt werden.
¨Ubersteigt dahingegen die Coderate die Kanalkapazit¨at, dann ist eine zu-
verl¨assige Informations¨ubertragung prinzipiell unm¨oglich.
Beweisverfahren: Berechnung einer oberen Schranke f¨ur den Mittelwert der Wort-
fehlerwahrscheinlichkeit f¨ur alle m¨oglichen Codes, bzw. wenn Codew¨orter zuf¨allig aus
der Menge der m¨oglichen W¨orter ausgew¨ahlt werden.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 16/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Kommentare und Interpretationen:
¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden
Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M)
bit Information sicher ¨ubertragen werden.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Kommentare und Interpretationen:
¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden
Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M)
bit Information sicher ¨ubertragen werden.
Durch den Kanalcode werden k bit Information auf n Codesymbole gleichm¨aßig
verteilt.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Kommentare und Interpretationen:
¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden
Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M)
bit Information sicher ¨ubertragen werden.
Durch den Kanalcode werden k bit Information auf n Codesymbole gleichm¨aßig
verteilt.
Eine zuverl¨assige ¨Ubertragung ist dann und nur dann m¨oglich, wenn im Mittel
nicht mehr Informations¨ubertragung vom Kanal verlangt wird, als dieser zu
¨ubertragen in der Lage ist.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Ein Kanalcode funktioniert wie eine Krankenversicherung:
• Krankheit: → St¨orung
• Pr¨amie: → Redundanz
• mehr Versicherte, bessere Mittellung: → große Codewortl¨ange
• Bankrott der Versicherung (mehr Kosten als Pr¨amien):
→ Codewortfehler
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Ein Kanalcode funktioniert wie eine Krankenversicherung:
• Krankheit: → St¨orung
• Pr¨amie: → Redundanz
• mehr Versicherte, bessere Mittellung: → große Codewortl¨ange
• Bankrott der Versicherung (mehr Kosten als Pr¨amien):
→ Codewortfehler
Informationstheorie liefert nur prinzipielle Aussagen:
• keine Hinweise auf praktikable Verfahren
• Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht
m¨oglich!
⇒ Suche nach algorithmischen Verfahren
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Ein Kanalcode funktioniert wie eine Krankenversicherung:
• Krankheit: → St¨orung
• Pr¨amie: → Redundanz
• mehr Versicherte, bessere Mittellung: → große Codewortl¨ange
• Bankrott der Versicherung (mehr Kosten als Pr¨amien):
→ Codewortfehler
Informationstheorie liefert nur prinzipielle Aussagen:
• keine Hinweise auf praktikable Verfahren
• Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht
m¨oglich!
⇒ Suche nach algorithmischen Verfahren
Bei großen Wortl¨angen sind (fast) alle m¨oglichen Codes gute Codes!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
O
Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem
Ein Kanalcode funktioniert wie eine Krankenversicherung:
• Krankheit: → St¨orung
• Pr¨amie: → Redundanz
• mehr Versicherte, bessere Mittellung: → große Codewortl¨ange
• Bankrott der Versicherung (mehr Kosten als Pr¨amien):
→ Codewortfehler
Informationstheorie liefert nur prinzipielle Aussagen:
• keine Hinweise auf praktikable Verfahren
• Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht
m¨oglich!
⇒ Suche nach algorithmischen Verfahren
Bei großen Wortl¨angen sind (fast) alle m¨oglichen Codes gute Codes!
Die Codiertheoreme best¨atigen die Relevanz des Shannonschen
Informationsmaßes
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Konstruktion von Codes mittels
Mathematik in endlichen K¨orpern (Galoisfelder)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Konstruktion von Codes mittels
Mathematik in endlichen K¨orpern (Galoisfelder)
• Algorithmische Verfahren f¨ur Codierung und Decodierung
• Codes mit großen Wortl¨angen werden praktikabel!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Konstruktion von Codes mittels
Mathematik in endlichen K¨orpern (Galoisfelder)
• Algorithmische Verfahren f¨ur Codierung und Decodierung
• Codes mit großen Wortl¨angen werden praktikabel!
Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter
unterscheiden: Hammingdistanz
Codewort A: 0 1 0 1 0 1 1 0 1
Codewort B: 1 1 1 1 0 0 1 0 1
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Konstruktion von Codes mittels
Mathematik in endlichen K¨orpern (Galoisfelder)
• Algorithmische Verfahren f¨ur Codierung und Decodierung
• Codes mit großen Wortl¨angen werden praktikabel!
Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter
unterscheiden: Hammingdistanz
Codewort A: 0 1 0 1 0 1 1 0 1
Codewort B: 1 1 1 1 0 0 1 0 1
Hammingdistanz δ = 3
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Konstruktion von Codes mittels
Mathematik in endlichen K¨orpern (Galoisfelder)
• Algorithmische Verfahren f¨ur Codierung und Decodierung
• Codes mit großen Wortl¨angen werden praktikabel!
Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter
unterscheiden: Hammingdistanz
Codewort A: 0 1 0 1 0 1 1 0 1
Codewort B: 1 1 1 1 0 0 1 0 1
Hammingdistanz δ = 3
Der Code, d.h. die Menge der zugelassenen Codew¨orter, wird zu einem
metrischen Raum!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Code als metrischer Raum bzgl. der Hammingdistanz:
Menge der 2n
m¨oglichen W¨orter
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Code als metrischer Raum bzgl. der Hammingdistanz:
Menge der 2n
m¨oglichen W¨orter
Menge der 2k
zugelassenen Codew¨orter (Code)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Code als metrischer Raum bzgl. der Hammingdistanz:
Menge der 2n
m¨oglichen W¨orter
Menge der 2k
zugelassenen Codew¨orter (Code)
Hammingdistanz δ
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Code als metrischer Raum bzgl. der Hammingdistanz:
Menge der 2n
m¨oglichen W¨orter
Menge der 2k
zugelassenen Codew¨orter (Code)
Hammingdistanz δ
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Optimierungsziel seit Hamming (1947):
m¨oglichst große minimale Hammingdistanz δmin
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Optimierungsziel seit Hamming (1947):
m¨oglichst große minimale Hammingdistanz δmin
Code mit minimaler Hammingdistanz δmin → sicher bis zu
t ≤
δmin − 1
2
Codesymbolfehler korrigierbar
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Optimierungsziel seit Hamming (1947):
m¨oglichst große minimale Hammingdistanz δmin
Code mit minimaler Hammingdistanz δmin → sicher bis zu
t ≤
δmin − 1
2
Codesymbolfehler korrigierbar
Effiziente algebraische Methoden zur Vorw¨artsfehlerkorrektur
(Forward Error Correction: FEC)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Optimierungsziel seit Hamming (1947):
m¨oglichst große minimale Hammingdistanz δmin
Code mit minimaler Hammingdistanz δmin → sicher bis zu
t ≤
δmin − 1
2
Codesymbolfehler korrigierbar
Effiziente algebraische Methoden zur Vorw¨artsfehlerkorrektur
(Forward Error Correction: FEC)
Bounded–Minimum–Distance (BMD) Fehlerkorrektur:
”
Kugel“ mit Radius t (bzgl. Hammingdistanz) um die Codew¨orter
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Bose–Chaudhuri–Hocquenghem (BCH) Codes (1959/60):
Konstruktion mittels Methoden der Signalverarbeitung, jedoch in finiten
K¨orpern:
⇒ K¨orpererweiterung, Diskrete Fouriertransformation, Tiefpassfilterung,
Abtasttheorem usw.
(Blahut 1979)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 22/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
Eb: Empfangsenergie je bit ¨ubertragener Information
N0: einseitige Rauschleistungsdichte
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
Eb: Empfangsenergie je bit ¨ubertragener Information
N0: einseitige Rauschleistungsdichte
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
Eb: Empfangsenergie je bit ¨ubertragener Information
N0: einseitige Rauschleistungsdichte
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
Eb: Empfangsenergie je bit ¨ubertragener Information
N0: einseitige Rauschleistungsdichte
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
Eb: Empfangsenergie je bit ¨ubertragener Information
N0: einseitige Rauschleistungsdichte
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
Eb: Empfangsenergie je bit ¨ubertragener Information
N0: einseitige Rauschleistungsdichte
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
5,8 dB Codegewinn bei BER ≈ 10−8
:
⇒ Reduktion der Sendeleistung um Faktor 3,8
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK):
5,8 dB Codegewinn bei BER ≈ 10−8
:
⇒ Reduktion der Sendeleistung um Faktor 3,8
6,0 dB Abstand zur Kapazit¨atsschranke
Halber Weg zur Kanalkapazit¨at!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Ursachen der beschr¨ankten Leistungsf¨ahigkeit algebraischer
Codierverfahren:
optimale Maximum–Likelihood–Decodierung
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 24/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Ursachen der beschr¨ankten Leistungsf¨ahigkeit algebraischer
Codierverfahren:
optimale Maximum–Likelihood–Decodierung
stattdessen Bounded–Minimum–Distance–Fehlerkorrektur
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 24/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Bin¨are Vorentscheidung ¨uber die Codesymbole vor der eigentlichen
Decodierung (Hard–Decision FEC)
⇒ Verlust von Zuverl¨assigkeitsinformation f¨ur die einzelnen Symbole
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 25/50
O
Algebraische BlockcodesAlgebraische Blockcodes
Bin¨are Vorentscheidung ¨uber die Codesymbole vor der eigentlichen
Decodierung (Hard–Decision FEC)
⇒ Verlust von Zuverl¨assigkeitsinformation f¨ur die einzelnen Symbole
Bisher keine effizienten Soft–Decision–Maximum–Likelihood–
Decodieralgorithmen f¨ur lange, algebraisch konstruierte Codes bekannt!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 25/50
O
FaltungscodesFaltungscodes
Scrambler (
”
Verw¨urfler“) f¨ur Bin¨arsequenzen:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 26/50
O
FaltungscodesFaltungscodes
Scrambler (
”
Verw¨urfler“) f¨ur Bin¨arsequenzen:
Ausgangsfolge = Faltung der Eingangsfolge mit der Impulsantwort g[i]
des linearen, dispersiven Systems A(z)/B(z)
mit z−1 : Bin¨are Speicherzelle (D-Flip-Flop)
: Addition modulo 2 (XOR)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 26/50
O
FaltungscodesFaltungscodes
Faltungscoder mit Rate 1/2:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
O
FaltungscodesFaltungscodes
Faltungscoder mit Rate 1/n:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
O
FaltungscodesFaltungscodes
Systematischer Faltungscoder mit Rate 1/n:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
O
FaltungscodesFaltungscodes
Systematischer Faltungscoder mit Rate 1/n:
Auswahl der Scrambler f¨ur gr¨oßtm¨ogliche minimale Hammingdistanz
zwischen unterschiedlichen Ausgangsfolgen X[l]
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen
Codesymbole
Pr {X[l] = 0 | Y [l]}
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen
Codesymbole
Pr {X[l] = 0 | Y [l]}
Decodierung: Suche nach Codewort mit gr¨oßter Wahrscheinlichkeit
⇒ Verwertung von Zuverl¨assigkeitsinformationen f¨ur die einzelnen
Symbole
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen
Codesymbole
Pr {X[l] = 0 | Y [l]}
Decodierung: Suche nach Codewort mit gr¨oßter Wahrscheinlichkeit
⇒ Verwertung von Zuverl¨assigkeitsinformationen f¨ur die einzelnen
Symbole
Soft–Decision–Decodierung
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Decodierung von Faltungscodes:
Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen
Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze
die gr¨oßte Wahrscheinlichkeit besitzt.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Decodierung von Faltungscodes:
Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen
Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze
die gr¨oßte Wahrscheinlichkeit besitzt.
Verwertung von Zuverl¨assigkeitsinformation:
Soft–Decision–Maximum–Likelihood–Sequence–Estimation
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Decodierung von Faltungscodes:
Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen
Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze
die gr¨oßte Wahrscheinlichkeit besitzt.
Verwertung von Zuverl¨assigkeitsinformation:
Soft–Decision–Maximum–Likelihood–Sequence–Estimation
Viterbi–Algorithmus (1967/1971)
Linear Programming (Bellman 1958)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
O
Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding
Decodierung von Faltungscodes:
Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen
Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze
die gr¨oßte Wahrscheinlichkeit besitzt.
Verwertung von Zuverl¨assigkeitsinformation:
Soft–Decision–Maximum–Likelihood–Sequence–Estimation
Viterbi–Algorithmus (1967/1971)
Linear Programming (Bellman 1958)
Komplexit¨at steigt exponentiell mit der Zahl der bin¨aren Speicherzellen!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
O
Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding
Decodierung von Faltungscodes:
Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen
Informationssymbole:
Pr {U[i] = 0 | (Y [0], Y [1], . . .)}
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
O
Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding
Decodierung von Faltungscodes:
Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen
Informationssymbole:
Pr {U[i] = 0 | (Y [0], Y [1], . . .)}
Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von
Zuverl¨assigkeitsinformation:
Soft–In/Soft–Out–Decoder (SISO)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
O
Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding
Decodierung von Faltungscodes:
Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen
Informationssymbole:
Pr {U[i] = 0 | (Y [0], Y [1], . . .)}
Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von
Zuverl¨assigkeitsinformation:
Soft–In/Soft–Out–Decoder (SISO)
Effizienter Algorithmus (Bahl, Cocke, Jelinek, Raviv 1974)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
O
Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding
Decodierung von Faltungscodes:
Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen
Informationssymbole:
Pr {U[i] = 0 | (Y [0], Y [1], . . .)}
Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von
Zuverl¨assigkeitsinformation:
Soft–In/Soft–Out–Decoder (SISO)
Effizienter Algorithmus (Bahl, Cocke, Jelinek, Raviv 1974)
Komplexit¨at steigt exponentiell mit der Zahl der bin¨aren Speicherzellen!
optimale Decodieralgorithmen verf¨ugbar, aber nur f¨ur relativ einfache Codes
Soft-Output Viterbi-Algorithmus (SOVA)
(Hagenauer, H¨oher / Huber, 1988)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
O
Faltungscodes: BeispielFaltungscodes: Beispiel
Faltungscode mit Rate R = 1/2:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
O
Faltungscodes: BeispielFaltungscodes: Beispiel
Faltungscode mit Rate R = 1/2:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
O
Faltungscodes: BeispielFaltungscodes: Beispiel
Faltungscode mit Rate R = 1/2:
• 6 dB Codegewinn bei BER ≈ 10−8
:
⇒ Reduktion der Sendeleistung um Faktor 4
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
O
Faltungscodes: BeispielFaltungscodes: Beispiel
Faltungscode mit Rate R = 1/2:
• 6 dB Codegewinn bei BER ≈ 10−8
:
⇒ Reduktion der Sendeleistung um Faktor 4
• Abstand zur Kapazit¨atsschranke: 5,8 dB
Halber Weg zur Kanalkapazit¨at!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
O
Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990
Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber
geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
O
Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990
Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber
geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung
Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache
Codes
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
O
Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990
Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber
geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung
Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache
Codes
Verkn¨upfung von algebraischer Blockcodierung und Faltungs-
codierung: NASA–Standard–Code: BER ≈ 10−8
bei 3,2 dB
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
O
Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990
Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber
geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung
Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache
Codes
Verkn¨upfung von algebraischer Blockcodierung und Faltungs-
codierung: NASA–Standard–Code: BER ≈ 10−8
bei 3,2 dB
3/4 des Weges zur Kanalkapazit¨at!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
O
Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990
Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber
geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung
Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache
Codes
Verkn¨upfung von algebraischer Blockcodierung und Faltungs-
codierung: NASA–Standard–Code: BER ≈ 10−8
bei 3,2 dB
3/4 des Weges zur Kanalkapazit¨at!
Die Kanalkapazit¨at erscheint unerreichbar!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
O
Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990
Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber
geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung
Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache
Codes
Verkn¨upfung von algebraischer Blockcodierung und Faltungs-
codierung: NASA–Standard–Code: BER ≈ 10−8
bei 3,2 dB
3/4 des Weges zur Kanalkapazit¨at!
Die Kanalkapazit¨at erscheint unerreichbar!
”
Theorem“ der Informationstheorie (Jacobs): Alle Codes sind gut, bis auf
diejenigen, die wir kennen und anwenden k¨onnen.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
O
Turbo–CodesTurbo–Codes
Parallele Verkettung von Faltungscodes:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
O
Turbo–CodesTurbo–Codes
Parallele Verkettung von Faltungscodes:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
O
Turbo–CodesTurbo–Codes
Parallele Verkettung von Faltungscodes:
Decodierung nach dem Turbo–Prinzip mit Soft–In/Soft–Out–Decoder
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
O
Turbo–CodesTurbo–Codes
Parallele Verkettung von Faltungscodes:
Decodierung nach dem Turbo–Prinzip mit Soft–In/Soft–Out–Decoder
Inspiriert durch die Arbeiten von Hagenauer, H¨oher / Huber zu
Soft-Output Viterbi-Decodierung
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
O
Turbo–CodesTurbo–Codes
Blockschaltbild der iterativen Decodierung:
C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993):
• Interpretation des SISO–Decoders als Signalverarbeitungsmodul
• Anwendung von Methoden der Regelungstechnik zur Stabilisierung des
rekursiven Decodierprozesses
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
O
Turbo–CodesTurbo–Codes
Blockschaltbild der iterativen Decodierung:
C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993):
• Interpretation des SISO–Decoders als Signalverarbeitungsmodul
• Anwendung von Methoden der Regelungstechnik zur Stabilisierung des
rekursiven Decodierprozesses
• Erfindung von Außenseitern
• nicht betriebsblind durch Fixierung auf Minimaldistanz
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
O
Turbo–CodesTurbo–Codes
Blockschaltbild der iterativen Decodierung:
C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993):
• Interpretation des SISO–Decoders als Signalverarbeitungsmodul
• Anwendung von Methoden der Regelungstechnik zur Stabilisierung des
rekursiven Decodierprozesses
• Erfindung von Außenseitern
• nicht betriebsblind durch Fixierung auf Minimaldistanz
Tutorial Paper von Hagenauer et. al. 1996
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
O
Turbo–Codes — BeispielTurbo–Codes — Beispiel
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
O
Turbo–Codes — BeispielTurbo–Codes — Beispiel
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
O
Turbo–Codes — BeispielTurbo–Codes — Beispiel
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1Iteration 2
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
O
Turbo–Codes — BeispielTurbo–Codes — Beispiel
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1Iteration 23
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
O
Turbo–Codes — BeispielTurbo–Codes — Beispiel
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1Iteration 236
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
O
Turbo–Codes — BeispielTurbo–Codes — Beispiel
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1Iteration 23618
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
O
Turbo–Codes — BeispielTurbo–Codes — Beispiel
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1Iteration 23618
10 log10(Eb/N0) in dB −→
BER−→
Theor.Grenze,0,19dB
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
95% des Weges zur Kanalkapazit¨at!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
O
Turbo–Codes — KennzeichenTurbo–Codes — Kennzeichen
Optimale Decodierbarkeit von strukturierten Teilcodes
Anwendung des Prinzips der Zufallscodierung
→ Shannons Beweistechnik!
→ pseudozuf¨allige Permutation zur Verkn¨upfung der Teilcodes
⇒ Verkn¨upfung der Zufallscodierung mit algorithmischen Verfahren f¨ur
Codierung und Decodierung von Teilcodes
v¨ollige Vernachl¨assigung der Minimaldistanz bei der Codekonstruktion
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 36/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Stefan ten Brink 1999
Analyse des iterativen Decodiervorgangs: Bestimme minimalen
St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Stefan ten Brink 1999
Analyse des iterativen Decodiervorgangs: Bestimme minimalen
St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Stefan ten Brink 1999
Analyse des iterativen Decodiervorgangs: Bestimme minimalen
St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Stefan ten Brink 1999
Analyse des iterativen Decodiervorgangs: Bestimme minimalen
St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Stefan ten Brink 1999
Analyse des iterativen Decodiervorgangs: Bestimme minimalen
St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1)
I(U; E2) = I(U; A2) ; I(U; A1) = I(U; E1)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Stefan ten Brink 1999
Analyse des iterativen Decodiervorgangs: Bestimme minimalen
St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1)
I(U; E2) = I(U; A2) ; I(U; A1) = I(U; E1)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Geschlossener Tunnel
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Geschlossener Tunnel ⇒ keine Konvergenz bei (1,1)!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
Abstand zur Kanalkapazit¨at: Fl¨ache des Konvergenztunnels
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
kapazit¨atserreichende Turbo–Codes (ten Brink 2000):
• irregul¨are Turbo–Codes (K¨otter, T¨uchler)
• Multiple Turbo–Codes (Huber, H¨uttinger)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 39/50
O
Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart
kapazit¨atserreichende Turbo–Codes (ten Brink 2000):
• irregul¨are Turbo–Codes (K¨otter, T¨uchler)
• Multiple Turbo–Codes (Huber, H¨uttinger)
Das Ziel ist nach 52 Jahren erreicht!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 39/50
O
Turbo–CodesTurbo–Codes
Theorem (Lazic 1995):
¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov
Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen
Bin¨arkanals nicht erreichen!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
O
Turbo–CodesTurbo–Codes
Theorem (Lazic 1995):
¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov
Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen
Bin¨arkanals nicht erreichen!
Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente,
mehrstufige ¨Ubertragungsverfahren:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
O
Turbo–CodesTurbo–Codes
Theorem (Lazic 1995):
¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov
Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen
Bin¨arkanals nicht erreichen!
Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente,
mehrstufige ¨Ubertragungsverfahren:
Erfolg durch informationstheoretischen Ratenentwurf (Huber/Wachsmann
1993/1996) f¨ur Multilevel Codes anstelle Maximierung der minimalen
Distanz im Signalraum.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
O
Turbo–CodesTurbo–Codes
Theorem (Lazic 1995):
¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov
Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen
Bin¨arkanals nicht erreichen!
Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente,
mehrstufige ¨Ubertragungsverfahren:
Erfolg durch informationstheoretischen Ratenentwurf (Huber/Wachsmann
1993/1996) f¨ur Multilevel Codes anstelle Maximierung der minimalen
Distanz im Signalraum.
Optimierung von Codes nach Kriterium
große Minimaldistanz
erweist sich als Irrweg!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
O
LDPC–CodesLDPC–Codes
Low–Density–Parity–Check–Codes:
Pr¨ufgleichungen eines linearen Codes
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
O
LDPC–CodesLDPC–Codes
Low–Density–Parity–Check–Codes:
Pr¨ufgleichungen eines linearen Codes
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
O
LDPC–CodesLDPC–Codes
Low–Density–Parity–Check–Codes:
Pr¨ufgleichungen eines linearen Codes
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . .
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
O
LDPC–CodesLDPC–Codes
Low–Density–Parity–Check–Codes:
Pr¨ufgleichungen eines linearen Codes
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . .
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
O
LDPC–CodesLDPC–Codes
Low–Density–Parity–Check–Codes:
Pr¨ufgleichungen eines linearen Codes
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . .
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
O
LDPC–CodesLDPC–Codes
Low–Density–Parity–Check–Codes:
Pr¨ufgleichungen eines linearen Codes
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . .
Zusammenfassung aller Pr¨ufgleichungen in einer (n − k) × n
Parity–Check–Matrix H
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
O
LDPC–CodesLDPC–Codes
Low–Density–Parity–Check–Codes:
Pr¨ufgleichungen eines linearen Codes
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . .
Zusammenfassung aller Pr¨ufgleichungen in einer (n − k) × n
Parity–Check–Matrix H
f¨ur alle zugelassenen Codew¨orter x gilt
xHT
= 0
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
O
LDPC–CodesLDPC–Codes
Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols
(wie beim Wiederholungscode!)
• Intrinsische Information ¨uber X1
X1 → Y1 → pin = Pr{X1 = 0 | Y1}
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
O
LDPC–CodesLDPC–Codes
Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols
(wie beim Wiederholungscode!)
• Intrinsische Information ¨uber X1
X1 → Y1 → pin = Pr{X1 = 0 | Y1}
• Extrinsische Information ¨uber X1
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 → X1 = X5 ⊕ X9 ⊕ X13
X5, X9, X13 → Y5, Y9, Y13 → pex = Pr{X1 = 0 | Y5, Y9, Y13}
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
O
LDPC–CodesLDPC–Codes
Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols
(wie beim Wiederholungscode!)
• Intrinsische Information ¨uber X1
X1 → Y1 → pin = Pr{X1 = 0 | Y1}
• Extrinsische Information ¨uber X1
X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 → X1 = X5 ⊕ X9 ⊕ X13
X5, X9, X13 → Y5, Y9, Y13 → pex = Pr{X1 = 0 | Y5, Y9, Y13}
• Verkn¨upfen beider Wahrscheinlichkeiten
Pr{X1 = 0 | . . .} =
pinpex
pinpex + (1 − pin)(1 − pex)
Codegesetze genutzt zur Erh¨ohung der Zuverl¨assigkeit!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
O
LDPC–CodesLDPC–Codes
Iterativer Prozess:
→ Erneute Verbesserung von Pr{Xi = 0 | . . .} durch Wiederholung
m¨oglich!
Nur g¨ultig, solange die statistische Unabh¨angigkeit der unterschiedlichen
Aussagen ¨uber ein Symbol gewahrt bleibt!
Es sollten keine Kreise (Zyklen) bei der Informationsweitergabe entstehen.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 43/50
O
LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963)
Wahl der Pr¨ufgleichungen m¨oglichst zuf¨allig
Jedes Symbol ist an J Pr¨ufgleichungen beteiligt
Jede Pr¨ufgleichung erstreckt sich ¨uber K Symbole
Coderate R = 1 − J
K
(Beispiel: J = 3, K = 6, R = 1
2 )
Vermeidung von Zyklen durch sehr große Wortl¨ange und durch
Verwendung weniger Symbole in der Pr¨ufgleichung (Low Density)
Verkn¨upfung von Struktur und Zufallsentwurf
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 44/50
O
LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963)
Iterativer Decodierprozeß mit Ber¨ucksichtigung von
Zuverl¨assigkeitsinformation f¨ur die einzelnen Codesymbole!
einfachste Teildecoder:
• Single–Parity–Check–Code
• Wiederholungscode (Repetition Code)
In den 60er Jahren weder theoretisch noch simulativ bei großen
Wortl¨angen und sehr vielen Iterationen analysierbar
Eher bescheidene Leistungsdaten bei handhabbaren kurzen Codes
Nicht vorgebbare und daher meist geringe minimale Hammingdistanz
⇒ als
”
schlechte“ Codes verworfen
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 45/50
O
LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963)
Iterativer Decodierprozeß mit Ber¨ucksichtigung von
Zuverl¨assigkeitsinformation f¨ur die einzelnen Codesymbole!
einfachste Teildecoder:
• Single–Parity–Check–Code
• Wiederholungscode (Repetition Code)
In den 60er Jahren weder theoretisch noch simulativ bei großen
Wortl¨angen und sehr vielen Iterationen analysierbar
Eher bescheidene Leistungsdaten bei handhabbaren kurzen Codes
Nicht vorgebbare und daher meist geringe minimale Hammingdistanz
⇒ als
”
schlechte“ Codes verworfen
Fallen ab 1965 der Vergessenheit anheim!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 45/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und
Turbo–Codes (MacKay 1996)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und
Turbo–Codes (MacKay 1996)
Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen
Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und
Turbo–Codes (MacKay 1996)
Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen
Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes
Entwicklung von
”
Density Evolution“ zur Analyse und Optimierung von
LDPC–Codes (Richardson/Urbanke)
• Irregul¨are LDPC–Codes: unterschiedlich viele Symbole je
Pr¨ufgleichung und unterschiedlich viele Pr¨ufgleichungen je Symbol
• LDPC–Codes erreichen f¨ur n → ∞ die Kanalkapazit¨at
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und
Turbo–Codes (MacKay 1996)
Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen
Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes
Entwicklung von
”
Density Evolution“ zur Analyse und Optimierung von
LDPC–Codes (Richardson/Urbanke)
• Irregul¨are LDPC–Codes: unterschiedlich viele Symbole je
Pr¨ufgleichung und unterschiedlich viele Pr¨ufgleichungen je Symbol
• LDPC–Codes erreichen f¨ur n → ∞ die Kanalkapazit¨at
Schranken f¨ur EXIT–Kurven f¨ur LDPC–Codes unabh¨angig von den
speziellen Kanaleigenschaften (Huber/Land, Shamai/Sutzkover 2004)
⇒ Analytische Optimierung von LDPC–Codes wird m¨oglich!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
2
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
210
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
21020
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
2102030
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
2102030
40
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
2102030
40
100
10 log10(Eb/N0) in dB −→
BER−→
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung
0 1 2 3 4 5 6
10
−5
10
−4
10
−3
10
−2
10
−1
10
0
Uncodiert
Iteration 1
2102030
40
100
10 log10(Eb/N0) in dB −→
BER−→
Theor.Grenze,0,19dB
L¨ange 216
= 65536, Rate R = 1/2, AWGN–2ASK–Kanal
Das Tor zur Kanalkapazit¨at stand bereits 1963 weit offen!
Der Umweg erforderte 33 Jahre harter Arbeit!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
O
Polar Codes (Arikan 2007)Polar Codes (Arikan 2007)
1
0
0
0
0
0
0
0
1
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
1
1
1
1
0
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
0
1
1
1
1
1
1
1
1
der Symbole
unsichere ÜbertragungX Y
n × n Polar Matrix
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
O
Polar Codes (Arikan 2007)Polar Codes (Arikan 2007)
1
0
0
0
0
0
0
0
1
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
1
1
1
1
0
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
0
1
1
1
1
1
1
1
1
der Symbole
unsichere Übertragung
sehr unsichere
Symbole
sehr sichere
Symbole
X Y
n × n Polar Matrix
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
O
Polar Codes (Arikan 2007)Polar Codes (Arikan 2007)
1
0
0
0
0
0
0
0
1
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
1
1
1
1
0
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
0
1
1
1
1
1
1
1
1
der Symbole
unsichere Übertragung
sehr unsichere
Symbole
sehr sichere
Symbole
X Y
n × n Polar Matrix
0
0
0
0
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
O
Polar Codes (Arikan 2007)Polar Codes (Arikan 2007)
1
0
0
0
0
0
0
0
1
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
1
1
1
1
0
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
0
1
1
1
1
1
1
1
1
der Symbole
unsichere Übertragung
sehr unsichere
Symbole
sehr sichere
Symbole
X Y
n × n Polar Matrix
0
0
0
0
Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n))
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
O
Polar Codes (Arikan 2007)Polar Codes (Arikan 2007)
1
0
0
0
0
0
0
0
1
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
1
1
1
1
0
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
0
1
1
1
1
1
1
1
1
der Symbole
unsichere Übertragung
sehr unsichere
Symbole
sehr sichere
Symbole
X Y
n × n Polar Matrix
0
0
0
0
Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n))
⇒ Anwendung der Kettenregel f¨ur die Transinformation
(vgl. Huber / Wachsmann
”
Codierte Modulation“ 1993)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
O
Polar Codes (Arikan 2007)Polar Codes (Arikan 2007)
1
0
0
0
0
0
0
0
1
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
1
1
1
1
0
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
0
1
1
1
1
1
1
1
1
der Symbole
unsichere Übertragung
sehr unsichere
Symbole
sehr sichere
Symbole
X Y
n × n Polar Matrix
0
0
0
0
Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n))
⇒ Anwendung der Kettenregel f¨ur die Transinformation
(vgl. Huber / Wachsmann
”
Codierte Modulation“ 1993)
Beweis der Polarisierungseigenschaft und der Erreichbarkeit der
Kanalkapazit¨at anhand von
”
Extremes in Information Combining“
(Huber / Land 2004)
E {WER} = 2−
√
nEp(R)
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
O
Polar Codes (Arikan 2007)Polar Codes (Arikan 2007)
1
0
0
0
0
0
0
0
1
1
0
0
0
0
0
0
1
0
1
0
0
0
0
0
1
1
1
1
0
0
0
0
1
0
0
0
1
0
0
0
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
0
1
1
1
1
1
1
1
1
der Symbole
unsichere Übertragung
sehr unsichere
Symbole
sehr sichere
Symbole
X Y
n × n Polar Matrix
0
0
0
0
Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n))
⇒ Anwendung der Kettenregel f¨ur die Transinformation
(vgl. Huber / Wachsmann
”
Codierte Modulation“ 1993)
Beweis der Polarisierungseigenschaft und der Erreichbarkeit der
Kanalkapazit¨at anhand von
”
Extremes in Information Combining“
(Huber / Land 2004)
E {WER} = 2−
√
nEp(R)
Konstruktionsprinzip wie bei Reed–Muller–Code, jedoch Auswahl von
aktiven Zeilen f¨ur Generatormatrix nicht nach dem Kriterium
max. Minimaldistanz
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
O
ZusammenfassungZusammenfassung
Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf
das Optimierungskriterium Minimaldistanz verstellt.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
O
ZusammenfassungZusammenfassung
Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf
das Optimierungskriterium Minimaldistanz verstellt.
Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen
Decodierverfahren schließlich zum Ziel.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
O
ZusammenfassungZusammenfassung
Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf
das Optimierungskriterium Minimaldistanz verstellt.
Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen
Decodierverfahren schließlich zum Ziel.
⇒ Dieser Weg w¨are durch die Beweistechnik der
Zufallscodierung in der Informationstheorie eigentlich
vorgezeichnet gewesen!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
O
ZusammenfassungZusammenfassung
Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf
das Optimierungskriterium Minimaldistanz verstellt.
Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen
Decodierverfahren schließlich zum Ziel.
⇒ Dieser Weg w¨are durch die Beweistechnik der
Zufallscodierung in der Informationstheorie eigentlich
vorgezeichnet gewesen!
Manchmal kann es Jahrzehnte dauern, bis die Zeit zur technischen
Umsetzung genialer Erfindungen reif wird.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
O
SchlussfolgerungenSchlussfolgerungen
Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik:
• Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra,
diskrete Mathematik, Numerik, Stochastik usw.)
• Systemtheorie, Informations- und Codierungstheorie
• Digitale Signalverarbeitung
• Hochfrequenztechnik, Mikroelektronik
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
O
SchlussfolgerungenSchlussfolgerungen
Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik:
• Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra,
diskrete Mathematik, Numerik, Stochastik usw.)
• Systemtheorie, Informations- und Codierungstheorie
• Digitale Signalverarbeitung
• Hochfrequenztechnik, Mikroelektronik
Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der
Lage, die aktuelle Technik zu verstehen und davon ausgehend neue,
konkurrenzf¨ahige Technik zu entwickeln.
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
O
SchlussfolgerungenSchlussfolgerungen
Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik:
• Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra,
diskrete Mathematik, Numerik, Stochastik usw.)
• Systemtheorie, Informations- und Codierungstheorie
• Digitale Signalverarbeitung
• Hochfrequenztechnik, Mikroelektronik
Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der
Lage, die aktuelle Technik zu verstehen und davon ausgehend neue,
konkurrenzf¨ahige Technik zu entwickeln.
Nichts ist praktischer als eine gute Theorie!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
O
SchlussfolgerungenSchlussfolgerungen
Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik:
• Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra,
diskrete Mathematik, Numerik, Stochastik usw.)
• Systemtheorie, Informations- und Codierungstheorie
• Digitale Signalverarbeitung
• Hochfrequenztechnik, Mikroelektronik
Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der
Lage, die aktuelle Technik zu verstehen und davon ausgehend neue,
konkurrenzf¨ahige Technik zu entwickeln.
Nichts ist praktischer als eine gute Theorie!
Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von
der theoretischen Erkenntnis zum Produkt dramatisch:
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
O
SchlussfolgerungenSchlussfolgerungen
Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik:
• Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra,
diskrete Mathematik, Numerik, Stochastik usw.)
• Systemtheorie, Informations- und Codierungstheorie
• Digitale Signalverarbeitung
• Hochfrequenztechnik, Mikroelektronik
Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der
Lage, die aktuelle Technik zu verstehen und davon ausgehend neue,
konkurrenzf¨ahige Technik zu entwickeln.
Nichts ist praktischer als eine gute Theorie!
Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von
der theoretischen Erkenntnis zum Produkt dramatisch:
Die Theorie ist der direkte Weg zur Praxis!
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
O
SchlussfolgerungenSchlussfolgerungen
Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik:
• Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra,
diskrete Mathematik, Numerik, Stochastik usw.)
• Systemtheorie, Informations- und Codierungstheorie
• Digitale Signalverarbeitung
• Hochfrequenztechnik, Mikroelektronik
Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der
Lage, die aktuelle Technik zu verstehen und davon ausgehend neue,
konkurrenzf¨ahige Technik zu entwickeln.
Nichts ist praktischer als eine gute Theorie!
Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von
der theoretischen Erkenntnis zum Produkt dramatisch:
Die Theorie ist der direkte Weg zur Praxis!
Was macht in diesem Umfeld ein Bachelor?
Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50

Weitere ähnliche Inhalte

Mehr von Förderverein Technische Fakultät

Supervisory control of business processes
Supervisory control of business processesSupervisory control of business processes
Supervisory control of business processes
Förderverein Technische Fakultät
 
The Digital Transformation of Education: A Hyper-Disruptive Era through Block...
The Digital Transformation of Education: A Hyper-Disruptive Era through Block...The Digital Transformation of Education: A Hyper-Disruptive Era through Block...
The Digital Transformation of Education: A Hyper-Disruptive Era through Block...
Förderverein Technische Fakultät
 
A Game of Chess is Like a Swordfight.pdf
A Game of Chess is Like a Swordfight.pdfA Game of Chess is Like a Swordfight.pdf
A Game of Chess is Like a Swordfight.pdf
Förderverein Technische Fakultät
 
From Mind to Meta.pdf
From Mind to Meta.pdfFrom Mind to Meta.pdf
From Mind to Meta.pdf
Förderverein Technische Fakultät
 
Miniatures Design for Tabletop Games.pdf
Miniatures Design for Tabletop Games.pdfMiniatures Design for Tabletop Games.pdf
Miniatures Design for Tabletop Games.pdf
Förderverein Technische Fakultät
 
Distributed Systems in the Post-Moore Era.pptx
Distributed Systems in the Post-Moore Era.pptxDistributed Systems in the Post-Moore Era.pptx
Distributed Systems in the Post-Moore Era.pptx
Förderverein Technische Fakultät
 
Don't Treat the Symptom, Find the Cause!.pptx
Don't Treat the Symptom, Find the Cause!.pptxDon't Treat the Symptom, Find the Cause!.pptx
Don't Treat the Symptom, Find the Cause!.pptx
Förderverein Technische Fakultät
 
Engineering Serverless Workflow Applications in Federated FaaS.pdf
Engineering Serverless Workflow Applications in Federated FaaS.pdfEngineering Serverless Workflow Applications in Federated FaaS.pdf
Engineering Serverless Workflow Applications in Federated FaaS.pdf
Förderverein Technische Fakultät
 
The Role of Machine Learning in Fluid Network Control and Data Planes.pdf
The Role of Machine Learning in Fluid Network Control and Data Planes.pdfThe Role of Machine Learning in Fluid Network Control and Data Planes.pdf
The Role of Machine Learning in Fluid Network Control and Data Planes.pdf
Förderverein Technische Fakultät
 
Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...
Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...
Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...
Förderverein Technische Fakultät
 
Towards a data driven identification of teaching patterns.pdf
Towards a data driven identification of teaching patterns.pdfTowards a data driven identification of teaching patterns.pdf
Towards a data driven identification of teaching patterns.pdf
Förderverein Technische Fakultät
 
Förderverein Technische Fakultät.pptx
Förderverein Technische Fakultät.pptxFörderverein Technische Fakultät.pptx
Förderverein Technische Fakultät.pptx
Förderverein Technische Fakultät
 
The Computing Continuum.pdf
The Computing Continuum.pdfThe Computing Continuum.pdf
The Computing Continuum.pdf
Förderverein Technische Fakultät
 
East-west oriented photovoltaic power systems: model, benefits and technical ...
East-west oriented photovoltaic power systems: model, benefits and technical ...East-west oriented photovoltaic power systems: model, benefits and technical ...
East-west oriented photovoltaic power systems: model, benefits and technical ...
Förderverein Technische Fakultät
 
Machine Learning in Finance via Randomization
Machine Learning in Finance via RandomizationMachine Learning in Finance via Randomization
Machine Learning in Finance via Randomization
Förderverein Technische Fakultät
 
IT does not stop
IT does not stopIT does not stop
Advances in Visual Quality Restoration with Generative Adversarial Networks
Advances in Visual Quality Restoration with Generative Adversarial NetworksAdvances in Visual Quality Restoration with Generative Adversarial Networks
Advances in Visual Quality Restoration with Generative Adversarial Networks
Förderverein Technische Fakultät
 
Recent Trends in Personalization at Netflix
Recent Trends in Personalization at NetflixRecent Trends in Personalization at Netflix
Recent Trends in Personalization at Netflix
Förderverein Technische Fakultät
 
Industriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdf
Industriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdfIndustriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdf
Industriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdf
Förderverein Technische Fakultät
 
Introduction to 5G from radio perspective
Introduction to 5G from radio perspectiveIntroduction to 5G from radio perspective
Introduction to 5G from radio perspective
Förderverein Technische Fakultät
 

Mehr von Förderverein Technische Fakultät (20)

Supervisory control of business processes
Supervisory control of business processesSupervisory control of business processes
Supervisory control of business processes
 
The Digital Transformation of Education: A Hyper-Disruptive Era through Block...
The Digital Transformation of Education: A Hyper-Disruptive Era through Block...The Digital Transformation of Education: A Hyper-Disruptive Era through Block...
The Digital Transformation of Education: A Hyper-Disruptive Era through Block...
 
A Game of Chess is Like a Swordfight.pdf
A Game of Chess is Like a Swordfight.pdfA Game of Chess is Like a Swordfight.pdf
A Game of Chess is Like a Swordfight.pdf
 
From Mind to Meta.pdf
From Mind to Meta.pdfFrom Mind to Meta.pdf
From Mind to Meta.pdf
 
Miniatures Design for Tabletop Games.pdf
Miniatures Design for Tabletop Games.pdfMiniatures Design for Tabletop Games.pdf
Miniatures Design for Tabletop Games.pdf
 
Distributed Systems in the Post-Moore Era.pptx
Distributed Systems in the Post-Moore Era.pptxDistributed Systems in the Post-Moore Era.pptx
Distributed Systems in the Post-Moore Era.pptx
 
Don't Treat the Symptom, Find the Cause!.pptx
Don't Treat the Symptom, Find the Cause!.pptxDon't Treat the Symptom, Find the Cause!.pptx
Don't Treat the Symptom, Find the Cause!.pptx
 
Engineering Serverless Workflow Applications in Federated FaaS.pdf
Engineering Serverless Workflow Applications in Federated FaaS.pdfEngineering Serverless Workflow Applications in Federated FaaS.pdf
Engineering Serverless Workflow Applications in Federated FaaS.pdf
 
The Role of Machine Learning in Fluid Network Control and Data Planes.pdf
The Role of Machine Learning in Fluid Network Control and Data Planes.pdfThe Role of Machine Learning in Fluid Network Control and Data Planes.pdf
The Role of Machine Learning in Fluid Network Control and Data Planes.pdf
 
Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...
Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...
Nonequilibrium Network Dynamics_Inference, Fluctuation-Respones & Tipping Poi...
 
Towards a data driven identification of teaching patterns.pdf
Towards a data driven identification of teaching patterns.pdfTowards a data driven identification of teaching patterns.pdf
Towards a data driven identification of teaching patterns.pdf
 
Förderverein Technische Fakultät.pptx
Förderverein Technische Fakultät.pptxFörderverein Technische Fakultät.pptx
Förderverein Technische Fakultät.pptx
 
The Computing Continuum.pdf
The Computing Continuum.pdfThe Computing Continuum.pdf
The Computing Continuum.pdf
 
East-west oriented photovoltaic power systems: model, benefits and technical ...
East-west oriented photovoltaic power systems: model, benefits and technical ...East-west oriented photovoltaic power systems: model, benefits and technical ...
East-west oriented photovoltaic power systems: model, benefits and technical ...
 
Machine Learning in Finance via Randomization
Machine Learning in Finance via RandomizationMachine Learning in Finance via Randomization
Machine Learning in Finance via Randomization
 
IT does not stop
IT does not stopIT does not stop
IT does not stop
 
Advances in Visual Quality Restoration with Generative Adversarial Networks
Advances in Visual Quality Restoration with Generative Adversarial NetworksAdvances in Visual Quality Restoration with Generative Adversarial Networks
Advances in Visual Quality Restoration with Generative Adversarial Networks
 
Recent Trends in Personalization at Netflix
Recent Trends in Personalization at NetflixRecent Trends in Personalization at Netflix
Recent Trends in Personalization at Netflix
 
Industriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdf
Industriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdfIndustriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdf
Industriepraktikum_ Unterstützung bei Projekten in der Automatisierung.pdf
 
Introduction to 5G from radio perspective
Introduction to 5G from radio perspectiveIntroduction to 5G from radio perspective
Introduction to 5G from radio perspective
 

Wege, Umwege, Irrwege zur Kanalkapazität : Zur Geschichte der Entwicklung hocheffizienter digitaler Übertragungsverfahren

  • 1. O Wege, Umwege, IrrwegeWege, Umwege, Irrwege zur Kanalkapazit¨atzur Kanalkapazit¨at – Die Entwicklung hocheffizienter digitaler ¨Ubertragungsverfahren – Johannes Huber Lehrstuhl f¨ur Informations¨ubertragung Friedrich–Alexander–Universit¨at Erlangen–N¨urnberg Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 1/50
  • 2. O ¨Ubersicht¨Ubersicht Informationstheorie Kanalcodierung und Kanalcodierungstheorem Algebraische Kanalcodierung Faltungscodierung Turbo–Codes LDPC–Codes und deren Wiederentdeckung Polar Codes Zusammenfassung und Schlußfolgerungen Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 2/50
  • 3. O InformationstheorieInformationstheorie Das Shannonsche Informationsmaß: Informationssymbol X = {x1, x2, . . . , xi, . . . , xM } Informationsempf¨anger: Beobachter eines Zufallsexperiments Information: Verringerung der Unsicherheit ¨uber das Ergebnis eines Zufallsexperiments Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 3/50
  • 4. O InformationstheorieInformationstheorie Das Shannonsche Informationsmaß: Informationssymbol X = {x1, x2, . . . , xi, . . . , xM } Informationsempf¨anger: Beobachter eines Zufallsexperiments Information: Verringerung der Unsicherheit ¨uber das Ergebnis eines Zufallsexperiments Informationsmaß nach C.E. Shannon (1948): IS(xi) = − log2(Pr{X = xi}) bit Symbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 3/50
  • 5. O InformationstheorieInformationstheorie Mittlerer Informationsgehalt je Quellensymbol: → Entropie der Informationsquelle H(X) = − M i=1 Pr{X = xi} log2(Pr{X = xi}) bit Symbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 4/50
  • 6. O InformationstheorieInformationstheorie Mittlerer Informationsgehalt je Quellensymbol: → Entropie der Informationsquelle H(X) = − M i=1 Pr{X = xi} log2(Pr{X = xi}) bit Symbol Beispiel: Vereinfachtes Lotto X = {6−, 5−, 4−, 3 − Richtige, kein Gewinn} H(X) = 0,14 bit/Ziehung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 4/50
  • 7. O InformationstheorieInformationstheorie Beispiel: Bin¨are Quelle X ∈ {A, B} , Pr{X = A} = p , Pr{X = B} = 1 − p H(X) bit Bin¨arsymbol p Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 5/50
  • 8. O InformationstheorieInformationstheorie Beispiel: Bin¨are Quelle X ∈ {A, B} , Pr{X = A} = p , Pr{X = B} = 1 − p fairer M¨unzwurf ↓H(X) bit Bin¨arsymbol p Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 5/50
  • 9. O InformationstheorieInformationstheorie Informations¨ubertragung ¨uber gest¨orte Kan¨ale: Direkte Beobachtung von X nicht m¨oglich. ⇒ R¨uckschluß auf X anhand der Beobachtung von Y , aber leider unzuverl¨assig! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 6/50
  • 10. O InformationstheorieInformationstheorie Informations¨ubertragung ¨uber gest¨orte Kan¨ale: Direkte Beobachtung von X nicht m¨oglich. ⇒ R¨uckschluß auf X anhand der Beobachtung von Y , aber leider unzuverl¨assig! Kanal: Mehr oder weniger zuf¨allige Erzeugung von Y aus X. M × L bedingte Wahrscheinlichkeiten Pr{Y = yj | X = xi} = kij Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 6/50
  • 11. O InformationstheorieInformationstheorie Beispiel: Symmetrischer Bin¨arkanal BER: Bit Error Ratio Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 7/50
  • 12. O InformationstheorieInformationstheorie Beispiel: Symmetrischer Bin¨arkanal BER: Bit Error Ratio Beispiel: Additives weißes gauß’sches Rauschen Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 7/50
  • 13. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  • 14. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : − log2(Pr{X = xi}) Unsicherheit vorher Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  • 15. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : − log2(Pr{X = xi}) − (− log2(Pr{X = xi | Y = yj})) Unsicherheit vorher − Unsicherheit nachher Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  • 16. O InformationstheorieInformationstheorie Transinformation, Kanalkapazit¨at: Verringerung der Unsicherheit ¨uber X durch Beobachtung von Y : − log2(Pr{X = xi}) − (− log2(Pr{X = xi | Y = yj})) = Unsicherheit vorher − Unsicherheit nachher = = ¨ubertragene Information bit Kanalbenutzung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 8/50
  • 17. O InformationstheorieInformationstheorie Im Mittel je Kanalbenutzung ¨ubertragene Information: → Transinformation I(X; Y ) = M i=1 L j=1 Pr{X = xi} kij log2 kij M l=1 Pr{X = xl} klj Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 9/50
  • 18. O InformationstheorieInformationstheorie Im Mittel je Kanalbenutzung ¨ubertragene Information: → Transinformation I(X; Y ) = M i=1 L j=1 Pr{X = xi} kij log2 kij M l=1 Pr{X = xl} klj Maximierung der Transinformation Kanalkapazit¨at: C = max Pr{X} I(X; Y ) bit Kanalbenutzung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 9/50
  • 19. O InformationstheorieInformationstheorie Beispiel: Symmetrischer Bin¨arkanal mit Bit Error Ratio BER C = 1 + BER log2(BER) + (1 − BER) log2(1 − BER) bit Kanalbenutzung C bit Kanalbenutzung BER Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 10/50
  • 20. O InformationstheorieInformationstheorie Beispiel: Kanal mit additivem weißen gauß’schen Rauschen Bei beschr¨ankter mittlerer Sendeleistung S = σ2 x wird die Transinformation f¨ur kontinuierlich gaußverteilte Eingangsvariable X maximiert: Kanalkapazit¨at (AWGN–Kanal): C = 1 2 log2 1 + S N bit Kanalbenutzung Shannons ber¨uhmte Gleichung (1948). Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 11/50
  • 21. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  • 22. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  • 23. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  • 24. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  • 25. O InformationstheorieInformationstheorie Kapazit¨at des AWGN–Kanals: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 12/50
  • 26. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Redundante Kanalcodierung: Wort aus n Bin¨arsymbolen Xi ∈ {0, 1} ⇒ Es existieren somit 2n m¨ogliche verschiedene W¨orter Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 13/50
  • 27. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Redundante Kanalcodierung: Wort aus n Bin¨arsymbolen Xi ∈ {0, 1} ⇒ Es existieren somit 2n m¨ogliche verschiedene W¨orter Beispiele: • n = 10 210 = 1024 • n = 100 2100 = 1,3 · 1030 • n = 1000 21000 = 1,1 · 10301 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 13/50
  • 28. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  • 29. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  • 30. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Mittlerer Informationsgehalt je Codesymbol → Rate des Code R = k n bit Codesymbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  • 31. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Mittlerer Informationsgehalt je Codesymbol → Rate des Code R = k n bit Codesymbol Coderedundanz je bin¨arem Codesymbol: ρ = 1 − R = n − k n bit Codesymbol Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  • 32. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information je Wort k bit Information je Wort n Bin¨arsymbole Von 2n m¨oglichen W¨ortern sind nur 2k Codew¨orter zugelassen → Code Mittlerer Informationsgehalt je Codesymbol → Rate des Code R = k n bit Codesymbol Coderedundanz je bin¨arem Codesymbol: ρ = 1 − R = n − k n bit Codesymbol Je zugelassenem Codewort werden 2n−k m¨ogliche W¨orter verworfen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 14/50
  • 33. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  • 34. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 • n = 1000, k = 600 → Dichte = 1 2,6 · 10120 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  • 35. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 • n = 1000, k = 600 → Dichte = 1 2,6 · 10120 • n = 10000, k = 6000 → Dichte = 1 1,3 · 101204 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  • 36. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem k bit Information/Wort k bit Information/Wort n Bin¨arsymbole Beispiel: Code mit Rate R = 0,6 bit Codesymbol • n = 100, k = 60 → Dichte = 1 1,1 · 1012 • n = 1000, k = 600 → Dichte = 1 2,6 · 10120 • n = 10000, k = 6000 → Dichte = 1 1,3 · 101204 Die geringe Dichte zugelassener Codew¨orter erlaubt sichere Erkennung und Korrektur von Fehlern! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 15/50
  • 37. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kanalcodierungstheorem (Shannon 1948): Theorem: Auch ¨uber einen gest¨orten ¨Ubertragungskanal kann Information prinzipiell mit beliebig hoher Zuverl¨assigkeit ¨ubertragen werden, wenn man eine redundante Kanalcodierung einsetzt und dabei die Rate R des Codes kleiner als die Ka- pazit¨at C des Kanals sowie die Blockl¨ange n gen¨ugend groß gew¨ahlt werden. ¨Ubersteigt dahingegen die Coderate die Kanalkapazit¨at, dann ist eine zu- verl¨assige Informations¨ubertragung prinzipiell unm¨oglich. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 16/50
  • 38. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kanalcodierungstheorem (Shannon 1948): Theorem: Auch ¨uber einen gest¨orten ¨Ubertragungskanal kann Information prinzipiell mit beliebig hoher Zuverl¨assigkeit ¨ubertragen werden, wenn man eine redundante Kanalcodierung einsetzt und dabei die Rate R des Codes kleiner als die Ka- pazit¨at C des Kanals sowie die Blockl¨ange n gen¨ugend groß gew¨ahlt werden. ¨Ubersteigt dahingegen die Coderate die Kanalkapazit¨at, dann ist eine zu- verl¨assige Informations¨ubertragung prinzipiell unm¨oglich. Beweisverfahren: Berechnung einer oberen Schranke f¨ur den Mittelwert der Wort- fehlerwahrscheinlichkeit f¨ur alle m¨oglichen Codes, bzw. wenn Codew¨orter zuf¨allig aus der Menge der m¨oglichen W¨orter ausgew¨ahlt werden. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 16/50
  • 39. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kommentare und Interpretationen: ¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M) bit Information sicher ¨ubertragen werden. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
  • 40. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kommentare und Interpretationen: ¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M) bit Information sicher ¨ubertragen werden. Durch den Kanalcode werden k bit Information auf n Codesymbole gleichm¨aßig verteilt. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
  • 41. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Kommentare und Interpretationen: ¨Uber einen gest¨orten Kanal kann je Benutzung aufgrund der verbleibenden Unsicherheit beim Einzelsymbol nicht log2(M) sondern h¨ochstens C ≤ log2(M) bit Information sicher ¨ubertragen werden. Durch den Kanalcode werden k bit Information auf n Codesymbole gleichm¨aßig verteilt. Eine zuverl¨assige ¨Ubertragung ist dann und nur dann m¨oglich, wenn im Mittel nicht mehr Informations¨ubertragung vom Kanal verlangt wird, als dieser zu ¨ubertragen in der Lage ist. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 17/50
  • 42. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  • 43. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Informationstheorie liefert nur prinzipielle Aussagen: • keine Hinweise auf praktikable Verfahren • Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht m¨oglich! ⇒ Suche nach algorithmischen Verfahren Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  • 44. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Informationstheorie liefert nur prinzipielle Aussagen: • keine Hinweise auf praktikable Verfahren • Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht m¨oglich! ⇒ Suche nach algorithmischen Verfahren Bei großen Wortl¨angen sind (fast) alle m¨oglichen Codes gute Codes! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  • 45. O Kanalcodierung, KanalcodierungstheoremKanalcodierung, Kanalcodierungstheorem Ein Kanalcode funktioniert wie eine Krankenversicherung: • Krankheit: → St¨orung • Pr¨amie: → Redundanz • mehr Versicherte, bessere Mittellung: → große Codewortl¨ange • Bankrott der Versicherung (mehr Kosten als Pr¨amien): → Codewortfehler Informationstheorie liefert nur prinzipielle Aussagen: • keine Hinweise auf praktikable Verfahren • Tabellen f¨ur Coder und Decoder sind f¨ur gr¨oßere Wortl¨angen prinzipiell nicht m¨oglich! ⇒ Suche nach algorithmischen Verfahren Bei großen Wortl¨angen sind (fast) alle m¨oglichen Codes gute Codes! Die Codiertheoreme best¨atigen die Relevanz des Shannonschen Informationsmaßes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 18/50
  • 46. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  • 47. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  • 48. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter unterscheiden: Hammingdistanz Codewort A: 0 1 0 1 0 1 1 0 1 Codewort B: 1 1 1 1 0 0 1 0 1 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  • 49. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter unterscheiden: Hammingdistanz Codewort A: 0 1 0 1 0 1 1 0 1 Codewort B: 1 1 1 1 0 0 1 0 1 Hammingdistanz δ = 3 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  • 50. O Algebraische BlockcodesAlgebraische Blockcodes Konstruktion von Codes mittels Mathematik in endlichen K¨orpern (Galoisfelder) • Algorithmische Verfahren f¨ur Codierung und Decodierung • Codes mit großen Wortl¨angen werden praktikabel! Anzahl der Symbole, in denen sich zwei zugelassene Codew¨orter unterscheiden: Hammingdistanz Codewort A: 0 1 0 1 0 1 1 0 1 Codewort B: 1 1 1 1 0 0 1 0 1 Hammingdistanz δ = 3 Der Code, d.h. die Menge der zugelassenen Codew¨orter, wird zu einem metrischen Raum! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 19/50
  • 51. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  • 52. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Menge der 2k zugelassenen Codew¨orter (Code) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  • 53. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Menge der 2k zugelassenen Codew¨orter (Code) Hammingdistanz δ Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  • 54. O Algebraische BlockcodesAlgebraische Blockcodes Code als metrischer Raum bzgl. der Hammingdistanz: Menge der 2n m¨oglichen W¨orter Menge der 2k zugelassenen Codew¨orter (Code) Hammingdistanz δ Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 20/50
  • 55. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  • 56. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Code mit minimaler Hammingdistanz δmin → sicher bis zu t ≤ δmin − 1 2 Codesymbolfehler korrigierbar Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  • 57. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Code mit minimaler Hammingdistanz δmin → sicher bis zu t ≤ δmin − 1 2 Codesymbolfehler korrigierbar Effiziente algebraische Methoden zur Vorw¨artsfehlerkorrektur (Forward Error Correction: FEC) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  • 58. O Algebraische BlockcodesAlgebraische Blockcodes Optimierungsziel seit Hamming (1947): m¨oglichst große minimale Hammingdistanz δmin Code mit minimaler Hammingdistanz δmin → sicher bis zu t ≤ δmin − 1 2 Codesymbolfehler korrigierbar Effiziente algebraische Methoden zur Vorw¨artsfehlerkorrektur (Forward Error Correction: FEC) Bounded–Minimum–Distance (BMD) Fehlerkorrektur: ” Kugel“ mit Radius t (bzgl. Hammingdistanz) um die Codew¨orter Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 21/50
  • 59. O Algebraische BlockcodesAlgebraische Blockcodes Bose–Chaudhuri–Hocquenghem (BCH) Codes (1959/60): Konstruktion mittels Methoden der Signalverarbeitung, jedoch in finiten K¨orpern: ⇒ K¨orpererweiterung, Diskrete Fouriertransformation, Tiefpassfilterung, Abtasttheorem usw. (Blahut 1979) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 22/50
  • 60. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 61. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 62. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 63. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 64. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 65. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Eb: Empfangsenergie je bit ¨ubertragener Information N0: einseitige Rauschleistungsdichte Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 66. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 67. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): 5,8 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 3,8 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 68. O Algebraische BlockcodesAlgebraische Blockcodes BER f¨ur bin¨are BCH–Codes mit Rate R ≈ 1/2 (AWGN + 2ASK): 5,8 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 3,8 6,0 dB Abstand zur Kapazit¨atsschranke Halber Weg zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 23/50
  • 69. O Algebraische BlockcodesAlgebraische Blockcodes Ursachen der beschr¨ankten Leistungsf¨ahigkeit algebraischer Codierverfahren: optimale Maximum–Likelihood–Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 24/50
  • 70. O Algebraische BlockcodesAlgebraische Blockcodes Ursachen der beschr¨ankten Leistungsf¨ahigkeit algebraischer Codierverfahren: optimale Maximum–Likelihood–Decodierung stattdessen Bounded–Minimum–Distance–Fehlerkorrektur Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 24/50
  • 71. O Algebraische BlockcodesAlgebraische Blockcodes Bin¨are Vorentscheidung ¨uber die Codesymbole vor der eigentlichen Decodierung (Hard–Decision FEC) ⇒ Verlust von Zuverl¨assigkeitsinformation f¨ur die einzelnen Symbole Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 25/50
  • 72. O Algebraische BlockcodesAlgebraische Blockcodes Bin¨are Vorentscheidung ¨uber die Codesymbole vor der eigentlichen Decodierung (Hard–Decision FEC) ⇒ Verlust von Zuverl¨assigkeitsinformation f¨ur die einzelnen Symbole Bisher keine effizienten Soft–Decision–Maximum–Likelihood– Decodieralgorithmen f¨ur lange, algebraisch konstruierte Codes bekannt! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 25/50
  • 73. O FaltungscodesFaltungscodes Scrambler ( ” Verw¨urfler“) f¨ur Bin¨arsequenzen: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 26/50
  • 74. O FaltungscodesFaltungscodes Scrambler ( ” Verw¨urfler“) f¨ur Bin¨arsequenzen: Ausgangsfolge = Faltung der Eingangsfolge mit der Impulsantwort g[i] des linearen, dispersiven Systems A(z)/B(z) mit z−1 : Bin¨are Speicherzelle (D-Flip-Flop) : Addition modulo 2 (XOR) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 26/50
  • 75. O FaltungscodesFaltungscodes Faltungscoder mit Rate 1/2: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  • 76. O FaltungscodesFaltungscodes Faltungscoder mit Rate 1/n: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  • 77. O FaltungscodesFaltungscodes Systematischer Faltungscoder mit Rate 1/n: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  • 78. O FaltungscodesFaltungscodes Systematischer Faltungscoder mit Rate 1/n: Auswahl der Scrambler f¨ur gr¨oßtm¨ogliche minimale Hammingdistanz zwischen unterschiedlichen Ausgangsfolgen X[l] Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 27/50
  • 79. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  • 80. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  • 81. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  • 82. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen Codesymbole Pr {X[l] = 0 | Y [l]} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  • 83. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen Codesymbole Pr {X[l] = 0 | Y [l]} Decodierung: Suche nach Codewort mit gr¨oßter Wahrscheinlichkeit ⇒ Verwertung von Zuverl¨assigkeitsinformationen f¨ur die einzelnen Symbole Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  • 84. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Bestimmung von a-posteriori Wahrscheinlichkeiten f¨ur die einzelnen Codesymbole Pr {X[l] = 0 | Y [l]} Decodierung: Suche nach Codewort mit gr¨oßter Wahrscheinlichkeit ⇒ Verwertung von Zuverl¨assigkeitsinformationen f¨ur die einzelnen Symbole Soft–Decision–Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 28/50
  • 85. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  • 86. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Verwertung von Zuverl¨assigkeitsinformation: Soft–Decision–Maximum–Likelihood–Sequence–Estimation Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  • 87. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Verwertung von Zuverl¨assigkeitsinformation: Soft–Decision–Maximum–Likelihood–Sequence–Estimation Viterbi–Algorithmus (1967/1971) Linear Programming (Bellman 1958) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  • 88. O Faltungscodes: Soft-Decision DecodingFaltungscodes: Soft-Decision Decoding Decodierung von Faltungscodes: Bestimmung der Folge U[0], U[1], . . . , die aufgrund der analogen Empfangswerte Y [0], Y [1], . . . , unter Ber¨ucksichtigung der Codegesetze die gr¨oßte Wahrscheinlichkeit besitzt. Verwertung von Zuverl¨assigkeitsinformation: Soft–Decision–Maximum–Likelihood–Sequence–Estimation Viterbi–Algorithmus (1967/1971) Linear Programming (Bellman 1958) Komplexit¨at steigt exponentiell mit der Zahl der bin¨aren Speicherzellen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 29/50
  • 89. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  • 90. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von Zuverl¨assigkeitsinformation: Soft–In/Soft–Out–Decoder (SISO) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  • 91. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von Zuverl¨assigkeitsinformation: Soft–In/Soft–Out–Decoder (SISO) Effizienter Algorithmus (Bahl, Cocke, Jelinek, Raviv 1974) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  • 92. O Faltungscodes: Soft-In/Soft-Out DecodingFaltungscodes: Soft-In/Soft-Out Decoding Decodierung von Faltungscodes: Berechnung von a–posteriori Wahrscheinlichkeiten f¨ur alle einzelnen Informationssymbole: Pr {U[i] = 0 | (Y [0], Y [1], . . .)} Verwertung von Zuverl¨assigkeitsinformation und Erzeugung von Zuverl¨assigkeitsinformation: Soft–In/Soft–Out–Decoder (SISO) Effizienter Algorithmus (Bahl, Cocke, Jelinek, Raviv 1974) Komplexit¨at steigt exponentiell mit der Zahl der bin¨aren Speicherzellen! optimale Decodieralgorithmen verf¨ugbar, aber nur f¨ur relativ einfache Codes Soft-Output Viterbi-Algorithmus (SOVA) (Hagenauer, H¨oher / Huber, 1988) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 30/50
  • 93. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  • 94. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  • 95. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: • 6 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 4 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  • 96. O Faltungscodes: BeispielFaltungscodes: Beispiel Faltungscode mit Rate R = 1/2: • 6 dB Codegewinn bei BER ≈ 10−8 : ⇒ Reduktion der Sendeleistung um Faktor 4 • Abstand zur Kapazit¨atsschranke: 5,8 dB Halber Weg zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 31/50
  • 97. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  • 98. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  • 99. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  • 100. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB 3/4 des Weges zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  • 101. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB 3/4 des Weges zur Kanalkapazit¨at! Die Kanalkapazit¨at erscheint unerreichbar! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  • 102. O Stand der Kanalcodierung 1990Stand der Kanalcodierung 1990 Algebraische Blockcodierung: hervorragende Distanzeigenschaften, aber geringe Leistungsf¨ahigkeit wegen suboptimaler Decodierung Faltungscodierung: Optimale Decodierverfahren f¨ur relativ schwache Codes Verkn¨upfung von algebraischer Blockcodierung und Faltungs- codierung: NASA–Standard–Code: BER ≈ 10−8 bei 3,2 dB 3/4 des Weges zur Kanalkapazit¨at! Die Kanalkapazit¨at erscheint unerreichbar! ” Theorem“ der Informationstheorie (Jacobs): Alle Codes sind gut, bis auf diejenigen, die wir kennen und anwenden k¨onnen. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 32/50
  • 103. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  • 104. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  • 105. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Decodierung nach dem Turbo–Prinzip mit Soft–In/Soft–Out–Decoder Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  • 106. O Turbo–CodesTurbo–Codes Parallele Verkettung von Faltungscodes: Decodierung nach dem Turbo–Prinzip mit Soft–In/Soft–Out–Decoder Inspiriert durch die Arbeiten von Hagenauer, H¨oher / Huber zu Soft-Output Viterbi-Decodierung Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 33/50
  • 107. O Turbo–CodesTurbo–Codes Blockschaltbild der iterativen Decodierung: C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993): • Interpretation des SISO–Decoders als Signalverarbeitungsmodul • Anwendung von Methoden der Regelungstechnik zur Stabilisierung des rekursiven Decodierprozesses Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
  • 108. O Turbo–CodesTurbo–Codes Blockschaltbild der iterativen Decodierung: C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993): • Interpretation des SISO–Decoders als Signalverarbeitungsmodul • Anwendung von Methoden der Regelungstechnik zur Stabilisierung des rekursiven Decodierprozesses • Erfindung von Außenseitern • nicht betriebsblind durch Fixierung auf Minimaldistanz Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
  • 109. O Turbo–CodesTurbo–Codes Blockschaltbild der iterativen Decodierung: C. Berrou und A. Glavieux (ENST Brest, Frankreich, 1991, publ. 1993): • Interpretation des SISO–Decoders als Signalverarbeitungsmodul • Anwendung von Methoden der Regelungstechnik zur Stabilisierung des rekursiven Decodierprozesses • Erfindung von Außenseitern • nicht betriebsblind durch Fixierung auf Minimaldistanz Tutorial Paper von Hagenauer et. al. 1996 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 34/50
  • 110. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  • 111. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  • 112. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 2 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  • 113. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 23 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  • 114. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 236 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  • 115. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 23618 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  • 116. O Turbo–Codes — BeispielTurbo–Codes — Beispiel 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1Iteration 23618 10 log10(Eb/N0) in dB −→ BER−→ Theor.Grenze,0,19dB L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal 95% des Weges zur Kanalkapazit¨at! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 35/50
  • 117. O Turbo–Codes — KennzeichenTurbo–Codes — Kennzeichen Optimale Decodierbarkeit von strukturierten Teilcodes Anwendung des Prinzips der Zufallscodierung → Shannons Beweistechnik! → pseudozuf¨allige Permutation zur Verkn¨upfung der Teilcodes ⇒ Verkn¨upfung der Zufallscodierung mit algorithmischen Verfahren f¨ur Codierung und Decodierung von Teilcodes v¨ollige Vernachl¨assigung der Minimaldistanz bei der Codekonstruktion Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 36/50
  • 118. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  • 119. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  • 120. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  • 121. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  • 122. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) I(U; E2) = I(U; A2) ; I(U; A1) = I(U; E1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  • 123. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Stefan ten Brink 1999 Analyse des iterativen Decodiervorgangs: Bestimme minimalen St¨orabstand f¨ur m¨ogliche Konvergenz zum Punkt (1,1) I(U; E2) = I(U; A2) ; I(U; A1) = I(U; E1) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 37/50
  • 124. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Geschlossener Tunnel Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
  • 125. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Geschlossener Tunnel ⇒ keine Konvergenz bei (1,1)! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
  • 126. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart Abstand zur Kanalkapazit¨at: Fl¨ache des Konvergenztunnels Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 38/50
  • 127. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart kapazit¨atserreichende Turbo–Codes (ten Brink 2000): • irregul¨are Turbo–Codes (K¨otter, T¨uchler) • Multiple Turbo–Codes (Huber, H¨uttinger) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 39/50
  • 128. O Turbo–Codes — EXIT ChartTurbo–Codes — EXIT Chart kapazit¨atserreichende Turbo–Codes (ten Brink 2000): • irregul¨are Turbo–Codes (K¨otter, T¨uchler) • Multiple Turbo–Codes (Huber, H¨uttinger) Das Ziel ist nach 52 Jahren erreicht! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 39/50
  • 129. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  • 130. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente, mehrstufige ¨Ubertragungsverfahren: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  • 131. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente, mehrstufige ¨Ubertragungsverfahren: Erfolg durch informationstheoretischen Ratenentwurf (Huber/Wachsmann 1993/1996) f¨ur Multilevel Codes anstelle Maximierung der minimalen Distanz im Signalraum. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  • 132. O Turbo–CodesTurbo–Codes Theorem (Lazic 1995): ¨Ubersteigt die minimale Hammingsdistanz die Gilbert–Varshamov Schranke, so k¨onnen sehr lange Codes die Kapazit¨at des symmetrischen Bin¨arkanals nicht erreichen! Ebenso beim Entwurf von Codierverfahren f¨ur bandbreiteneffiziente, mehrstufige ¨Ubertragungsverfahren: Erfolg durch informationstheoretischen Ratenentwurf (Huber/Wachsmann 1993/1996) f¨ur Multilevel Codes anstelle Maximierung der minimalen Distanz im Signalraum. Optimierung von Codes nach Kriterium große Minimaldistanz erweist sich als Irrweg! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 40/50
  • 133. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  • 134. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  • 135. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  • 136. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  • 137. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . . Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  • 138. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . . Zusammenfassung aller Pr¨ufgleichungen in einer (n − k) × n Parity–Check–Matrix H Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  • 139. O LDPC–CodesLDPC–Codes Low–Density–Parity–Check–Codes: Pr¨ufgleichungen eines linearen Codes X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 . . . . . . . . . Zusammenfassung aller Pr¨ufgleichungen in einer (n − k) × n Parity–Check–Matrix H f¨ur alle zugelassenen Codew¨orter x gilt xHT = 0 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 41/50
  • 140. O LDPC–CodesLDPC–Codes Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols (wie beim Wiederholungscode!) • Intrinsische Information ¨uber X1 X1 → Y1 → pin = Pr{X1 = 0 | Y1} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
  • 141. O LDPC–CodesLDPC–Codes Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols (wie beim Wiederholungscode!) • Intrinsische Information ¨uber X1 X1 → Y1 → pin = Pr{X1 = 0 | Y1} • Extrinsische Information ¨uber X1 X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 → X1 = X5 ⊕ X9 ⊕ X13 X5, X9, X13 → Y5, Y9, Y13 → pex = Pr{X1 = 0 | Y5, Y9, Y13} Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
  • 142. O LDPC–CodesLDPC–Codes Eine Pr¨ufgleichung bewirkt eine doppelte ¨Ubertragung eines Symbols (wie beim Wiederholungscode!) • Intrinsische Information ¨uber X1 X1 → Y1 → pin = Pr{X1 = 0 | Y1} • Extrinsische Information ¨uber X1 X1 ⊕ X5 ⊕ X9 ⊕ X13 = 0 → X1 = X5 ⊕ X9 ⊕ X13 X5, X9, X13 → Y5, Y9, Y13 → pex = Pr{X1 = 0 | Y5, Y9, Y13} • Verkn¨upfen beider Wahrscheinlichkeiten Pr{X1 = 0 | . . .} = pinpex pinpex + (1 − pin)(1 − pex) Codegesetze genutzt zur Erh¨ohung der Zuverl¨assigkeit! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 42/50
  • 143. O LDPC–CodesLDPC–Codes Iterativer Prozess: → Erneute Verbesserung von Pr{Xi = 0 | . . .} durch Wiederholung m¨oglich! Nur g¨ultig, solange die statistische Unabh¨angigkeit der unterschiedlichen Aussagen ¨uber ein Symbol gewahrt bleibt! Es sollten keine Kreise (Zyklen) bei der Informationsweitergabe entstehen. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 43/50
  • 144. O LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963) Wahl der Pr¨ufgleichungen m¨oglichst zuf¨allig Jedes Symbol ist an J Pr¨ufgleichungen beteiligt Jede Pr¨ufgleichung erstreckt sich ¨uber K Symbole Coderate R = 1 − J K (Beispiel: J = 3, K = 6, R = 1 2 ) Vermeidung von Zyklen durch sehr große Wortl¨ange und durch Verwendung weniger Symbole in der Pr¨ufgleichung (Low Density) Verkn¨upfung von Struktur und Zufallsentwurf Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 44/50
  • 145. O LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963) Iterativer Decodierprozeß mit Ber¨ucksichtigung von Zuverl¨assigkeitsinformation f¨ur die einzelnen Codesymbole! einfachste Teildecoder: • Single–Parity–Check–Code • Wiederholungscode (Repetition Code) In den 60er Jahren weder theoretisch noch simulativ bei großen Wortl¨angen und sehr vielen Iterationen analysierbar Eher bescheidene Leistungsdaten bei handhabbaren kurzen Codes Nicht vorgebbare und daher meist geringe minimale Hammingdistanz ⇒ als ” schlechte“ Codes verworfen Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 45/50
  • 146. O LDPC–Codes — Gallager (1963)LDPC–Codes — Gallager (1963) Iterativer Decodierprozeß mit Ber¨ucksichtigung von Zuverl¨assigkeitsinformation f¨ur die einzelnen Codesymbole! einfachste Teildecoder: • Single–Parity–Check–Code • Wiederholungscode (Repetition Code) In den 60er Jahren weder theoretisch noch simulativ bei großen Wortl¨angen und sehr vielen Iterationen analysierbar Eher bescheidene Leistungsdaten bei handhabbaren kurzen Codes Nicht vorgebbare und daher meist geringe minimale Hammingdistanz ⇒ als ” schlechte“ Codes verworfen Fallen ab 1965 der Vergessenheit anheim! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 45/50
  • 147. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  • 148. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  • 149. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes Entwicklung von ” Density Evolution“ zur Analyse und Optimierung von LDPC–Codes (Richardson/Urbanke) • Irregul¨are LDPC–Codes: unterschiedlich viele Symbole je Pr¨ufgleichung und unterschiedlich viele Pr¨ufgleichungen je Symbol • LDPC–Codes erreichen f¨ur n → ∞ die Kanalkapazit¨at Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  • 150. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung ¨Ahnlichkeiten iterativer Decodierverfahren von LDPC–Codes und Turbo–Codes (MacKay 1996) Nun m¨ogliche Simulationen bei sehr langen Wortl¨angen und sehr vielen Iterationen zeigen ¨ahnlich gute Leistungsf¨ahigkeit wie bei Turbo–Codes Entwicklung von ” Density Evolution“ zur Analyse und Optimierung von LDPC–Codes (Richardson/Urbanke) • Irregul¨are LDPC–Codes: unterschiedlich viele Symbole je Pr¨ufgleichung und unterschiedlich viele Pr¨ufgleichungen je Symbol • LDPC–Codes erreichen f¨ur n → ∞ die Kanalkapazit¨at Schranken f¨ur EXIT–Kurven f¨ur LDPC–Codes unabh¨angig von den speziellen Kanaleigenschaften (Huber/Land, Shamai/Sutzkover 2004) ⇒ Analytische Optimierung von LDPC–Codes wird m¨oglich! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 46/50
  • 151. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 152. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 153. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 154. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 210 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 155. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 21020 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 156. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 157. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 40 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 158. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 40 100 10 log10(Eb/N0) in dB −→ BER−→ L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 159. O LDPC–Codes — WiederentdeckungLDPC–Codes — Wiederentdeckung 0 1 2 3 4 5 6 10 −5 10 −4 10 −3 10 −2 10 −1 10 0 Uncodiert Iteration 1 2102030 40 100 10 log10(Eb/N0) in dB −→ BER−→ Theor.Grenze,0,19dB L¨ange 216 = 65536, Rate R = 1/2, AWGN–2ASK–Kanal Das Tor zur Kanalkapazit¨at stand bereits 1963 weit offen! Der Umweg erforderte 33 Jahre harter Arbeit! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 47/50
  • 160. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere ÜbertragungX Y n × n Polar Matrix Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  • 161. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  • 162. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  • 163. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  • 164. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) ⇒ Anwendung der Kettenregel f¨ur die Transinformation (vgl. Huber / Wachsmann ” Codierte Modulation“ 1993) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  • 165. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) ⇒ Anwendung der Kettenregel f¨ur die Transinformation (vgl. Huber / Wachsmann ” Codierte Modulation“ 1993) Beweis der Polarisierungseigenschaft und der Erreichbarkeit der Kanalkapazit¨at anhand von ” Extremes in Information Combining“ (Huber / Land 2004) E {WER} = 2− √ nEp(R) Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  • 166. O Polar Codes (Arikan 2007)Polar Codes (Arikan 2007) 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 der Symbole unsichere Übertragung sehr unsichere Symbole sehr sichere Symbole X Y n × n Polar Matrix 0 0 0 0 Schrittweise Decodierung mit Entscheidungsr¨uckkopplung m¨oglich: O (n log(n)) ⇒ Anwendung der Kettenregel f¨ur die Transinformation (vgl. Huber / Wachsmann ” Codierte Modulation“ 1993) Beweis der Polarisierungseigenschaft und der Erreichbarkeit der Kanalkapazit¨at anhand von ” Extremes in Information Combining“ (Huber / Land 2004) E {WER} = 2− √ nEp(R) Konstruktionsprinzip wie bei Reed–Muller–Code, jedoch Auswahl von aktiven Zeilen f¨ur Generatormatrix nicht nach dem Kriterium max. Minimaldistanz Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 48/50
  • 167. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  • 168. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen Decodierverfahren schließlich zum Ziel. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  • 169. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen Decodierverfahren schließlich zum Ziel. ⇒ Dieser Weg w¨are durch die Beweistechnik der Zufallscodierung in der Informationstheorie eigentlich vorgezeichnet gewesen! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  • 170. O ZusammenfassungZusammenfassung Der Weg zur Kanalkapazit¨at wurde ¨uber lange Zeit durch Fixierung auf das Optimierungskriterium Minimaldistanz verstellt. Verkn¨upfung von Zufall und Struktur f¨uhrt zusammen mit iterativen Decodierverfahren schließlich zum Ziel. ⇒ Dieser Weg w¨are durch die Beweistechnik der Zufallscodierung in der Informationstheorie eigentlich vorgezeichnet gewesen! Manchmal kann es Jahrzehnte dauern, bis die Zeit zur technischen Umsetzung genialer Erfindungen reif wird. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 49/50
  • 171. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  • 172. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  • 173. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  • 174. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von der theoretischen Erkenntnis zum Produkt dramatisch: Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  • 175. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von der theoretischen Erkenntnis zum Produkt dramatisch: Die Theorie ist der direkte Weg zur Praxis! Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50
  • 176. O SchlussfolgerungenSchlussfolgerungen Vielf¨altige theoretischen Grundlagen moderner ¨Ubertragungstechnik: • Mathematik (Analysis, Funktionentheorie, Algebra, lineare Algebra, diskrete Mathematik, Numerik, Stochastik usw.) • Systemtheorie, Informations- und Codierungstheorie • Digitale Signalverarbeitung • Hochfrequenztechnik, Mikroelektronik Nur Ingenieure mit umfassenden theoretischen Kenntnissen sind in der Lage, die aktuelle Technik zu verstehen und davon ausgehend neue, konkurrenzf¨ahige Technik zu entwickeln. Nichts ist praktischer als eine gute Theorie! Digitale Signalverarbeitung und Softwarel¨osungen verk¨urzen den Weg von der theoretischen Erkenntnis zum Produkt dramatisch: Die Theorie ist der direkte Weg zur Praxis! Was macht in diesem Umfeld ein Bachelor? Johannes Huber: Wege, Umwege, Irrwege zur Kanalkapazit¨at 50/50