Weitere ähnliche Inhalte Mehr von GDNÄ - Die Wissensgesellschaft (9) GDNÄ 2012: Prof. Heinz Gerhäuser über die "Faszination MP3"1. Faszination mp3 – Wie ein Audiocodierverfahren
die Welt verändert hat
127. Versammlung der Gesellschaft Deutscher Naturforscher und Ärzte (GDNÄ)
14. Bis 18. September 2012 Georg-August-Universität Göttingen
Inhalt
n Die Fraunhofer-Gesellschaft und das Institut Fraunhofer IIS
n Am Anfang war die Idee
n Grundlegende Untersuchungen
n Ein langer steiniger Weg
n Der Durchbruch
n Spektakulärer Erfolg
Prof. Dr. Heinz Gerhäuser, Institutsleiter (i. R.)
Fraunhofer-Institut für Integrierte Schaltungen IIS
© Fraunhofer IIS
2. Fraunhofer in Deutschland
Itzehoe Rostock
Lübeck
n Gegründet 1949, Zentrale in München Bremerhaven Hamburg
n 60 Institute plus Oldenburg Bremen
Forschungsinstitutionen, Hannover Berlin
Potsdam
Arbeitsgruppen, Außenstellen und Braunschweig
Teltow
Magdeburg
Anwendungszentren an Cottbus
Oberhausen Paderborn Halle
40 Standorten Dortmund Schkopau Leipzig
Duisburg Kassel
Schmallenberg Dresden
St. Augustin Erfurt Jena Freiberg
Aachen
n Mehr als 20.000 Mitarbeiter Euskirchen
Wachtberg
Gießen
Ilmenau
Chemnitz
Darmstadt Bayreuth
Würzburg
n Budget: 1,8 Milliarden € St. Ingbert
Bronnbach
Erlangen
Kaiserslautern Fürth Nürnberg
Saarbrücken Karlsruhe
Pfinztal
n ca. 2/3 der Finanzierung durch Ettlingen
Stuttgart Straubing
Freising
Vertragsforschung und öffentliche Freiburg Augsburg Garching
Projekte Oberpfaffenhofen
München
Prien
Kandern
Efringen- Holzkirchen
Kirchen
© Fraunhofer IIS 2
3. Fraunhofer-Institut für Integrierte Schaltungen IIS
Gegründet: 1985
Standorte in Erlangen,
Fürth, Nürnberg, Dresden,
Ilmenau, Würzburg,
Bamberg, Waischenfeld
Mitarbeiter: > 750
Budget: ca. € 95 Mio.
Finanzierung
> 75% Projekte
< 25% Grundfinanzierung
www.iis.fraunhofer.de
© Fraunhofer IIS 3
4. Geschäftsfelder am Fraunhofer IIS
n IC-Design und Entwurfsautomatisierung
n Audio/Video/Multimedia
n Digitale Rundfunksysteme
n Kommunikationsnetze
n Bildsysteme und Qualitätssicherung
n Navigation, Lokalisierung und Robotik
n Eingebettete Systeme
n Logistik
n Medizintechnik
n Energiemanagement
© Fraunhofer IIS 4
6. Ende der 70er Jahre, Anfang der 80er Jahre
Idee von Prof. Seitzer, Friedrich-Alexander- Universität Erlangen-Nürnberg,
Musiksignale über Telefonleitungen zu übertragen
Unkomprimierte
Musik: 1411 kbit/s
würde ca. 22 Telefon-
leitungen belegen
1411 kbit/s
?
Prof. Dr.-Ing. Dieter Seitzer
Gründungsdirektor des 2 x 64 kbit/s
Fraunhofer IIS 2 ISDN-B Kanäle
© Fraunhofer IIS 6
7. Vorarbeiten an der Universität Erlangen-Nürnberg
n Forschung auf dem Gebiet der digitalen
Signalverarbeitung in Echtzeit startete 1978.
Ein Bit-Slice-Signalprozessor wurde 1979
realisiert (Gerhäuser)
n Forschung auf dem Gebiet von Algorithmen
für die Audiocodierung begann 1980 an der
Universität Erlangen-Nürnberg
(Brandenburg)
n Die Algorithmen wurden am Anfang per
Computersimulation an einem Laborrechner
entwickelt (für 15 Sekunden Musik war eine
Rechenzeit von mehr als 5 Stunden
notwendig)
n Signalverarbeitung in Echtzeit spielte eine
Schlüsselrolle
n Am 1985 gegründeten Fraunhofer IIS 1979: Erste Hardware für die
begannen die Forschungsarbeiten auf dem Audiocodierung am Lehrstuhl für
Technische Elektronik, Universität
Gebiet der Audiocodierung 1986 Erlangen-Nürnberg
© Fraunhofer IIS 7
8. Integrierte Schaltung für den ersten MP3-Spieler
Layout des ersten Single-chip
Decoders MAS3503C für das
Audiocodierverfahren
MPEG 1 Layer 3 (mp3) von
Intermetall von 1994
4k Worte 4k Worte
RAM ROM
Prozess: 0,8 µm CMOS 1 Wort =
Chipfläche: ca. 50 mm2, 20 Bit
Verlustleistung: 200 mW @ 3V
Firmware von Fraunhofer IIS CPU
Quelle: Micronas
© Fraunhofer IIS 8
9. Fraunhofer IIS »Home of mp3«
Entwicklung der Audiocodierung in Erlangen:
n seit 1981 Forschungsthema an der Uni Erlangen
n seit 1986 Audio-Codierung am Fraunhofer IIS
n 1992: MPEG-1 Layer 3 wird Internationaler
Standard
n 1997: der mp3-Internet Boom beginnt 1987: der erste echtzeitfähige
Stereo-Audio-Codec
n 1997: der Nachfolger MPEG-2 AAC wird
internationaler Standard
n 1999: mp3 ist de-facto Standard für Musik im
Internet
n 2000: Zukunftspreis des Bundespräsidenten für
mp3
2007: 20 Jahre später
© Fraunhofer IIS 9
10. Verringerung der Bitraten für eine Audioqualität nahe an
CD-Qualität für verschiedene Audiocodecs
Datenraten
1600
in kbit/s, 1411
Stereo 1400
1200 About 30-times data reduction
and compression by Reduktion und
Mehr als 50-fache the same
1000
quality
Kompression der anfallenden
800 Datenmenge bei nahezu gleich
Original
600 bleibender Qualität!
Original
400
192 160
200 128 96 64 24
0
PCM MPEG-1 AC-3 MP3 MPEG-2 MPEG-4 HE-AAC
L2 AAC AAC v2
© Fraunhofer IIS 10
12. Schallwellen
Schallwellen entstehen wenn bei der Klangerzeugung eines Objektes die
umgebende Luft verdrängt und dadurch der Luftdruck verändert wird.
Dieser Abstand
wird Amplitude Dieser Abstand bestimmt die Frequenz
genannt der Welle
Zeit
© Fraunhofer IIS 12
13. Schallwellen
Eine einzelne Welle ist
ein einzelner Ton
Musik als Zusammensetzung
von Tönen und Geräuschen
www.lehrklaenge.de
© Fraunhofer IIS 13
14. Universalität durch Digitalisierung
Bedeutung von »Digital« in der Technik:
n Umwandlung und Darstellung von analogen Signalen (z. B. Zeit,
Temperatur, Spannung, …) als wert- und zeitdiskrete Zahlenfolgen
Analoge Anzeige: Digitale Anzeige:
• unendlich viele Zeitpunkte • endlich viele 22:09:37
• fließende Übergänge Zustände
• Übergänge in diskreten Stufen
n Weiterverarbeitung, Speicherung und Übertragung meist als Binärfolge
von Nullen und Einsen durch digitale Elektronik in Geräten und Systemen
n Darstellung im Computer:
Bit (0 oder 1) und Bytes (1 Byte = 8 Bit, 28 = 256 mögliche Kombinationen)
n Beispiel: Umwandlung einer Dezimalzahl in eine Dualzahl
[173]10 = [1010 1101]2 = 1·27 + 0·26 + 1·25 + 0·24 + 1·23 + 1·22 + 0·21 + 1·20
n Größere Einheiten: 1 KiloByte, 1 MegaByte, 1 GigaByte, 1 TeraByte
© Fraunhofer IIS 14
15. Digitale Darstellung der Information
Binäre Informationsdarstellung (0, 1) erlaubt:
n Einheitliche Verwendung von Bits und Bytes unabhängig von der Art der
Information (Text, Sprache, Musik, Grafik, Bilder, Videos)
n Einheitliche Technik für die digitale Signalverarbeitung (digitale
Schaltkreise, Prozessoren)
n Verlustfreies Kopieren, Speichern und Übertragen
n Vielfältige Verarbeitungsmöglichkeiten
n Verschlüsselung und elektronische Signatur
n Qualität wird nur durch den Aufwand begrenzt
© Fraunhofer IIS 15
16. Abtastung und Quantisierung von Musik
Analoges Signal:
Die Anzahl der Abtastwerte (Samples) pro Sekunde ist die
»Sample-Rate«
Audio-CD hat 44.100
Abtastwerte pro Sekunde
Größter Wert: 32,767
Diskretes, digital
dargestelltes Signal:
Kleinster Wert ist -32,768
© Fraunhofer IIS 16
17. Digitales Signal
Abtastrate: Anzahl der Abtastwerte pro Sekunde
CD:
Bandbreite: 16 Hz – 20 kHz
Abtastfrequenz: 44,1 kHz
(44.100 Abtastwerte pro
Sekunde)
Telefon:
Bandbreite: 300 Hz - 3,4 kHz
Abtastfrequenz: 8 kHz
(8.000 Abtastwerte pro
Sekunde)
© Fraunhofer IIS 17
18. Digitales Signal
Abtastrate: Anzahl der Abtastwerte pro Sekunde
CD:
Bandbreite: 16 Hz – 20 kHz
Abtastfrequenz: 44,1 kHz
(44.100 Abtastwerte pro
Sekunde)
Telefon:
Bandbreite: 300 Hz - 3,4 kHz
Abtastfrequenz: 8 kHz
(8.000 Abtastwerte pro
Sekunde)
© Fraunhofer IIS 18
19. Digitales Signal
Quantisierung: Bit pro Abtastwert (Sample)
16 Bit
8 Bit
4 Bit
Beispiel: CD 16 Bit = 65.535 mögliche Werte für jeden Abtastwert
8 Bit: 256 Werte, 4 Bit: 16 Werte
© Fraunhofer IIS 19
22. Warum funktioniert Datenreduktion?
n Nur ein Bruchteil der Information ist tatsächlich nötig für guten Klang!
n Kernideen: »Redundanzreduktion« und »Irrelevanzreduktion«
Redundante Signalanteile kann man
ohne Informationsverlust entfernen
è verlustlose Audiocodierung
è Mittlere Reduktion auf die Hälfte Max. 10%
Redundanz relevant
Irrelevante Signalanteile sind für den
Empfänger ohne Bedeutung;
Reduktionsfaktor: 8...32 bei sehr guter
Tonqualität erreichbar
Reduktion ist - obwohl nicht hörbar – ein
Informationsverlust (verlustbehaftete
Audiocodierung)
Irrelevanz
© Fraunhofer IIS 22
23. Was hören wir eigentlich? - Die Ruhehörschwelle
Alles, was unterhalb der Ruhehörschwelle liegt, ist unhörbar
Musik
Sprache
Ruhehörschwelle
© Fraunhofer IIS 23
24. Wie hören wir? - Die Mithörschwelle
Musik
Verschiebung der
Ruhehörschwelle
durch Lautsignal (Maskierung)
Der Mensch hört nicht alles gleich gut, es gibt »Maskierungseffekte«
© Fraunhofer IIS 24
25. Was überhören wir? - »Maskierte Töne«
Musik
Sprache
Der Mensch hört nicht alles gleich gut, es gibt »Maskierungseffekte«
© Fraunhofer IIS 25
26. Beispiel: Verdeckung im Frequenzbereich
Lautstärke Serie von Sinustönen
[dB] 160 Hz mit der selben
0
Frequenz und
-10 ansteigender
-20 Lautstärke
7
-30 Verdecker
-40
6
Hörschwelle
5
-50
4
-60
3
-70
2
-80
1
1000 1200 Frequenz [Hz]
© Fraunhofer IIS 26
27. MPEG-1 »Stammbaum«
simplified version
IRT (MASCAM) LAYER 1
Philips MUSICAM
LAYER 2
CCETT Psychoacoustic
model 2 (optional)
AT&T (PXFM)
Fraunhofer-IIS
LAYER 3
ASPEC (mp3)
Uni-Erl.(OCF)
Thomson
Brandt (MSC)
CNET
© Fraunhofer IIS 27
28. Blockdiagramm MPEG-1 Layer 3 („mp3“) Encoder
Source: Herre, J.: Lecture „Advanced Topics in Perceptual Audio Coding”, FAU Erlangen, SS 09
© Fraunhofer IIS 28
29. Blockdiagramm MPEG-1/2 Layer-3 („mp3“) Decoder
Erste Einschätzungen zur Hardwarekomplexität von der amerikanischen
Halbleiterindustrie 1990: »Complexity to high, to expensive!«
© Fraunhofer IIS 29
30. Status 1992:
Professionelle Anwendungen:
n MPEG Layer-2 (Jingle-Abspieler, ISDN)
n MPEG Layer-3 (nur einzelne Geräte)
n Dolby AC-2 und andere
Consumeranwendungen:
n MPEG Layer-1 (DCC)
n MPEG Layer-2
n DAB
n CD-I (mit Video)
n Dolby AC-2
n kein MPEG Layer-3
© Fraunhofer IIS 30
31. FhG-Strategie 1993
Setzen auf den Markt für Profigeräte
Beginn der Zusammenarbeit mit Micronas (damals Intermetall)
Firma Telos Systems USA setzt auf Layer-3:
n Kleine amerikanische Firma
n Eigene Kapazität zur Entwicklung von Hardware
n Sehr gutes Marketing im Rundfunkbereich
n Wichtigste Person: Steve Church
Dialog-4 (Ludwigsburg) setzt auf Layer-3
Konferenz der Audio Engineering Society in New York 1993:
Stimmungsumschwung
© Fraunhofer IIS 31
32. Sysiphus hatte es auch nicht schwerer :-)
Internes Meeting am Fraunhofer IIS 1995
»wir haben die Chance, Layer-3 zu dem Internet-Audio-Standard zu
machen«
Jedoch:
n 1995: RealNetworks beginnt den Siegeszug, ohne mp3
n 1996: RealNetworks lizensiert eine Variante von Dolby AC-3
n 1997: Liquid Audio lizensiert Dolby Digital
n 1998: Lucent macht viel Werbung für EPAC
n 1999: Microsoft startet mit WMA ein eigenes Verfahren in Konkurrenz zu
mp3 und AAC
n 1999: Sony verwendet ATRAC-3
Viele der genannten Firmen lizenzieren heute unsere Patente
© Fraunhofer IIS 32
33. 1994 / 1995:
n FAQ (Harald Popp), Internet als Vertriebsweg
n Shareware als Marketinginstrument:
gute Encoder/Decoder zum Testen für alle
n Erste Pläne zu Echtzeitdecodierung auf PC’s
n Weitere Anwender im Profibereich, Telos erreicht erheblichen
Marktanteil
n MPEG-2 Audio LSF-Erweiterungen werden fertiggestellt
(LSF = low sampling frequency)
n Der erste MASC Layer 3 - Decoderchip funktioniert
© Fraunhofer IIS 33
34. Wie mp3 sich im Internet durchsetzte:
1995 n Winplay3 als Demo, Name mp3 (14.7.95) Registriercodes bald
im Netz verfügbar
n l3enc / l3dec eigentlich nur für Profinutzer oder Bastler,
Encoder sind teuer
1996 n Macromedia lizensiert Layer-3
n Andere Decoder werden programmiert
n Erste Lizenz an Microsoft
1997 n Ein Windows-Encoder wird gestohlen, der Kopierschutz
entfernt und und kostenlos als Download-Software im Internet
angeboten
n mp3.com startet
2003: n Apple startet die Musik-Internet-Handelsplattform iTunes
(verwendet AAC, die Nachfolgegeneration von mp3)
© Fraunhofer IIS 34
35. Wesentliche Elemente des Erfolges:
Durchhalten: Eine Kerngruppe hat immer an den letztendlichen Erfolg
geglaubt
Die »good guys«:
n Wissenschaftlich korrekte Darstellung
n Im Zweifel immer mit anderen zusammenarbeiten
hat langfristig Freunde gebracht
n Präsenz auf Tagungen und Messen: Wirkung manchmal erst nach langer
Zeit
n Ruf als führende Forscher lange vor dem wirtschaftlichen Erfolg
n Vision mit Intuition kombinieren
n Fehler vermeiden (z. B. Copyright-Diskussion)
n Richtige Wege gehen (z. B. Bedeutung d. Internet)
© Fraunhofer IIS 35
36. Probleme der Musikindustrie mit mp3:
n Folgendes wurde plötzlich um den Faktor 12 (die typische
Kompressionsrate) billiger:
n Kosten der Speicherung von Musik am PC
n Kosten des Transfers von Musik über CD-ROM
n Kosten der Übertragung von Musik über Internet
n Beginnend mit amerikanischen Studenten, wurde der Austausch von mp3-
Musik zum Volkssport
n Analoge Kassetten erlauben keine Kopie der Kopie, mp3's behalten ihre
Qualität (solange nicht zwischendurch decodiert/encodiert wird)
n Die Herkunft von mp3's ist nicht feststellbar
(anonymes Veröffentlichen ist möglich)
© Fraunhofer IIS 36
37. Piraten und die Musikindustrie
Erste mp3-Websites Ende 1996 / Anfang 1997
Sommer 1997: Gerichtsbeschlüsse, Bekanntmachung in USA Today
n Reaktion: mehr Piraten
Rio PMP300 von Diamond (erster mp3-Player in den Läden) wird im
Sommer 1998 angekündigt
Herbst 1998: Gerichtsverfahren gegen Diamond
Die RIAA (Recording Industry Association of America (RIAA - Verband der
Musikindustrie in den USA) verliert das Gerichtsverfahren
n Reaktion: mehr Piraten
Ende 1999: Napster tritt auf ...
Weltweit wird mp3 ein Thema für die Medien
© Fraunhofer IIS 37
38. Reaktionen der Musikindustrie
Zunächst: »geht uns nichts an«
Ab 1997: langsames Verstehen der Situation, Versuch durch Schließung
von Web-Sites .mp3 zu verbannen
Bis heute ist es schwierig, legale elektronische Vertriebsrechte zu
bekommen:
n Wer soll in Zukunft das Geschäft betreiben ?
n Oft ist die Rechtslage völlig unklar
Seit Ende 1997: Entstehen einer »alternativen« Musikverlagsbranche:
n Elektronischer Vertrieb ohne Sicherheitssysteme
Gesicherte Systeme haben es bis jetzt doppelt schwer: wenig Content,
Konkurrenz zu .mp3
© Fraunhofer IIS 38
39. Lizensierung im Internetzeitalter
Lizensierung über Thomson Multimedia
n Seit 1999 in San Diego, Kalifornien
Fraunhofer war wesentlich an der Entwicklung der Lizenzmodelle beteiligt
(1995 - 2000)
n z. B. Verhandlungen bei Microsoft
Was nicht funktioniert hat:
n Gebühr pro Decoder auch bei Software
n Kopplung freier Decoder an Kopierschutz
n Kein Content im geschützten Format
n Konkurrenz durch andere Decoder
Was funktioniert:
n Flexibilität, eingehen auf viele Geschäftsmodelle
© Fraunhofer IIS 39
41. 5 Generationen erfolgreicher Audio Codecs
xHE-AAC, -ELDv2
MPEG Surround, AAC-ELD
HE-AAC, HE-AACv2
AAC, AAC Low Delay
mp3, mp3 Surround, mp3HD
1992 1997 2003 2007 2012
© Fraunhofer IIS 41
42. Apple Facetime nutzt Fraunhofer-Codec
AAC-ELD für beste Kommunikationsqualität
n Apple Facetime ist die neue VoIP-
Anwendung von Apple für iPhone,
iPad und Mac OSX
n Apple Facetime nutzt den
Kommunikations-Codec Enhanced
Low Delay AAC (AAC-ELD) für die
Übertragung von Sprache in CD-
Qualität
n Das Fraunhofer IIS war maßgeblich
an der Entwicklung von AAC-ELD
beteiligt
Fraunhofer-Technologie in
allen iPhone4, iPad2 und
Mac OS X Lion Computern
© Fraunhofer IIS 42
43. MP3: Eine deutsche Erfolgsgeschichte!
n MP3 sichert mehr als 10.000 Arbeitsplätze in Deutschland
n MP3 garantiert 300 Millionen Euro an Steuereinnahmen pro Jahr
n MP3 sichert der Fraunhofer-Gesellschaft jährlich Einnahmen in
Millionenhöhe
n Erster MP3-Decoderchip stammt aus Deutschland
n Über 1000 Lizenznehmer von Audio-Patenten und hunderte erfolgreiche
Produkte mit Fraunhofer- Software
© Fraunhofer IIS 43
44. Mehr als 1000 Lizenznehmer unserer Audiocodecs
© Fraunhofer IIS 44
45. International Audio Laboratories Erlangen
Einzigartige Konzeption und Struktur:
Gemeinsame Forschungseinrichtung des Fraunhofer IIS und der
Universität Erlangen-Nürnberg
n Finanzierung vom Fraunhofer IIS für zunächst 10 Jahre (15 angestrebt)
n Ziel: Top-Forschung im Gebiet Audio & Multimedia
Fraunhofer IIS Uni / FAU
Abteilungen Technische Fakultät
Audio & Department EEI
Multimedia Echtzeitsysteme
International Audio Laboratories Erlangen
(»IIS Labs«) (»AudioLabs-FAU«)
40 MA 6 Professoren +
6 x 2 wiss. MA
© Fraunhofer IIS 45
46. Erfolgsgeschichte MP3 –
Am Fraunhofer IIS arbeiten heute mehr als
200 Experten auf dem Gebiet der Audiotechnik
© Fraunhofer IIS
47. Vielen Dank für Ihre Aufmerksamkeit
Viele in diesem Vortrag nicht genannte Kollegen des Fraunhofer IIS und von
anderen Organisationen haben zum Erfolg von MP3 beigetragen.
Ihnen danke ich an dieser Stelle ausdrücklich.
Besondere Anerkennung gebührt:
Bernd Edler, damals an der Universität Hannover
James D. Johnston, damals bei den Bell Laboratories, USA
Ernst Schroeder, damals bei Thomson Consumer Electronics in Deutschland
© Fraunhofer IIS 47