Was ist kann_und_darf_deep_learning
•Als PPTX, PDF herunterladen•
1 gefällt mir•394 views
Deep Learning ist in aller Munde. Warum ist das so? Zunächst einmal wegen einigen spektakulären Verbesserungen, welche im Bereich Bilderkennung seit 2012 Schlagzeilen machen. Ebenfalls wichtig ist, dass welche zunehmend grosse Datenmengen verfügbar werden, welche mit Deep Learning besser ausgenutzt werden können. Aber es gibt aber tieferliegende Gründe dafür: Deep Learning gelingt es, bessere Darstellungen der Rohdaten zu finden und abstrakte Begriffe wie “Hund” oder “Katze” aus Pixelwerten eines Bildes zu bilden. Ich illustriere dies an Hand mehrere Anwendungen, welche schon bald den Sprung aus der Forschung in die Anwendung schaffen werden oder wo dies bereits teilweise geschehen ist.
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Was ist kann_und_darf_deep_learning
Ähnlich wie Was ist kann_und_darf_deep_learning (20)
Was ist kann_und_darf_deep_learning
- 1. Dr. Beat Tödtli Laboratory for Web Science 15.12.2017 Was ist, kann und darf Deep Learning?
- 2. Google Trends für „Deep Learning“ 07.03.2019 Was ist, kann und darf Deep Learning? 2 ILSVRC 2012: Deep Learning Durchbruch Suchinteresse
- 3. Statistisches Lernen Didaktik Erstelle komplexes Steuerungsprogramm ohne explizites Programmieren Zeige Beispiele: Steuerungsprogramm wird berechnet Lernen: Mathematische Optimierungsaufgabe Zentrales Problem: Verallgemeinerung Machine Learning 07.03.2019 Was ist, kann und darf Deep Learning? 3
- 4. Es gibt nicht nur Deep Learning 07.03.2019 Was ist, kann und darf Deep Learning? 4 Random Forests Support Vector Machines Naive Bayes Matrix Factorisation Ensemble Methods Expectation Maximisation Principal Components Analysis Clustering KMeansGaussian Mixtures Ridge Regression Linear Discriminant AnalysisNearest Neighbour Classification Networks Data Preprocessing, Feature Selection Gaussian Processes Adaboost Decision Trees Generalized Linear Models Hidden Markov Models etc.
- 5. Was sind neuronale Netze? 15.12.2017 Was ist, kann und darf Deep Learning? 5 Künstliches neuronales Netz Neural network topology. Topology of multilayer full feedforward neural network for the estimation of lipase-catalyzed synthesis of palm-based wax ester. Basri et al. BMC Biotechnology 2007 7:53 doi:10.1186/1472-6750-7-53 Neuronales Netz (Gehirn) ~ 100 Milliarden Neuronen
- 6. 15.12.2017 Was ist, kann und darf Deep Learning? 6 Deep Learning tiefe neuronale Netze + Big Data + effizientere Algorithmen z.B. Inception, 2014: 22 Schichten ResNet, 2015: 152 Schichten Was ist Deep Learning? 1 Schicht:
- 7. Warum Deep Learning? 15.12.2017 Was ist, kann und darf Deep Learning? 7 Datenmenge Performance Traditionelles Machine Learning Performance Deep Learning Urheber: Andrew Ng
- 8. Warum gewinnt Deep Learning? 15.12.2017 Was ist, kann und darf Deep Learning? 8 Datenmenge Performance Traditionelles Machine Learning Performance Deep Learning
- 9. Abstrakte Darstellungen von Rohdaten: Bilder 15.12.2017 Was ist, kann und darf Deep Learning? 9
- 10. NN verstehen die Struktur des Bildraums Addieren den „Lächeln-Vektor“ zu bestehendem Bild Abstrakter Begriff: „Lächeln“ 07.03.2019 Was ist, kann und darf Deep Learning? 10 https://github.com/dribnet/plat Frau + 0.3 Lächeln → lächelnde Frau*
- 11. 15.12.2017 Was ist, kann und darf Deep Learning? 11 MannFrau blond dunkel
- 12. Hyperfläche der sinnvollen Bilder 15.12.2017 Was ist, kann und darf Deep Learning? 12 By Leonid 2 (Own work) [<a href="https://creativecommons.org/licenses/by- sa/3.0">CC BY-SA 3.0</a> or <a href="http://www.gnu.org/copyleft/fdl.html">GFDL</a>], <a href="https://commons.wikimedia.org/wiki/File%3ARiemann_sqrt.svg">via Wikimedia Commons</a>
- 13. Adversarial examples 15.12.2017 Was ist, kann und darf Deep Learning? 13 Goodfellow, Shlens, Szegedy 2014, arxiv.org/pdf/1412.6572.pdf ?
- 14. Style transfer 07.03.2019 Was ist, kann und darf Deep Learning? 14 Nehme Kunststil von hier (V. Van Gogh)… …und übertrage ihn auf das Foto!
- 15. Style transfer 07.03.2019 Was ist, kann und darf Deep Learning? 15 (V. Van Gogh) (E. Munch)
- 16. 125 Maler 65’000 Bilder Loving Vincent (2017) 15.12.2017 Was ist, kann und darf Deep Learning? 16
- 17. Bsp. Word2Vec: Abstrakte Darstellungen von Rohdaten: Text 15.12.2017 Was ist, kann und darf Deep Learning? 17 Rom – Italien + Frankreich→ Paris
- 18. Visualisierung von Embeddings 15.12.2017 Was ist, kann und darf Deep Learning? 18
- 19. Fashwell 15.12.2017 Was ist, kann und darf Deep Learning? 19
- 20. Erstes System, das allgemein lernt? Kreativität von Maschinen Reinforcement Learning in AlphaGo: allgemeine Lernfähigkeit 15.12.2017 Was ist, kann und darf Deep Learning? 20
- 21. Computer lernen, abstrakte Begriffe zu verstehen Eine neue Informatik? 15.12.2017 Was ist, kann und darf Deep Learning? 21 https://www.flickr.com/photos/qubodup/16708290022 robot-ears.eu Formale Sprache informelle Sprache
- 22. „Informelle Informatik“ 07.03.2019 Titel Präsentation 22 Steuerung, Programmierung Training, „Dressur“ Erziehung Nachvollziehbarkeit Haftung?
- 23. Dokumentation Neue Aufgaben für Informatiker? 07.03.2019 Was ist, kann und darf Deep Learning? 23 Nachvollziehbarkeit? Bisher Neu Ethik – Dialog: Was soll und darf KI? Soziale AkzeptanzTests, Validierung Mehrwert schaffen
- 24. Herausforderungen, technisch 15.12.2017 Was ist, kann und darf Deep Learning? 24 25‘000 Bilder für so was Triviales?! Kleine Datensätze Spracherkennung, Chatbots Lernen von Verhalten …
- 25. Fake Video-Anrufe! (Deklarationspflicht?) Technologievorherrschaft? Wertevorgaben an KI-Systeme: Z.B. Rassismus-Problematik politische und soziale Herausforderungen 15.12.2017 Was ist, kann und darf Deep Learning? 25
- 26. Würde? 07.03.2019 Was ist, kann und darf Deep Learning? 26 Komplexe Maschine Moralisches Subjekt? LernfähigkeitKomplexität Silizium vs. Kohlenstoff?
- 27. 07.03.2019 Was ist, kann und darf Deep Learning? 27 Dankeschön!
- 28. Dr. Beat Tödtli Laboratory for Web Science 15.12.2017 Backup Slides
- 29. Weitere Anwendungen 15.12.2017 Was ist, kann und darf Deep Learning? 29 Lippensynchronisation, Videogeneration von Obama-Audio Sprachsynthese aus Text WaveNet: Sprachsynthese aus Text -> Fake Radio News ? Chopin-Musikgeneration
- 30. Noch mehr Transfer abstrakter Eigenschaften 15.12.2017 Was ist, kann und darf Deep Learning? 30 https://youtu.be/XOxxPcy5Gr4?t=1m47s Ergibt sinnvolle neue Beispiele
- 31. Übersetzung Segmentierung Vervollständigung Weitere Anwendungen 15.12.2017 Was ist, kann und darf Deep Learning? 31 dhttps://research.googleblog.com/2015/07/how-google-translate- squeezes-deep.html
- 32. Abstraktee Begriffe Mann, Frau und Brille 07.03.2019 Titel Präsentation 32 – Mann mit Sonnenbrille Mann Frau Frau mit Sonnenbrille + =
- 33. Wikipedia-Artikelschreiben Anwendungen 15.12.2017 Was ist, kann und darf Deep Learning? 33
- 34. Generative Adversarial Networks 07.03.2019 Was ist, kann und darf Deep Learning? 34 https://www.flickr.com/photos/pedrosimoes7/190673196
- 35. Deep Learning ein Untergebiet des Machine Learning Man vergesse die nicht! Es gibt einfachere Machine Learning Techniken, welche Mit 20% des Aufwands… …80% des Ertrags rausholen Deep Learning ist nur in Teilbereichen erfolgreich Deep Learning hat das Potenial zur Killerapp: Selbstfahrende Autos, Digital Doctor Immer noch gilt: Zuerst einfachere Methoden ausprobieren! Machine Learning 15.12.2017 Was ist, kann und darf Deep Learning? 35
- 36. Supervised Learning: Unterscheide Katzen von Hunden Unsupervised Learning: Finde nützliche Struktur in Daten Reinforcement Learning: Lerne ein Verhalten Laufen, Computerspiele Autofahren Machine Learning 101 07.03.2019 Was ist, kann und darf Deep Learning? 36 Vs.
- 37. Was sind Neuronen? 15.12.2017 Was ist, kann und darf Deep Learning? 37 Northeastern University. "Oorganization of human brain is nearly ideal: New research reveals that structure of the human brain has an almost ideal network of connections." ScienceDaily. ScienceDaily, 7 July 2015. <www.sciencedaily.com/releases/2015/07/150707120101.htm>. http://www.milad.no/2015/02/07/creating-a-3d-neuron-scene-in- blender/ Neuron (Gehirnzelle) Neuron (Perzeptron) http://www.theprojectspot.com/tutorial-post/introduction-to-artificial-neural- networks-part-1/7
Hinweis der Redaktion
- Google Trends Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton (alle Universität Toronto) 1000 Klassen Top-5 Fehlerrate von 15.3% Bester Mitbewerber: 26.2%
- Wie erstelle ich ein komplexes Steuerungsprogramm, ohne es explizit zu programmieren? Zusammenhang zwischen Input und Steuerung nicht mehr verstehen (wollen)
- Nur eine von vielen Machine Learning-Ansätzen- keep it simple 80%-20%-Regel: Viele Probleme sind leichter lösbar als mit Deep Learning Digitalisierung ist noch nicht abgeschlossen…
- Warum profitiert DL mehr von grossen Datenmengen?
- Warum gewinnt DL? Weil DL mehr von grossen Datenmengen profitiert Aber warum profitiert Deep Learning mehr davon? Weil es mit NN gelingt Schicht für Schicht abstraktere Darstellungen der Rohdaten zu generieren.
- Abstrakte Sprache wird benutzt
- NN verstehen den abstrakten Begriff des Lächelns Jedes Zwischenbild macht Sinn
- Angriff auf Neuronale Netze: durch kleine Änderung Klassifikation beeinflussen Ganz so gut verstanden sind diese Hyperflächen noch nicht! Epsilon < 0.007 Verstehen wir, wie Neuronale Netze denken…? Wir sehen Panda, NN sieht einen Affen!
- Joseph Mallord Willliam Turner LOVING VINCENT Trailer (2017)
- Vincent Van Gogh Edvard Munch
- 65,000 Bilder von 125 Malern (Handarbeit) Werbung!
- Word2Vec geht auch mit 1 hidden layer
- Bedeutungsähnliche Bilder gruppieren sich örtlich in diesem Darstellungsraum
- Go: Brute Force nicht mehr möglich 2^171 mögliche Spiele AlphaGo: gewinnt im Go-Spiel gegen Lee Sedol (18-facher Weltmeister) AlphaGo Zero: Kein Input ausser die Spielregeln, lernt „tabula rasa“ Gewinnt gegen AlphaGo 100:0 Anfangs dieselben Fehler wie Menschen kaum mehr verständliche Züge
- Wo stehen wir? Computer lernen, abstrakte Begriffe zu verstehen Wir haben es geschafft, dass Programme komplexe Strukturen lernen können, die wir selber nicht explizit in einer formalen Sprache beschreiben können Wir werden in Zukunft unsere Systeme nicht mehr programmieren, sondern unterrichten.
- In dieser neuen, informellen Informatik, werden Systeme nicht mehr gesteuert oder programmiert, sondern trainiert, quasi „dressiert“ Ein wichtiges Problem dabei ist, dass die Nachvollziehbarkeit des Verhaltens des Systems dadurch verloren gehen wird. Es ergeben sich neue Herausforderungen, z.B.: wer haftet, wenn eine Maschine einen Fehler macht? Der Programmierer oder der Eigner?
- Der Programmierer wird neue Aufgaben erhalten Anstatt einer Dokumentation wird er sich um die Nachvollziehbarkeit und Soziale Akzeptanz seines Systems kümmern müssen. Dies beinhaltet Fragen nach der - Vertrauensbildung - und eine Auseinandersetzung mit gesellschaftlichen Werten, d.h. einem Ethik-Dialog - Was ist diskriminierend? - Wer trägt rechtliche Verantwortung?
- Wer meine Stimme ohne mein Einverständnis benutzt, ist kriminell. Elon Musk: Dritter Weltkrieg wird um Technologievorherrschaft geführt werden Bildung zum sozialen Diskurs über AI
- Dr. Peter Kirchschläger von der Universität Luzern hat am letzten Asut-Kolloquium die Position vertreten, dass Systeme nie wirklich autonom, sondern immer nur automatisiert sind, d.h., keine eigenen Anspruch an Moral- oder Schuldfähigkeit haben. Aber stellen wir uns ein System vor, das so komplex und lernfähig ist, dass es seinem Verhalten nach kaum von einem Menschen unterscheidbar ist. Woran liesse sich dann diesem System absprechen, ein moralisches Subjekt zu sein? Droht hier nicht eine Diskriminierung allein auf Grund der Tatsache, dass das eine System biologisch, das andere siliziumbasiert ist? Ein System verdient Respekt, erhält Würde nicht nur, aber auch auf Grund seiner Komplexität. Ein System mit Umsicht, mit Intelligenz, der Angemessenheit seiner Reaktionen und der Fähigkeit sich zu bessern. Kurzum, auf Grund seiner Lernfähigkeit. Die Lernfähigkeit berechtigt ein System meines Erachtens dazu, moralisch korrigiert, also erzogen zu werden.
- „Beste machine learning Idee der letzten 10 Jahre“ (Yann LeCun) Discriminator: Fälschung oder Echt? Generator: Fälscher Wettbewerb Discriminator <-> Generator Produziert gute Fälschungen besserer Diskriminator