Simone Scardapane - Il deep learning rappresenta una nuova famiglia di tecniche data-driven, che stanno rapidamente aprendo nuovi orizzonti in quello che le macchine possono essere programmate a fare. In pochi anni, abbiamo visto macchine che si guidano da sole, reti neurali che analizzano immagini meglio e più velocemente degli umani, assistenti personali sui nostri smartphone, e molto altro. Fra false partenze e reali cambiamenti, cosa ci riserva il futuro? E, soprattutto, queste tecnologie sono alla portata di tutti? In questo talk daremo una panoramica di queste questioni e delle loro possibili risposte.
Data driven economy: bastano i dati per avviare una start up? (Gabriele Anton...
Big Data e Deep Learning: verso una nuova generazione di programmi intelligenti
1. Data Driven Innovation Open Summit (Roma, 21 Maggio 2016)
Big Data e Deep Learning
Simone Scardapane
{simone.scardapane@uniroma1.it}
Verso una nuova generazione di programmi intelligenti
2. Deep learning, in the press
05/06/2016
2
Big Data e Deep Learning
IBM Pushes Deep Learning with a Watson Upgrade
Technology Review, Jul. 09 2015
Google Just Open Sourced TensorFlow, Its Artificial Intelligence Engine
Wired, Sep. 11 2015
Google Cloud Vision API Delivers Sophisticated Image Recognition Service To
Developers
Forbes, Dec. 03 2015
Microsoft releases CNTK, its open source deep learning toolkit, on GitHub
Microsoft Blogs, Jan. 25 2016
Qualcomm's deep learning SDK will mean more AI on your smartphone
The Verge, May 02 2016
Nvidia’s vision for deep learning AI: Is there anything a computer can’t do?
Extremetech, Apr. 08 2016
3. Macchine che parlano?
05/06/2016
3
Big Data e Deep Learning
http://googleresearch.blogspot.it/2014/11/a-picture-is-worth-thousand-coherent.html
Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2014). Show and tell: A neural image caption
generator. arXiv preprint arXiv:1411.4555.
6. Come rappresentare una persona?
05/06/2016
6
Big Data e Deep Learning
Basso livello
Alto livello
Un computer vede una
sequenza di pixels…
… ma un umano "vede"
altezza, peso, sesso…
7. La soluzione è nei dati
05/06/2016
7
Big Data e Deep Learning
Microsoft, Google Beat Humans at Image Recognition
11. Un'Ispirazione Biologica
05/06/2016
11
Big Data e Deep Learning
Un elemento essenziale:
strati multipli di elaborazione
Urbanski, M., Coubard, O. A., & Bourlon, C. (2014). Visualizing the blind brain: brain imaging of visual field defects
from early recovery to rehabilitation techniques. Frontiers in integrative neuroscience, 8.
13. Breve Storia delle Reti Neurali
05/06/2016
13
Big Data e Deep Learning
• 1957: Frank Rosenblatt presenta il percettrone
• Anni '70: "AI Winter"
• Anni '80: la prima "rinascita" delle reti neurali
• Parziale abbandono fino al 2000
• Dal 2006: deep networks, la seconda "rinascita"
14. Fattori Scatenanti
05/06/2016
14
Big Data e Deep Learning
1. Nuovi algoritmi per allenare reti con vari strati
nascosti (inizializzazione unsupervised, ecc.).
2. Training set di svariati milioni di elementi ("big
data").
3. Grandi capacità computazionali: clusters, GPU,
ecc.
17. La GoogleNet
05/06/2016
17
Big Data e Deep Learning
• Architettura con 1 miliardo di connessioni (9 strati).
• Allenata tramite 10 milioni di immagini estratte da
YouTube.
• Hardware: 1000 computer per un totale di 16000 CPUs.
• Nessuna classe di output predefinita: allenamento non
supervisionato.
18. Il “neurone dei gatti”
05/06/2016
18
Big Data e Deep Learning
Le, Q. V. (2013, May). Building high-level features using large scale unsupervised learning. In 2013 IEEE
International Conference on Acoustics, Speech and Signal Processing (ICASSP), (pp. 8595-8598). IEEE.
19. Il “neurone dei gatti” (2)
05/06/2016
19
Big Data e Deep Learning
25. Stile e contenuto
05/06/2016
25
Big Data e Deep Learning
Gatys, L. A., Ecker, A. S., & Bethge, M. (2015). A neural algorithm of artistic style. arXiv preprint
arXiv:1508.06576.
27. 05/06/2016
27
Big Data e Deep Learning
Qualche risultato /2
Ruder, M., Dosovitskiy, A. & Brox, T. (2016). Artistic style transfer for videos. arXiv
preprint arXiv:1604.08610.
28. Ingannare una rete neurale
05/06/2016
28
Big Data e Deep Learning
Nguyen A, Yosinski J & Clune J. Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images. In Computer Vision and Pattern Recognition (CVPR ’15), IEEE, 2015.
30. Dai pixel alle azioni
05/06/2016
30
Big Data e Deep Learning
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., ... & Petersen, S. (2015). Human-level control
through deep reinforcement learning. Nature, 518(7540), 529-533.
31. Dai pixel alle azioni /2
05/06/2016
31
Big Data e Deep Learning
32. Step 1 - Collecting data
05/06/2016
32
Big Data e Deep Learning
http://googleresearch.blogspot.it/2016/03/deep-learning-for-robots-
learning-from.html
33. Step 2 – Train the model
05/06/2016
33
Big Data e Deep Learning
35. A cosa servono i dati?
05/06/2016
35
Big Data e Deep Learning
Possiamo usare questi dati per predire cosa scriveranno gli utenti?
Swiftkey Releases Predictive Keyboard Built On A Neural Network
36. Riferimenti generali
05/06/2016
36
Big Data e Deep Learning
Bengio, Y., Courville, A., & Vincent, P. (2013). Representation learning: A review
and new perspectives. IEEE Transactions on Pattern Analysis and Machine
Intelligence, 35(8), 1798-1828.
Bengio, Y. (2009). Learning deep architectures for AI. Foundations and trends® in
Machine Learning, 2(1), 1-127.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436-444.
Schmidhuber, J. (2015). Deep learning in neural networks: An overview. Neural
Networks, 61, 85-117.
Schmidhuber, J. (2010). Formal theory of creativity, fun, and intrinsic motivation
(1990–2010). IEEE Transactions on Autonomous Mental Development, 2(3), 230-247.
37. Copyright Immagini
05/06/2016
37
L'Apprendimento Automatico per la
Rappresentazione della Conoscenza
Titolo: All Rights Reserved: http://gureckislab.org/blog/?p=2648
Estrazione di Features: IconFinder, Devine Icons (Free for personal use)
Come rappresentare una persona: http://pixshark.com/person-icon-png.htm
Deep (Artificial) Networks: http://neuralnetworksanddeeplearning.com/chap1.html
Deep learning per immagini: http://deeplearning.net/tutorial/lenet.html
Deep learning per immagini (2): http://parse.ele.tue.nl/education/cluster2
38. Grazie per l’attenzione
Domande?
“Don't blame you," said Marvin and counted five hundred and ninety-seven
thousand million sheep before falling asleep again a second later.”
[The Hitchhiker's Guide to the Galaxy]