3. Deep Learning
Building High-Level Features using Large Scale Unsupervised Learning. Quoc
V. Le, Marc'Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S.
Corrado, Jeffrey Dean and Andrew Y. Ng. In Proceedings of the Twenty-Ninth
International Conference on Machine Learning, 2012.
Deep Learning, The Analytics Store, http://theanalyticsstore.ie/deep-learning/ (2015-07-15)
“the model has1 billion connections, the dataset has
10 million 200×200 pixel images downloaded from
the Internet…We train this network using model
parallelism and asynchronous SGD on a cluster with
1,000 machines (16,000 cores) for three days”
4. ディープラーニングま
での歴史
• 1958 Perceptron
(XOR Problem)
• 1980 Neocognitron [1][2]
• 1986 Backpropagation [3]
(Data and computation limitation)
• Mid 2000: Deep Learning
[1] 福島邦彦、位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン ---、1979
年、電子通信学会論文誌A, vol. J62-A, no. 10, pp. 658-665
[2] K. Fukushima、Neocognitron: A self-organizing neural network model for a mechanism of pattern
recognition unaffected by shift in position、1980年、Biological Cybernetics}, vol. 36, no. 4, pp. 193-202
[3] Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). "Learning representations by
back-propagating errors". Nature 323 (6088): 533–536. doi:10.1038/323533a0
5. IBM Watson
• IBMが開発した質問応答システム
• 2011年1月13日にはトーマス・J・ワトソン研究所でワト
ソンの公開と「ジェパディ!」での人間と対戦デモが行
われ、前チャンピオンに勝つ。
• ワトソンは、10台のラックに搭載されたPower Systems
750で構成され、2880個のPOWER7プロセッサ・コアを
搭載し、オペレーティングシステムはLinux、処理性能
は80テラFLOPS(TFLOPS)で、インターネットには接続さ
れておらず、本・台本・百科事典(Wikipediaを含む)な
どの2億ページ分の構造的及び非構造的テキスト
データ(70GB程度、約100万冊の書籍に相当)を取り
込む。
https://ja.wikipedia.org/wiki/ワトソン_(コンピュータ)
6. -
Ferrucci, D et al. (2010), "Building Watson: An Overview of the DeepQA
Project", AI Magazine (AI Magazine) 31 (3), retrieved 2011-02-19