2012/11/13(火) 第4回集合知プログラミング勉強会 @nifty

1. 集合知プログラミング
4.7 クリックからの学習
2012/11/13(火) #TokyoCI
@Prunus1350

2. より良い検索結果のランキングのために

3. より良い検索結果のランキングのために
クエリの中の検索語

4. より良い検索結果のランキングのために
クエリの中の検索語
利用者に表示される検索結果

5. より良い検索結果のランキングのために
クエリの中の検索語
利用者に表示される検索結果
ユーザがどれをクリックしたか

6. より良い検索結果のランキングのために
クエリの中の検索語
利用者に表示される検索結果
ユーザがどれをクリックしたか
これらの情報を基にトレーニングを行う人工的なニューラルネット
ワークを作成する。

7. ニューラルネットワークとは？
神経細胞（ニューロン）をモデル化したものを多数つなげてネット
ワークを構成したもの。
階層構造ニューラルネットワーク 相互結合型ニューラルネットワーク

8. ニューラルネットワークとは？
神経細胞（ニューロン）をモデル化したものを多数つなげてネット
ワークを構成したもの。
今回はこちら
階層構造ニューラルネットワーク 相互結合型ニューラルネットワーク

9. ニューロンについて
神経細胞（ニューロン）
他のニューロンからの入力信号の
重み付け総和がある閾値を超える
と発火（興奮）し、パルスを発生
してそれを次のニューロンに伝え
ていく。
モデル化されたニューロン
モデル化されたニューロンでは、
出力を計算するためにほとんどい
つもシグモイド関数が利用され
る。（今回はハイパボリックタン
ジェント関数を利用する。）

10. ハイパボリックタンジェント関数
シグモイド関数の一種
x軸をノードへの入力の合計とすると、入力が0に近づくにつれ出力は
急激に上昇を始める。
入力が2になった時には出力はほとんど1であり、それ以上は上がらな
い。
ex e x
tanh(x) = x x
e +e
0 2
tanh(x) =1 tanh (x)

11. 代表的なニューロンの学習アルゴリズム
学習アルゴリズム
教師 名前 応用例 特徴
（重みの修正量）
(出力)×(他のニューロンの出力) 生理学的根拠あ
ヘッブ型学習 (2つのニューロンが発火したとき ボルツマンマシン り、自己組織化な
のみ) どに有用
教師なし
自己組織化特徴
競合学習 (入力ベクトル)-(重みベクトル) 特徴抽出
マップ
(教師信号)×(他のニューロンの出 アソシアトロン、
相関学習 連想記憶モデル
力) BAM、MAM
教師あり
バックプロパ [(教師信号)-(出力)]×[関数’(入力 階層構造ネット
パターン認識
ゲーション 和)]×(出力) ワーク
産業図書『ニューロ・ファジィ・遺伝的アルゴリズム』より

12. 代表的なニューロンの学習アルゴリズム
学習アルゴリズム
教師 名前 応用例 特徴
（重みの修正量）
(出力)×(他のニューロンの出力) 生理学的根拠あ
ヘッブ型学習 (2つのニューロンが発火したとき ボルツマンマシン り、自己組織化な
のみ) どに有用
教師なし
自己組織化特徴
競合学習 (入力ベクトル)-(重みベクトル) 特徴抽出
マップ
今回はこちら
(教師信号)×(他のニューロンの出 アソシアトロン、
相関学習 連想記憶モデル
力) BAM、MAM
教師あり
バックプロパ [(教師信号)-(出力)]×[関数’(入力 階層構造ネット
パターン認識
ゲーション 和)]×(出力) ワーク
産業図書『ニューロ・ファジィ・遺伝的アルゴリズム』より

13. サンプルコードを実行
world World Bank
bank River
Earth

14. サンプルコードを実行
入力層が入力信号を受け取る
0.5 0.1
world World Bank
１
0.5
0.1
bank River
１ 0.1
Earth

15. サンプルコードを実行
隠れ層が重み付けられた入力を受け取る
0.5 0.1
world １ World Bank
0.5
0.1
bank River
0.1
Earth

16. サンプルコードを実行
tanh関数によって隠れ層からの出力が計算される
0.5 0.1
world 0.762 World Bank
0.5
0.1
bank River
0.1
Earth

17. サンプルコードを実行
出力層が重み付けられた入力を受け取る
0.5 0.1
world 0.0762 World Bank
0.5
0.1
bank 0.0762 River
0.1
0.0762 Earth

18. サンプルコードを実行
tanh関数によって出力層からの出力が計算される
0.5 0.1
world World Bank 0.0760
0.5
0.1
bank River 0.0760
0.1
Earth 0.0760

19. サンプルコードを実行
ユーザからの教師信号を受け取る
1
0.5 0.1
world World Bank 0.0760
0.5
0.1
0
bank River 0.0760
0.1
0
Earth 0.0760

20. サンプルコードを実行
バックプロパゲーションにより重みが変更される
0.52 0.45
world World Bank
0.52 0.07
bank River
0.07
Earth

21. サンプルコードを実行
再度、入力層が入力信号を受け取る
0.52 0.45
world World Bank
１
0.52 0.07
bank River
１ 0.07
Earth

22. サンプルコードを実行
変更された重みを使って出力が計算される
0.52 0.45
world World Bank
0.335
0.52 0.07
bank River
0.055
0.07
Earth
0.055

23. ニューラルネットワークの使用例

24. アメリカ陸軍での失敗例

25. アメリカ陸軍での失敗例
アメリカ陸軍がニューラルネットワークを訓練して、迷彩塗装の戦車
を識別させようとした。

26. アメリカ陸軍での失敗例
アメリカ陸軍がニューラルネットワークを訓練して、迷彩塗装の戦車
を識別させようとした。
数多くの写真を使った訓練の結果、それらの写真に戦車が映っている
かどうか、きわめて正確に識別できるようになった。

27. アメリカ陸軍での失敗例
アメリカ陸軍がニューラルネットワークを訓練して、迷彩塗装の戦車
を識別させようとした。
数多くの写真を使った訓練の結果、それらの写真に戦車が映っている
かどうか、きわめて正確に識別できるようになった。
実地試験を行い、本物の戦車を識別させようとしたところ、結果はと
んでもなくひどいものだった。

28. アメリカ陸軍での失敗例
アメリカ陸軍がニューラルネットワークを訓練して、迷彩塗装の戦車
を識別させようとした。
数多くの写真を使った訓練の結果、それらの写真に戦車が映っている
かどうか、きわめて正確に識別できるようになった。
実地試験を行い、本物の戦車を識別させようとしたところ、結果はと
んでもなくひどいものだった。
なぜか？

29. アメリカ陸軍での失敗例

30. アメリカ陸軍での失敗例
原因調査の結果、訓練に使用した写真に問題があることが判明した。

31. アメリカ陸軍での失敗例
原因調査の結果、訓練に使用した写真に問題があることが判明した。
戦車の映った写真は「晴れ」の日に撮影された。

32. アメリカ陸軍での失敗例
原因調査の結果、訓練に使用した写真に問題があることが判明した。
戦車の映った写真は「晴れ」の日に撮影された。
戦車の映っていない写真は「曇り」の日に撮影された。

33. アメリカ陸軍での失敗例
原因調査の結果、訓練に使用した写真に問題があることが判明した。
戦車の映った写真は「晴れ」の日に撮影された。
戦車の映っていない写真は「曇り」の日に撮影された。
つまり、ニューラルネットワークは戦車の有無ではなく、天気の識別
を学習していた。

34. アメリカ陸軍での失敗例
原因調査の結果、訓練に使用した写真に問題があることが判明した。
戦車の映った写真は「晴れ」の日に撮影された。
戦車の映っていない写真は「曇り」の日に撮影された。
つまり、ニューラルネットワークは戦車の有無ではなく、天気の識別
を学習していた。
ダイヤモンド社『数学で犯罪を解決する』より

35. エアコンへの応用

36. エアコンへの応用
室温、外気温、設定温度などがニューラルネットワークに入力され、
ユーザからの入力が教師信号として用いられる。

37. エアコンへの応用
室温、外気温、設定温度などがニューラルネットワークに入力され、
ユーザからの入力が教師信号として用いられる。
ニューラルネットワーク出力は自動モードでの設定温度に対する補正
値となり、個人の好みに合った設定温度が求められる。

38. エアコンへの応用
室温、外気温、設定温度などがニューラルネットワークに入力され、
ユーザからの入力が教師信号として用いられる。
ニューラルネットワーク出力は自動モードでの設定温度に対する補正
値となり、個人の好みに合った設定温度が求められる。
産業図書『ニューロ・ファジィ・遺伝的アルゴリズム』より

39. 炊飯器への応用

40. 炊飯器への応用
予熱、炊飯、蒸らしのそれぞれの段階で、理想的な時間-温度特性が
ある。

41. 炊飯器への応用
予熱、炊飯、蒸らしのそれぞれの段階で、理想的な時間-温度特性が
ある。
つまり、そのような温度曲線に従って温度をコントロールできれば、
おいしく炊くことができる。

42. 炊飯器への応用
予熱、炊飯、蒸らしのそれぞれの段階で、理想的な時間-温度特性が
ある。
つまり、そのような温度曲線に従って温度をコントロールできれば、
おいしく炊くことができる。
ところが実際には、加熱しても温度は急には上昇しないし、一度加温
しすぎたら今度は下げるのに時間がかかる。

43. 炊飯器への応用
予熱、炊飯、蒸らしのそれぞれの段階で、理想的な時間-温度特性が
ある。
つまり、そのような温度曲線に従って温度をコントロールできれば、
おいしく炊くことができる。
ところが実際には、加熱しても温度は急には上昇しないし、一度加温
しすぎたら今度は下げるのに時間がかかる。
従って先を予測した制御を行わなければならないが、米や水の量の違
いなども考慮しなければならず、制御は非常に困難。

44. 炊飯器への応用
予熱、炊飯、蒸らしのそれぞれの段階で、理想的な時間-温度特性が
ある。
つまり、そのような温度曲線に従って温度をコントロールできれば、
おいしく炊くことができる。
ところが実際には、加熱しても温度は急には上昇しないし、一度加温
しすぎたら今度は下げるのに時間がかかる。
従って先を予測した制御を行わなければならないが、米や水の量の違
いなども考慮しなければならず、制御は非常に困難。
そこでニューラルネットワークに多くの例を学習させて、様々な条件
に柔軟に対応できるようにしている。

45. 炊飯器への応用
予熱、炊飯、蒸らしのそれぞれの段階で、理想的な時間-温度特性が
ある。
つまり、そのような温度曲線に従って温度をコントロールできれば、
おいしく炊くことができる。
ところが実際には、加熱しても温度は急には上昇しないし、一度加温
しすぎたら今度は下げるのに時間がかかる。
従って先を予測した制御を行わなければならないが、米や水の量の違
いなども考慮しなければならず、制御は非常に困難。
そこでニューラルネットワークに多くの例を学習させて、様々な条件
に柔軟に対応できるようにしている。
産業図書『ニューロ・ファジィ・遺伝的アルゴリズム』より

46. ご清聴ありがとうございました！