Weitere ähnliche Inhalte
Ähnlich wie 人工知能2018 5 機械学習の基礎
Ähnlich wie 人工知能2018 5 機械学習の基礎 (20)
Mehr von Hirotaka Hachiya
Mehr von Hirotaka Hachiya (15)
人工知能2018 5 機械学習の基礎
- 3. 機械学習と人工知能の関係
3
機械学習：人工知能の研究分野の一つ
人間の知識の活用よりも、データからの知識・ルールの獲得を重視
「データマイニング」、「パターン認識」とアプローチ・目的が類似
人工知能
Artificial Intelligence
知識
機械学習
Machine Learning
線形判別
K-means
主成分分析
重回帰分析
ナイーブベイズ
強化学習
決定木
SVM
Random forest
HMM&CRF
AdaBoost
Gaussian processGMM
Topic model
LSTM
GAN
CNN
RNN Auto-encoder
Adam
T-SNE
ReLU
binaryNet
Batchnormalization
データ
深層学習
Deep Learning
ニューラルネット
LSTM
GAN
CNN
RNN Auto-encoder
Adam
ReLU
binaryNet
Batchnormalization
パターン認識
データマイニング
- 5. 機械学習の実用例1
画像領域分割
各画素を人、空、木、草、建物カテゴリに分類
より綺麗な写真を撮るために、
領域の種類に合わせて適切な画像処理を適用
空の明度を抑えて、人の明度を上げるなど
顔認証
登録された顔画像と比較して同一人物か否かを分類する
NEC・NeoFace：コンサートのチケットレス入場や会社の入退室管理
LYKAON：万引き犯の顔画像と一致する人が入店時に店員に通知
顔認証によるコンサートの入場チェック（NEC・TAPIRIS） 顔認証して店員に通知（LYKAON）
空、人の領域を特定
5
- 9. 機械学習が急速に広まった理由2
近年、機械学習のDeep Learningが数多くのタスク（画像認識、
顔認識、行動認識など）で従来の技術を凌駕
大規模画像分類Imagenet で、従来の画像認識技術に
10%の大差で優勝
Team name Error
1 SuperVision 0.153
2 ISI (SHIFT+FV,
LBP+FVなど）
0.262
3 OXFORD_VGG 0.270
4 XRCE/INRIA 0.271
5 Univ. of Amsterdam 0.296
【2012年の結果】
10%の差
Team name Error
1 VGG 0.074
2 GoogLeNet 0.148
3 SYSU_Vision 0.319
4 MIL 0.337
5 MSRA Visual
Computing
0.355
【2014年の結果】
上位は全部深層学習
分類誤差：7%まで低減！
黒色：従来の画像認識
赤色：Deep Learning
9
- 10. 機械学習が急速に広まった理由3
10
無料のライブラリが拡充
scikit-learn, Tensorflow, Caffe, chainer, libsvm, SVMlight,…
特徴量の設計さえできれば誰でも一般的な機械学習を適用できる時代
しかし、使いこなすためには機械学習の知識が必要
機械学習は数学の異種格闘技
確率統計、線形代数、微積分、情報理論および最適化
5階層のConvolutional neural networkが
数十行のPythonコードで実装できるようになった
- 13. 内容
13
機械学習とは
機械学習の実用例
機械学習が急速に広まった理由
講義の概要
確率統計の復習
確率の定義、条件付き確率、乗法定理
期待値の定義と性質
ベイズの定理と事後確率
最適化手法の復習
微分・偏微分の定義
最急降下法
- 14. 確率の定義
14
試行：繰り返すことができて、結果が偶然に決まる実験や観察
事象：試行の結果起こる事柄
標本空間：試行の結果起こりうる全ての事柄の集合
確率の定義：標本空間の大きさを𝑁𝑁、事象𝑥𝑥𝑗𝑗の起こる場合の数
を𝑁𝑁𝑗𝑗とすると、事象𝑥𝑥𝑗𝑗が起こる確率
𝑃𝑃𝑋𝑋 𝑋𝑋 = 𝑥𝑥𝑗𝑗 = 𝑃𝑃𝑋𝑋 𝑥𝑥𝑗𝑗 =
𝑁𝑁𝑗𝑗
𝑁𝑁
𝑋𝑋：確率変数 𝑥𝑥𝑗𝑗：事象（または事象に対応する実現値）
サイコロを振る
2の目が出る
1の目が出る、2の目が出る、…、6の目が出る
𝑃𝑃𝑋𝑋 𝑋𝑋 = 2の目が出る = 𝑃𝑃𝑋𝑋 𝑋𝑋 = 2 = 1/6
6の目が出る
𝑃𝑃𝑋𝑋 X ：確率分布関数
単なる関数の記号
𝑓𝑓 X , 𝑔𝑔 X 等何でもよい
- 15. 確率の例
15
試行：「ボールを箱から取り出す」
事象：「赤のボールが出る」
標本空間：「青のボールが出る」、「赤のボールが出る」
事象「青のボールが出る」の確率：𝑃𝑃𝑋𝑋 𝑥𝑥1 =
𝑁𝑁1
𝑁𝑁
=
6
14
=
3
7
事象「赤のボールが出る」の確率：𝑃𝑃𝑋𝑋 𝑥𝑥2 =
𝑁𝑁2
𝑁𝑁
=
8
14
=
4
7
全ての事象の確率の和は1：𝑃𝑃𝑋𝑋 𝑥𝑥1 + 𝑃𝑃𝑋𝑋 𝑥𝑥2 =
3
7
+
4
7
=1
標本空間𝑆𝑆
確率変数𝑋𝑋（ボールの色）
𝑥𝑥1：青 𝑥𝑥2：赤
6 8
赤の場合の数𝑁𝑁2箱
標本空間𝑆𝑆の大きさ： 𝑁𝑁 = 14
青の場合の数𝑁𝑁1
- 20. 演習1
20
1. 条件付き確率𝑃𝑃𝑋𝑋|𝑌𝑌 𝑋𝑋 = 𝑥𝑥1|𝑌𝑌 = 𝑦𝑦2 を求めなさい
2. 周辺確率𝑃𝑃𝑌𝑌 𝑌𝑌 = 𝑦𝑦2 を求めなさい
3. 同時確率の定義から、以下の乗法定理を導出しなさい。
𝑃𝑃𝑌𝑌𝑌𝑌 𝑦𝑦𝑖𝑖, 𝑥𝑥𝑗𝑗 = 𝑃𝑃𝑋𝑋|𝑌𝑌 𝑥𝑥𝑗𝑗 𝑦𝑦𝑖𝑖 𝑃𝑃𝑌𝑌 𝑦𝑦𝑖𝑖
5. 乗法定理を用いて同時確率𝑃𝑃𝑌𝑌|𝑋𝑋 𝑌𝑌 = 𝑦𝑦2, 𝑋𝑋 = 𝑥𝑥1 を求めなさい
タイトル「演習レポート」、日付、学生番号、氏名を用紙の一番上に記載
標本空間𝑆𝑆
確率変数𝑋𝑋（ボールの色）
確率変数𝑌𝑌
（グループの種類）
𝑥𝑥1：青 𝑥𝑥2：赤
𝑦𝑦1: グループ1 5
1
2
6
箱
グループ1 グループ2 𝑦𝑦2: グループ2
確率変数が2つ
- 21. 内容
23
機械学習とは
機械学習の実用例
機械学習が急速に広まった理由
講義の概要
確率統計の復習
確率の定義、条件付き確率、乗法定理
期待値の定義と性質
ベイズの定理と事後確率
最適化手法の復習
微分・偏微分の定義
最急降下法
- 22. 期待値の定義（離散の場合）
24
確率変数𝑋𝑋の期待値：
確率変数𝑋𝑋の取りうる全ての実現値𝑥𝑥𝑗𝑗とその確率𝑃𝑃 𝑥𝑥𝑗𝑗 の積和
2つの確率変数の和の期待値：
各変数𝑌𝑌、𝑋𝑋の取りうる全ての実現値𝑦𝑦𝑖𝑖、𝑥𝑥𝑗𝑗とその同時確率𝑃𝑃 𝑦𝑦𝑖𝑖, 𝑥𝑥𝑗𝑗 の積和
E
𝑃𝑃 𝑋𝑋(𝑋𝑋)
𝑋𝑋 = �
𝑗𝑗
𝑥𝑥𝑗𝑗 𝑃𝑃𝑋𝑋 𝑋𝑋 = 𝑥𝑥𝑗𝑗
E
𝑃𝑃𝑌𝑌𝑌𝑌(𝑌𝑌,𝑋𝑋)
𝑌𝑌 + 𝑋𝑋 = ∑𝑖𝑖 ∑𝑗𝑗 𝑦𝑦𝑖𝑖 + 𝑥𝑥𝑗𝑗 𝑃𝑃𝑌𝑌𝑌𝑌 𝑦𝑦𝑖𝑖, 𝑥𝑥𝑗𝑗
乗法定理
E
𝑃𝑃 𝑋𝑋(𝑋𝑋)
𝑋𝑋
確率変数
確率分布関数
期待値の記号
（Expectation）
E
𝑃𝑃𝑌𝑌(𝑌𝑌)
𝑃𝑃 𝑋𝑋|𝑌𝑌(𝑋𝑋|𝑌𝑌)
𝑌𝑌 + 𝑋𝑋 = ∑𝑖𝑖 ∑𝑗𝑗 𝑦𝑦𝑖𝑖 + 𝑥𝑥𝑗𝑗 𝑃𝑃𝑋𝑋|𝑌𝑌 𝑥𝑥𝑗𝑗|𝑦𝑦𝑖𝑖 𝑃𝑃𝑌𝑌 𝑦𝑦𝑖𝑖
- 23. 平均値と期待値
25
平均値の定義：
例：学生の英語の点数が 50,80,60,40,60 の場合の平均値：
平均値はデータの数に依存して変化：
データが無限にある場合は？
つまり、平均値は期待値の近似（期待値≈平均値）
𝜇𝜇 = ̅𝑥𝑥 =
1
𝑁𝑁
�
𝑡𝑡=1
𝑁𝑁
𝑥𝑥𝑡𝑡
𝑁𝑁 → ∞
𝑥𝑥1
𝑛𝑛1
𝑁𝑁
+𝑥𝑥2
𝑛𝑛2
𝑁𝑁
+ ⋯
𝑛𝑛𝑗𝑗：実現値𝑥𝑥𝑗𝑗の出現回数
�
𝑗𝑗
𝑥𝑥𝑗𝑗 𝑃𝑃𝑋𝑋 𝑥𝑥𝑗𝑗 = E
𝑃𝑃 𝑋𝑋(𝑋𝑋)
[𝑋𝑋]
𝜇𝜇 =
1
5
50 + 80 + 60 + 40 + 60 = 58
𝑁𝑁：データ数
𝜇𝜇 =
1
6
50 + 80 + 60 + 40 + 60 + 100 = 65
1
𝑁𝑁
�
𝑡𝑡=1
𝑁𝑁
𝑥𝑥𝑡𝑡
確率の定義𝑃𝑃𝑋𝑋 𝑋𝑋 = 𝑥𝑥𝑗𝑗
𝑥𝑥𝑡𝑡
：𝑡𝑡番目（時刻𝑡𝑡 ）のデータ点
実現値とは異なるので注意
- 25. 期待値の基本的な性質
28
定数および独立な確率変数は期待値の外に出すことができる
定数の例：
独立な確率変数の例：
E
𝑃𝑃 𝑋𝑋(𝑋𝑋)
𝑎𝑎𝑋𝑋 + 𝑏𝑏 = 𝑎𝑎 E
𝑃𝑃 𝑋𝑋(𝑋𝑋)
𝑋𝑋 + 𝑏𝑏
E
𝑃𝑃𝑌𝑌(𝑌𝑌)
𝑃𝑃 𝑋𝑋|𝑌𝑌(𝑋𝑋|𝑌𝑌)
𝑌𝑌 + 𝑋𝑋 = E
𝑃𝑃𝑌𝑌(𝑌𝑌)
𝑌𝑌 + E
𝑃𝑃 𝑋𝑋|𝑌𝑌(𝑋𝑋|𝑌𝑌)
𝑋𝑋
E
𝑃𝑃 𝑋𝑋(𝑋𝑋)
𝑎𝑎𝑋𝑋 + 𝑏𝑏 = �
𝑗𝑗
𝑎𝑎𝑥𝑥𝑗𝑗 + 𝑏𝑏 𝑃𝑃 𝑥𝑥𝑗𝑗 = 𝑎𝑎 �
𝑗𝑗
𝑥𝑥𝑗𝑗 𝑃𝑃 𝑥𝑥𝑗𝑗 + 𝑏𝑏 �
𝑗𝑗
𝑃𝑃 𝑥𝑥𝑗𝑗
=𝑎𝑎 E
𝑃𝑃 𝑋𝑋(𝑋𝑋)
𝑋𝑋 + 𝑏𝑏 全ての事象の確率の和=1
- 27. 課題1
31
1. 条件付き確率𝑃𝑃𝑋𝑋|𝑌𝑌 𝑋𝑋 = 𝑥𝑥2|𝑌𝑌 = 𝑦𝑦2 を求めなさい
2. 周辺確率𝑃𝑃𝑌𝑌 𝑌𝑌 = 𝑦𝑦2 を求めなさい
3. 乗法定理の定義式を書き、同時確率𝑃𝑃𝑌𝑌|𝑋𝑋 𝑌𝑌 = 𝑦𝑦2, 𝑋𝑋 = 𝑥𝑥2 を
求めなさい
4. 周辺確率の定義から、以下の加法定理を導出しなさい
𝑃𝑃𝑋𝑋 𝑥𝑥𝑗𝑗 = �
𝑖𝑖
𝑃𝑃𝑌𝑌𝑌𝑌 𝑦𝑦𝑖𝑖, 𝑥𝑥𝑗𝑗
標本空間𝑆𝑆
確率変数𝑋𝑋（ボールの色）
確率変数𝑌𝑌
（グループの種類）
𝑥𝑥1：青 𝑥𝑥2：赤
𝑦𝑦1: グループ1 3
4
4
3
箱
グループ1 グループ2
𝑦𝑦2: グループ2
確率変数が2つ
- 28. 課題2
32
以下の等式が成り立つことを証明しなさい。
ただし、確率変数は、各時刻𝑡𝑡 = 0,1,2ごとに存在することとし、
それぞれ以下の確率分布関数に従うこととする。
E
𝑃𝑃𝐼𝐼(𝑋𝑋0)
𝑃𝑃𝑇𝑇(𝑋𝑋𝑡𝑡+1|𝑋𝑋𝑡𝑡)
�
𝑡𝑡=0
2
𝑅𝑅(𝑋𝑋𝑡𝑡) = E
𝑃𝑃𝐼𝐼(𝑋𝑋0)
𝑅𝑅(𝑋𝑋0) + E
𝑃𝑃𝑇𝑇(𝑋𝑋𝑡𝑡+1|𝑋𝑋𝑡𝑡)
�
𝑡𝑡=1
2
𝑅𝑅(𝑋𝑋𝑡𝑡)
𝑋𝑋0
：𝑃𝑃𝐼𝐼(𝑋𝑋0
) 𝑋𝑋1
：𝑃𝑃𝑇𝑇(𝑋𝑋1
|𝑋𝑋0
) 𝑋𝑋2
：𝑃𝑃𝑇𝑇(𝑋𝑋2
|𝑋𝑋1
)
𝑃𝑃𝐼𝐼(𝑋𝑋0
) ：初期確率分布関数
𝑃𝑃𝑇𝑇(𝑋𝑋𝑡𝑡+1
|𝑋𝑋𝑡𝑡
) ：遷移確率関数
�
𝑡𝑡=0
2
𝑅𝑅(𝑋𝑋𝑡𝑡
) = 𝑅𝑅(𝑋𝑋0
) + 𝑅𝑅(𝑋𝑋1
) + 𝑅𝑅(𝑋𝑋2
)和の記号：
𝑃𝑃𝐼𝐼 𝑋𝑋0
𝑥𝑥1
𝑥𝑥2
𝑥𝑥3
初期状態 𝑋𝑋0
𝑃𝑃𝑇𝑇(𝑋𝑋1
|𝑋𝑋0
)
𝑥𝑥1
𝑥𝑥2
𝑥𝑥3
状態 𝑋𝑋1
𝑃𝑃𝑇𝑇(𝑋𝑋2
|𝑋𝑋1
)
𝑥𝑥1
𝑥𝑥2
𝑥𝑥3
状態 𝑋𝑋2
E
𝑃𝑃𝐼𝐼(𝑋𝑋0)
𝑃𝑃𝑇𝑇(𝑋𝑋𝑡𝑡+1|𝑋𝑋𝑡𝑡)
�
𝑡𝑡=0
2
𝑅𝑅(𝑋𝑋𝑡𝑡) = E
𝑃𝑃𝐼𝐼(𝑋𝑋0)
𝑃𝑃𝑇𝑇(𝑋𝑋1|𝑋𝑋0)
𝑃𝑃𝑇𝑇(𝑋𝑋2|𝑋𝑋1)
�
𝑡𝑡=0
2
𝑅𝑅(𝑋𝑋𝑡𝑡)
- 29. 内容
34
機械学習とは
機械学習の実用例
機械学習が急速に広まった理由
講義の概要
確率統計の復習
確率の定義、条件付き確率、乗法定理
期待値の定義と性質
ベイズの定理と事後確率
最適化手法の復習
微分・偏微分の定義
最急降下法
- 31. ベイズの定理
36
事象𝑦𝑦𝑖𝑖を原因、事象𝑥𝑥𝑗𝑗を結果と考える
しかし、実際には診断では、逆の条件付き確率が必要
この結果𝑥𝑥を観測したもとでの原因𝑦𝑦の条件付き確率を
「事後確率」という
𝑃𝑃𝑌𝑌|𝑋𝑋 𝑦𝑦𝑖𝑖|𝑥𝑥𝑗𝑗 =
𝑃𝑃𝑋𝑋|𝑌𝑌 𝑥𝑥𝑗𝑗 𝑦𝑦𝑖𝑖 𝑃𝑃𝑌𝑌(𝑦𝑦𝑖𝑖)
𝑃𝑃𝑋𝑋(𝑥𝑥𝑗𝑗)
例えば、原因𝑦𝑦𝑖𝑖：病気、 結果𝑥𝑥𝑗𝑗：血圧140以上とした場合、病気の患者と健康な人
を集めて、血圧140以上の人を観測することにより、以下を求めることができる。
𝑃𝑃𝑋𝑋|𝑌𝑌 𝑋𝑋 = 血圧140以上 Y = 病気 と𝑃𝑃𝑋𝑋|𝑌𝑌 𝑋𝑋 = 血圧140以上 Y = 健康
𝑃𝑃𝑌𝑌|𝑋𝑋 Y = 病気 𝑋𝑋 = 血圧140以上
- 32. ベイズの定理 続き
37
ベイズの定理より、事後確率を求めることができる
ただし、𝑃𝑃(𝑦𝑦𝑗𝑗)を事前確率といい、人間が経験的に決定
分母は、周辺確率と乗法定理より求める
𝑃𝑃𝑌𝑌|𝑋𝑋 Y = 病気 𝑋𝑋 = 血圧140以上 =
𝑃𝑃𝑋𝑋|𝑌𝑌 𝑋𝑋 = 血圧140以上 Y = 病気 𝑃𝑃𝑌𝑌 Y = 病気
𝑃𝑃𝑋𝑋(𝑋𝑋 = 血圧140以上)
例えば、病気の人の割合は、一般的に低いので𝑃𝑃𝑌𝑌 Y = 病気 = 0.1
𝑃𝑃𝑋𝑋 𝑋𝑋 = 血圧140以上 = �
𝑦𝑦∈{病気、健康}
𝑃𝑃𝑋𝑋|𝑌𝑌 𝑋𝑋 = 血圧140以上 Y = 𝑦𝑦 𝑃𝑃𝑌𝑌 Y = 𝑦𝑦
𝑃𝑃𝑌𝑌|𝑋𝑋 𝑦𝑦𝑖𝑖|𝑥𝑥𝑗𝑗 =
𝑃𝑃𝑋𝑋|𝑌𝑌 𝑥𝑥𝑗𝑗 𝑦𝑦𝑖𝑖 𝑃𝑃𝑌𝑌(𝑦𝑦𝑖𝑖)
𝑃𝑃𝑋𝑋(𝑥𝑥𝑗𝑗)
事後確率
事前確率
- 35. 演習4
40
周辺確率より
タイトル「演習レポート」、日付、学生番号、氏名を用紙の一番上に
記載
いずれかのグループからボールを1個取り出したと
ころ、 青いボールでした。このボールがグループ2
から取り出された確率𝑃𝑃 𝑦𝑦2|𝑥𝑥2 を求めなさい。
𝑦𝑦𝑖𝑖：グループ𝑖𝑖を選択する事象
𝑥𝑥𝑗𝑗：ボールを取り出す事象（赤：j=1、青：j=2）
𝑃𝑃 𝑥𝑥2 = ∑𝑖𝑖 𝑃𝑃 𝑥𝑥2, 𝑦𝑦𝑖𝑖 = ∑𝑖𝑖 𝑃𝑃 𝑥𝑥2|𝑦𝑦𝑖𝑖 𝑃𝑃 𝑦𝑦𝑖𝑖 =
5
7
1
2
+
1
7
1
2
=
6
14
=
3
7
𝑃𝑃 𝑥𝑥2 𝑦𝑦1 =
5
7
𝑃𝑃 𝑥𝑥2 𝑦𝑦2 =
1
7
グループ1 グループ2
？ ？
ただし、各グループを選択した条件下で青いボールを選択する確率は、実験より以下
のようにわかっているとする。また、各グループを選択する事前確率は𝑃𝑃 𝑦𝑦𝑖𝑖 =
1
2
とする
- 37. 内容
43
機械学習とは
機械学習の実用例
機械学習が急速に広まった理由
講義の概要
確率統計の復習
確率の定義、条件付き確率、乗法定理
期待値の定義と性質
ベイズの定理と事後確率
最適化手法の復習
微分・偏微分の定義
最急降下法
- 38. 微分の定義
44
微分の図を用いた解釈
微分の例：
𝑑𝑑𝑓𝑓(𝑥𝑥)
𝑑𝑑𝑑𝑑
≡ 𝑓𝑓′
𝑥𝑥 = lim
∆𝑥𝑥→0
𝑓𝑓 𝑥𝑥 + ∆𝑥𝑥 − 𝑓𝑓(𝑥𝑥)
∆𝑥𝑥
𝑓𝑓(𝑥𝑥)
𝑥𝑥 𝑥𝑥 + ∆𝑥𝑥
𝑓𝑓(𝑥𝑥 + ∆𝑥𝑥)
点Aと点Bを通る直線の傾き：
𝑓𝑓 𝑥𝑥+∆𝑥𝑥 −𝑓𝑓(𝑥𝑥)
𝑥𝑥+∆𝑥𝑥−𝑥𝑥
=
𝑓𝑓 𝑥𝑥+∆𝑥𝑥 −𝑓𝑓(𝑥𝑥)
∆𝑥𝑥
∆𝑥𝑥を0に近づけると、点𝑥𝑥での接線の傾きに近づく
𝐴𝐴
𝐵𝐵
微分𝑓𝑓′ 𝑥𝑥 は、関数𝑓𝑓 𝑥𝑥 の点𝑥𝑥での接線の傾き
𝑓𝑓 𝑥𝑥 = 𝑥𝑥2 𝑑𝑑𝑑𝑑
𝑑𝑑𝑑𝑑
= lim
∆𝑥𝑥→0
𝑥𝑥2+2𝑥𝑥∆𝑥𝑥+∆𝑥𝑥2−𝑥𝑥2
∆𝑥𝑥
= lim
∆𝑥𝑥→0
2𝑥𝑥 + ∆𝑥𝑥 = 2𝑥𝑥
- 39. 偏微分の定義
45
偏微分の図を用いた解釈
偏微分の例：
𝜕𝜕𝑓𝑓(𝑥𝑥1, 𝑥𝑥2)
𝜕𝜕𝑥𝑥1
≡ lim
∆𝑥𝑥1→0
𝑓𝑓 𝑥𝑥1 + ∆𝑥𝑥1, 𝑥𝑥2 − 𝑓𝑓(𝑥𝑥1, 𝑥𝑥2)
∆𝑥𝑥1
𝑓𝑓 𝑥𝑥1, 𝑥𝑥2 = − 𝑥𝑥1 − 𝑥𝑥2
2
= −𝑥𝑥1
2
+ 2𝑥𝑥1 𝑥𝑥2 − 𝑥𝑥2
2 𝑥𝑥1
𝑥𝑥2
𝐴𝐴: 𝑓𝑓(𝑎𝑎, 𝑏𝑏)
𝑎𝑎
𝑏𝑏
𝜕𝜕𝑓𝑓(𝑎𝑎, 𝑥𝑥2)
𝜕𝜕𝑥𝑥2
𝑥𝑥2軸に平行な断面の接線の傾き
𝑥𝑥1軸方向は𝑥𝑥1 = aで固定
𝜕𝜕𝑓𝑓(𝑥𝑥1, 𝑏𝑏)
𝜕𝜕𝑥𝑥1
𝑥𝑥1軸に平行な断面の接線の傾き
𝑥𝑥2軸方向は𝑥𝑥2 = bで固定
𝜕𝜕𝑓𝑓(𝑥𝑥1,2)
𝜕𝜕𝑥𝑥1
= −2𝑥𝑥1 + 2 𝑥𝑥2 = −2𝑥𝑥1 + 4
𝑥𝑥1, 𝑥𝑥2 = (3, 2)での偏微分
𝜕𝜕𝑓𝑓(3, 𝑥𝑥2)
𝜕𝜕𝑥𝑥2
= 2𝑥𝑥1 − 2 𝑥𝑥2 = −2𝑥𝑥2 + 6
𝑓𝑓(𝑥𝑥1, 𝑥𝑥2)
- 40. 内容
46
機械学習とは
機械学習の実用例
機械学習が急速に広まった理由
講義の概要
確率統計の復習
確率の定義、条件付き確率、乗法定理
期待値の定義と性質
ベイズの定理と事後確率
最適化手法の復習
微分・偏微分の定義
最急降下法
第7、8回目に予定
- 41. 最急降下法による最適化
47
制約条件なしの最適化問題：
𝑓𝑓 𝒙𝒙 が凸の場合：
微分をとり0と置くことにより最適解を求める
大域最適解を保障
𝑓𝑓 𝒙𝒙 が非凸の場合：
最急降下法を用いるのが一般的
局所最適解を保障
目的関数（Objective function）
min
𝑥𝑥
𝑓𝑓(𝑥𝑥)
関数𝑓𝑓 𝑥𝑥 を最小化する𝑥𝑥の値
𝑥𝑥∗
を求める問題
𝑥𝑥
𝑓𝑓 𝑥𝑥 は下に凸
微分（接線の傾き）=0
𝑥𝑥𝑡𝑡+1 = 𝑥𝑥𝑡𝑡 − 𝛼𝛼
𝑑𝑑𝑑𝑑(𝑥𝑥)
𝑑𝑑𝑑𝑑 初期値𝑥𝑥0をランダムに設定し、微分を用いて更新
𝑥𝑥0 → 𝑥𝑥1 → ⋯ → 𝑥𝑥𝑡𝑡 → 𝑥𝑥𝑡𝑡+1 →𝛼𝛼 > 0：学習率
𝑓𝑓 𝑥𝑥 は非凸
𝑥𝑥𝑥𝑥1𝑥𝑥2 𝑥𝑥0𝑥𝑥3
接線の傾き
-𝛼𝛼
𝑑𝑑𝑑𝑑(𝑥𝑥0)
𝑑𝑑𝑑𝑑
- 44. ImageNet Challengeとは
53
2010年から始まった大規模画像認識のコンペティション
1000クラスのカテゴリ分類を行うclassificationタスクと、
200クラスの物体検出を行うdetectionタスクがある
PASCAL VOC（detectionのコンペティション）が、2012年で
終了したため、ImageNetに注目が集まっている
【detectionの例】【classificationの例】
・PASCAL VOCとImageNetの比較
・ImageNetは大規模化している
ImageNet
