Ml4se 2 2_slideshare
•
0 gefällt mir•1,420 views
ITエンジニアのための機械学習理論入門 第2章 最小二乗法 2.2 オーバーフィッティングの検出
Empfohlen
Weitere ähnliche Inhalte
Empfohlen
Empfohlen (20)
Ml4se 2 2_slideshare
- 5. 2.2.1 トレーニングセットとテストセット 次数Mを9にすると、 与えられたトレーニ ングセットを完全に 再現でき、平⽅方根 平均⼆二乗誤差を0に することができた！ 完璧だ！ ＿⼈人⼈人⼈人⼈人⼈人⼈人⼈人⼈人⼈人⼈人＿ ＞ そんなことはない ＜ ￣Y^Y^Y^Y^Y^Y^Y￣
- 9. 2.2.1 トレーニングセットとテストセット 次数が異異なるグラフを⾒見見⽐比べて、より最適そうな ⽅方はどちらか？を判断すればいいのでしょうか？ ＿⼈人⼈人⼈人⼈人⼈人⼈人⼈人⼈人⼈人⼈人＿ ＞ そんなことはない ＜ ￣Y^Y^Y^Y^Y^Y^Y￣
- 10. 2.2.1 トレーニングセットとテストセット 次数が異異なるグラフを⾒見見⽐比べて、より最適そうな ⽅方はどちらか？を判断すればいいのでしょうか？ 1. 複雑なデータを扱う場合はグラフを書くのが困難。 2. そもそも正解の曲線(下図の点線: y=sin(2πx)) は誰にもわかっていない。
- 13. 2.2.2 テストセットによる検証結果 トレーニングセットは 次数を⼤大きくするほど 誤差が減少する。 テストセットは ある次数から誤差 が減少しない。 (モデルの汎化能 ⼒力力は⾼高まらない)
- 16. 2.2.3 クロスバリデーションによる汎化能⼒力力の検証 1. 前ページのグラフから、M=4あたりでオーバー フィッティングが発⽣生している事がわかる。 2. トレーニングセットがあればあるほど精度度は⾼高 まるが、現実的にはなかなかそうもいかないこ とが多い。
- 17. 2.2.3 クロスバリデーションによる汎化能⼒力力の検証 1. 前ページのグラフから、M=4あたりでオーバー フィッティングが発⽣生している事がわかる。 2. トレーニングセットがあればあるほど精度度は⾼高 まるが、現実的にはなかなかそうもいかないこ とが多い。 3. 機械学習で重要なことは、トレーニングセット に含まれるデータをテストセットに混ぜて使⽤用 してはいけない。これは全く意味が無い。
- 20. クロスバリデーション法について クロスバリデーション法の⼿手順 1. 元のデータをn個のブロックに分ける。 (サンプル数に対して適切切に決める) 2. 各ブロックに含まれるデータ量量は同程度度になるように調整する。 3. 各ブロックは層化されていることが望ましい。 1 2 3 n ・ ・ ・ 1 2 3 n ・ ・ ・ 1 2 3 n ・ ・ ・ 1 2 3 n ・ ・ ・ ・・・ 1回目 2回目 3回目 n回目
- 21. クロスバリデーション法について 4. 1つ⽬目のブロックをテストデータ、それ以外をトレーニングデータ としてモデルの構築と精度度の算出する。 5. 次に2つ⽬目のブロックを（同上。 (これをnブロック⽬目まで繰り返す。) 6. 最後に各回の精度度の平均を、モデルの推定精度度とする。 1 2 3 n ・ ・ ・ 1 2 3 n ・ ・ ・ 1 2 3 n ・ ・ ・ 1 2 3 n ・ ・ ・ ・・・ 1回目 2回目 3回目 n回目 精度1 精度2 精度3 精度n 推定精度 平均
- 25. 2.2.4 データ数によるオーバーフィッティングの変化 #------------# # Parameters # #------------# N=10 # サンプルを取得する位置 x の個数 M=[0,1,3,9] # 多項式の次数 02-‐square_error.py 15行目から19行目 例えば100にしてみる。
- 28. まとめ 1. 機械学習は与えられたデータに基いて最適な パラメータを決定する仕組み。 2. 得られた結果が「未来の値を予測する」こと に役⽴立立つかどうかが重要。 3. 検証対象の元データが少ない場合はクロスバ リデーション法により効率率率よく精度度を⾼高める。 4. データ数が多ければ多いほどオーバーフィッ ティングは起こりにくく、精度度は⾼高まる。