勉強したことのまとめ。 Google Slide link https://docs.google.com/presentation/d/11giNqw1PjRVmOp4LBq4MxmOTABZOOY_ZiPNpqqa-M6Y/edit?usp=sharing

1. どうしてもGradient Boosting
がわからない今の私へ
@takkun_k_t

2. Gradient Boosting
・Gradient Boosting → Gradient descent + Boosting
・なぜ勾配情報を使う？ → 損失関数を下げるように、弱学習器を追加するため
・キーワードは、「加法モデル、微分可能な損失関数、弱学習器」など
数式とざっくりな例（回帰設定を考える、xは入力データ、y は出力）
考え方：BoostingなのでSequential. つまり、t-1個の弱分類器で作られた関数 が与えられた
時に、さらに精度が向上するような良い をどう得るか。つまり、どう次の弱学習器を得るか。
新たに加える弱学習器は、差分(residual)にfitさせれば良さそう
つまり、用いるデータセットを
として、fitして得られた弱学習器 を用いて を得る（これを繰り返していけ
ば良さそうでは？と考える）
加法モデル

3. Gradient Boosting 続き
実は、先ほど考えた差分（residual）は、損失関数の負の勾配と解釈できる（厳密な説明になっていないかも
しれないが、ここではざっくりな説明とする）。以下の流れで確認しよう。Fの添字tは省略。
二乗誤差
全体の損失関数
差分が出てきた！
つまり、次の弱学習器は、負の勾配（negative gradient）を最小二乗近似すれば良い。
一般的に、差分≠負の勾配だが、他の損失関数でも同じように負の勾配をデータとし
て用いてfitさせていけば良い。これの理由は割愛する。c.f. [1]
F(xi)をパラメタとして見
て微分する

4. Gradient Boosting まとめ
前スライドまででは、学習率ρをどう求めるかについては触れていないが、おそらくただのline search。詳細はlink
分類も結局最小二乗近似。「分類精度向上のために回帰する」。詳細は[1]
M：弱学習器の数
負の勾配を計算
負の勾配をデータとして用いて
弱学習器を得る
追加
加える係数(step-size,学習率)を決定する
ただのline search
図引用
https://www.frontiersin.org/articles/10.3389/fnbot.2013.00021/full

5. Boostingの大まかな流れ[1]
Invent Adaboost, the first successful boosting algorithm
[Freund et al., 1996, Freund and Schapire, 1997]
Formulate Adaboost as gradient descent with a special loss function
[Breiman et al., 1998, Breiman, 1999]
Generalize Adaboost to Gradient Boosting in order to handle a variety of loss functions
[Friedman et al., 2000, Friedman, 2001]

6. 参考
Gradient Boosting に関してはこれが1番わかりやすい
https://www.ccs.neu.edu/home/vip/teach/MLcourse/4_boosting/slides/gradient_bo
osting.pdf
感の良い人は、Gradient Boostingは（Adaboostも）、座標降下法として見れると
気づいただろう。私はもちろんわからなかった。
https://davidrosenberg.github.io/mlcourse/Archive/2016/Lectures/8b.gradient-
boosting.pdf
https://qiita.com/hyt-sasaki/items/f4a2a450cfd9f414d54b

7. 関係ないスライド 問題点 adaboostは二クラス前提
Σ全データの重みw = 1
Σ誤分類したデータの重みw
、つまり、
である前提があり（ランダム推測
より弱学習器の精度が良い）、こ
うでないと重みの更新がおかしく
なる。しかし、多クラスだとそれ
は普通にありうるので、そのまま
では使えない。One-vs-Restにし
ても拡張できるが、そのまま拡張
したい。一応以下の文献のやり方
で拡張できるようである。
→https://web.stanford.edu/~hastie/Papers/samme.pdf
正規化定数 弱分類器
出力:{-1,1}
ラベル
出力:{-1,1}