やる夫はSVMを実装したようです&やる夫で学ぶ非線形なSVM

1. やる夫は SVM を実装したようです & やる夫で学ぶ非線形な SVM Hatena id:repose Twitter id :y_benjo

4. やる夫は SVM を実装したようです

24. やる夫で学ぶ非線形な SVM

35. わかったつもりになれる解説

36. ここでちょっと数式を使っ て解説します。

37. さて、先ほど 「高次元空間に写像する」 と言いました。これは地味 ながらも SVM の特徴的な 部分です。

38. 何故ならば、他のデータ 分析やクラス判別の手法 では、「 データの次元をい かに落とすか 」という点に 焦点を置いていたからで す。

39. しかし、線形分離可能な 高次元空間とはどんな状 態 なのでしょうか？また、 その空間への写像はどの ように記述 すればいいの でしょうか？

40. ここで、「 カーネルトリック 」 という手法が用いられます。

41. 証明その他諸々を省くと、 これは 「写像が どんな形かわか らなくても 、 ベクトルの内 積だけで表せたら楽 なん じゃね？ｗｗｗｗｗうはｗｗ ｗｗｗｗｗｗｗｗ」 という方法です

42. それが更に発展し 「じゃあ φ(x1)φ(x2) って書 くより K(x1,x2) みたいな 関 数で代用 できるんじゃねｗ ｗｗｗｗｗｗ天才現るｗｗｗ ｗｗｗｗｗ」となりました。 この時の関数 K を カーネル 関数 と呼びます。

43. この時用いられるカーネ ルの代表的なものに ガウ シアンカーネル があります。

44. さて、ここで現れるのはベ クトルの内積です。 これを SVM の式に代入し て見ましょう。

45. 前回のスライドじゃずれ ちゃってたんですが、 線形 分離の SVM に置ける最適 化問題 はこのようになって います。

46. この 後半部はベクトルの 内積 になっています。 つまり、 ここをカーネル関 数で置き換えて やると…

47. このような形になります。 非常に以前の式に似てい て、かつシンプルです。

48. あとは R で実装するならば 行列を少しだけ書き換え て ipop に投げてやれば良 い、という事ですね。

52. 研究室楽勝すぎる おｗｗｗｗｗｗ 数理計画系の研究 室涙目だおｗｗｗｗ ｗｗｗｗｗｗ

62. 次回 やる夫で学ぶ Random Forest