Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Rで情報幾何<br />@toddler2009<br />
自己紹介<br />Twitter id: @toddler2009<br />はじめまして 遠路はるばるご苦労様です<br />今回は会場係です何でもお申し付けください<br />ひとりだけおっさんですみません_o_<br />あこがれの T...
職業<br />主夫(兼業)<br />
ときどき<br />けんきゅう<br />←これはやってません<br />
本とか<br />絶版寸前?!<br />
翻訳とか<br />恐ろしいほどの<br />売り上げ!<br />ぷるむる!<br />ネ申<br />@shima__shima<br />
Rによるトイプロブレム研究<br /><ul><li>単純モデル
人工データ
少数サンプル</li></ul>に基づく機械学習<br />
Rによるトイプロブレム研究<br />長所<br /><ul><li>軽い計算
低能プログラマでもOK
理論がすごいと勘違い</li></ul>     ------------------------<br />短所<br /><ul><li>多すぎるので省略
単純モデル
人工データ
少数サンプル</li></ul>に基づく機械学習<br />結論:お勧めしません<br />
情報幾何<br />Q. ジョーホーキカって何ですか?<br />A.情報処理を絵で理解することです.<br />
情報処理を絵で理解する(違<br />
情報処理を絵で理解する<br />↓こういうことです<br />世の中<br />データ<br />情報処理<br />モデル<br />結果<br />
スタート:世の中は確率分布です<br />すべてのもの(例:y_benjo) は確率分布である<br />確率分布はパラメータθで表される  -> 座標で表しましょう<br />θ2<br />y_benjo<br />θ1<br />
近い点と遠い点<br />等距離ですか?<br />θ2<br />y_benjo<br />shima__shima<br />mickey24<br />θ1<br />toddler2009<br />
Rで実験してみましょう<br />アルゴリズム <br />Step1:  パラメータ θ を固定<br />Step2:  サンプル X 生成<br />Step3:  X からパラメータ推定  θ <br />Step4:  推定値のばらつ...
離散分布の場合<br />3 値<br />独立な変数2個<br />場所によって散らばり方が違う<br />
正規分布の場合<br />平均と標準偏差<br />平均による違いはない<br />標準偏差が大きいところのばらつきが大きい<br />
トイプログラミングの理想と現実<br />理想S4 オブジェクト指向・パッケージ化  いろいろな分布のクラスを定義  どんな分布のシミュレーションもOK<br />現実スパゲティプログラミングでその場しのぎ<br />
泥縄Rコード<br />パラメータ<br />サンプル数<br />実験回数<br />infogeodemo <- function(p=c(0,1), N=1000, K=100,<br />randfn=rnorm, aEstfn=mea...
場所によって距離が違う<br />θ2<br />y_benjo<br />shima__shima<br />mickey24<br />θ1<br />toddler2009<br />そもそもこいつは定義域外だったりする<br />(負の...
推定量の散らばり->距離<br />クラメールラオの不等式<br />推定量の散らばり具合で距離を決めよう  (散らばりの大きいところは距離が小さい)<br />Gθって何?<br />統計界のヨーダ<br />
フィッシャー情報行列<br />分布のパラメータに対する敏感さ・離散分布 θ=(q1,q2)  ・正規分布θ= (μ, σ)<br />統計界の巨人<br />
確率分布は丸かった<br />曲がった空間らしいということがわかった<br />なんかめんどくさいですね....<br />私もういいです... ユークリッド空間で... by @地球平面協会<br />
わかりましたなんとかしましょう<br />↑この辺の神々のおかげ<br />
世の中は指数分布族である<br />指数分布族とは...の形に書ける分布モデル<br />離散分布も... θ=(q1,q2)<br />
正規分布も<br />
θでプロットしてみる<br />  ・離散分布       ・正規分布<br />あまり変わった気がしない<br />
とりあえずθ座標系については平らということにします<br />平らとは?<br />まっすぐな線が一次式で表される<br />距離の取り方は場所によって違ってもいい<br />なぜ平らとしていいかは微分幾何の知識が必要なので省略<br />
Nächste SlideShare
Wird geladen in …5
×

infomation geometry by R

  • Als Erste(r) kommentieren

infomation geometry by R

  1. 1. Rで情報幾何<br />@toddler2009<br />
  2. 2. 自己紹介<br />Twitter id: @toddler2009<br />はじめまして 遠路はるばるご苦労様です<br />今回は会場係です何でもお申し付けください<br />ひとりだけおっさんですみません_o_<br />あこがれの Tsukuba.Rで発表できて光栄です<br />プログラミングは素人同然ですが許してください<br />
  3. 3. 職業<br />主夫(兼業)<br />
  4. 4. ときどき<br />けんきゅう<br />←これはやってません<br />
  5. 5. 本とか<br />絶版寸前?!<br />
  6. 6. 翻訳とか<br />恐ろしいほどの<br />売り上げ!<br />ぷるむる!<br />ネ申<br />@shima__shima<br />
  7. 7. Rによるトイプロブレム研究<br /><ul><li>単純モデル
  8. 8. 人工データ
  9. 9. 少数サンプル</li></ul>に基づく機械学習<br />
  10. 10. Rによるトイプロブレム研究<br />長所<br /><ul><li>軽い計算
  11. 11. 低能プログラマでもOK
  12. 12. 理論がすごいと勘違い</li></ul> ------------------------<br />短所<br /><ul><li>多すぎるので省略
  13. 13. 単純モデル
  14. 14. 人工データ
  15. 15. 少数サンプル</li></ul>に基づく機械学習<br />結論:お勧めしません<br />
  16. 16. 情報幾何<br />Q. ジョーホーキカって何ですか?<br />A.情報処理を絵で理解することです.<br />
  17. 17. 情報処理を絵で理解する(違<br />
  18. 18. 情報処理を絵で理解する<br />↓こういうことです<br />世の中<br />データ<br />情報処理<br />モデル<br />結果<br />
  19. 19. スタート:世の中は確率分布です<br />すべてのもの(例:y_benjo) は確率分布である<br />確率分布はパラメータθで表される  -> 座標で表しましょう<br />θ2<br />y_benjo<br />θ1<br />
  20. 20. 近い点と遠い点<br />等距離ですか?<br />θ2<br />y_benjo<br />shima__shima<br />mickey24<br />θ1<br />toddler2009<br />
  21. 21. Rで実験してみましょう<br />アルゴリズム <br />Step1: パラメータ θ を固定<br />Step2: サンプル X 生成<br />Step3: X からパラメータ推定 θ <br />Step4: 推定値のばらつきをみる<br />^<br />
  22. 22. 離散分布の場合<br />3 値<br />独立な変数2個<br />場所によって散らばり方が違う<br />
  23. 23. 正規分布の場合<br />平均と標準偏差<br />平均による違いはない<br />標準偏差が大きいところのばらつきが大きい<br />
  24. 24. トイプログラミングの理想と現実<br />理想S4 オブジェクト指向・パッケージ化  いろいろな分布のクラスを定義  どんな分布のシミュレーションもOK<br />現実スパゲティプログラミングでその場しのぎ<br />
  25. 25. 泥縄Rコード<br />パラメータ<br />サンプル数<br />実験回数<br />infogeodemo <- function(p=c(0,1), N=1000, K=100,<br />randfn=rnorm, aEstfn=mean, bEstfn=sd, xlab="mean", ylab="sdev") {<br />   plot(range(p[,1]), range(p[,2]), type="n", xlab=xlab, ylab=ylab)<br />   for (idx in 1:nrow(p)) {<br />         p1 <- p[idx, 1]<br />         p2 <- p[idx, 2]<br />         r <- replicate(K, {<br />             xsample <- randfn(N, p1, p2)<br />             c(aEstfn(xsample),bEstfn(xsample))<br />          })<br />        points(t(r), pch='.', cex=2)<br />   } <br />   points(p, pch='+', col="red")<br />}<br />乱数生成<br />関数<br />乱数生成+<br />パラメータ推定<br />パラメータ推定関数<br />今日のデモは全部これでやります<br />
  26. 26. 場所によって距離が違う<br />θ2<br />y_benjo<br />shima__shima<br />mickey24<br />θ1<br />toddler2009<br />そもそもこいつは定義域外だったりする<br />(負の標準偏差とか)<br />
  27. 27. 推定量の散らばり->距離<br />クラメールラオの不等式<br />推定量の散らばり具合で距離を決めよう  (散らばりの大きいところは距離が小さい)<br />Gθって何?<br />統計界のヨーダ<br />
  28. 28. フィッシャー情報行列<br />分布のパラメータに対する敏感さ・離散分布 θ=(q1,q2)  ・正規分布θ= (μ, σ)<br />統計界の巨人<br />
  29. 29. 確率分布は丸かった<br />曲がった空間らしいということがわかった<br />なんかめんどくさいですね....<br />私もういいです... ユークリッド空間で... by @地球平面協会<br />
  30. 30. わかりましたなんとかしましょう<br />↑この辺の神々のおかげ<br />
  31. 31. 世の中は指数分布族である<br />指数分布族とは...の形に書ける分布モデル<br />離散分布も... θ=(q1,q2)<br />
  32. 32. 正規分布も<br />
  33. 33. θでプロットしてみる<br />  ・離散分布       ・正規分布<br />あまり変わった気がしない<br />
  34. 34. とりあえずθ座標系については平らということにします<br />平らとは?<br />まっすぐな線が一次式で表される<br />距離の取り方は場所によって違ってもいい<br />なぜ平らとしていいかは微分幾何の知識が必要なので省略<br />
  35. 35. 部分空間への射影<br />これだけでは<br />だめ<br />世の中=指数分布族のθ座標<br />モデル=θ座標の線形部分空間<br /> θだけだと直交射影が一意的じゃない<br />世の中<br />データ<br />情報処理<br />モデル<br />結果<br />
  36. 36. ライバル座標系登場<br />座標系の取り方はいろいろθだけ特別扱いはずるい<br /> ηでも平らってことにしよう<br />離散分布では確率値そのもの<br />正規分布ではモーメント <br />
  37. 37. 二人合わせてピタゴラスの定理@情報幾何バージョン<br />ダイバージェンス<br />指数分布族の空間<br />ηでの直線<br />θでの直線<br />
  38. 38. 射影定理<br />部分空間がθなら射影はη部分空間がηなら射影はθとすると一意的<br />指数分布族<br />部分空間M<br />
  39. 39. 座標系を混ぜればまっすぐに見える<br />
  40. 40. むりやりまとめ<br /> η座標で射影を下ろしたのは最尤推定<br />情報幾何はまがったものをまっすぐ見るための技術<br />指数分布族<br />データ<br />最尤推定<br />モデル<br />結果<br />
  41. 41. おまけ<br />Q: 混合分布や隠れマルコフモデルは指数分布族ではないのでは?<br />A: 隠れている部分を潜在変数として入れると指数分布になります<br />Q: ベイズとの関係<br />A: 私もよくわからないので教えてください<br />

    Als Erste(r) kommentieren

    Loggen Sie sich ein, um Kommentare anzuzeigen.

  • ichiyonnana

    Oct. 23, 2010
  • yuichitakada88

    Jan. 5, 2014
  • shunmatsui3

    Feb. 26, 2016
  • genkameyama

    Oct. 26, 2016
  • YuchiMatsuoka

    Sep. 28, 2017
  • ssuserb1f8021

    Jul. 21, 2020

Aufrufe

Aufrufe insgesamt

5.166

Auf Slideshare

0

Aus Einbettungen

0

Anzahl der Einbettungen

68

Befehle

Downloads

28

Geteilt

0

Kommentare

0

Likes

6

×