Diese Präsentation wurde erfolgreich gemeldet.
Die SlideShare-Präsentation wird heruntergeladen. ×

経験過程

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Wird geladen in …3
×

Hier ansehen

1 von 42 Anzeige
Anzeige

Weitere Verwandte Inhalte

Diashows für Sie (20)

Andere mochten auch (20)

Anzeige

Ähnlich wie 経験過程 (20)

Weitere von hoxo_m (20)

Anzeige

Aktuellste (20)

経験過程

  1. 1. 経験過程 @hoxo_m 2016/12/04 1
  2. 2. Watanabe理論勉強会 #7 •  本資料は •  Sumio Watanabe, Algebraic Geometry and Statistical Learning Theory, Cambridge University Press, 2009. •  第7回読書会資料です。 2
  3. 3. これまでの流れ •  1章: イントロダクション (全体像) •  2章: 特異点理論 (特異点解消定理) •  3章: 代数幾何 (ブローアップ) •  4章: ゼータ関数と特異点積分 •  5章: 経験過程 3
  4. 4. 経験過程 •  中⼼極限定理 – 実数を値に取る確率変数についての定理 •  経験過程 – 関数を値に取る確率変数についての定理 4
  5. 5. 5. Empirical Process 序⽂ •  特異統計モデルにおいて、真のパラメー タは 1つではなく、特異点を持つ実解析 集合となる •  従来の統計的学習理論では、真のパラ メータの近傍において対数尤度関数に漸 近的な正規性が与えられた •  ⼀⽅、特異学習理論における Main Formals は経験過程によって与えられる 5
  6. 6. 第5章 Empirical Process •  担当分 5.1 Convergence in law (法則収束) 5.2 Function-valued analytic functions (関数を値に取る解析関数) 5.3 Empirical process (経験過程) 5.4 Fluctuation of Gaussian Process 6
  7. 7. 5.1 法則収束 •  このセクションで⽰したいこと Zn = f(ξn) + anXn •  定理5.1より Zn は f(ξ) に法則収束 •  定理5.5より E[Zn] → E[f(ξ)] •  ただし •  {Zn} は AUI •  {ξn} は ξ に法則収束 •  f は連続 7 •  an → 0 •  Xn は法則収束 これらの⽤語 を理解したい
  8. 8. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 8
  9. 9. 定義5.1 法則収束 (1) •  可測空間 (Ω, B) (1) (Ω, B) 上の確率分布の列 {Pn} と確率分布 P {Pn} が P に法則収束(弱収束)するとは 任意の連続有界関数 f: Ω → R に対して が成り⽴つことを⾔う 9
  10. 10. 定義5.1 法則収束 (2) •  可測空間 (Ω, B) (2) (Ω, B) 上の確率変数の列 {Xn} と確率変数 X {Xn} が X に法則収束(弱収束)するとは {PXn} が PX に法則収束することを⾔う これは以下と等価である 任意の有界な連続関数 f に対して EX[f(X)] = limn→∞ EXn[f(Xn)] 10
  11. 11. Remark 5.1 (1) •  任意の有界な⼀様連続関数 f に対して limn→∞EXn[f(Xn)] = EX[f(X)] が成り⽴つならば Xn は X に法則収束する •  すなわち、法則収束を⽰すには有界な⼀様 連続関数のみを考えればよい ⼀様連続: 任意の ε > 0 に対して δ が存在し |x – y| < δ ⇒ |f(x) – f(y)| < ε ただし、δ は x, y には依存しない 11
  12. 12. Remark 5.1 (2) •  Xn と Yn が X と Y に法則収束するとき、 Xn + Yn が X + Y に法則収束するとは限ら ない •  例: – Norm(0, 1) に従う R1-確率変数 X – Xn = X, Yn = (-1)n X – Xn と Yn は X に法則収束する – Xn + Yn は X + X に法則収束しない 12
  13. 13. Remark 5.1 (3) •  法則収束の定義では X1, X2, … および X は 同じ像空間 (Ω, B) を持つ •  確率空間は異なっても良い Xn: Ωn → Ω •  {Xn} が異なる確率空間で定義されていて も {Xn} の確率分布は同じ可測空間に定義 される 13
  14. 14. Remark 5.1 (4) •  {Xn} と X が同じ確率空間で定義され、  Xn が X に確率収束するとき、Xn は X に 法則収束する •  証明: ε が与えられたとき、 |EX[f(X)] – EXn[f(Xn)]| ≦ E[|f(X) – f(Xn)|]{|X – Xn|<δ} + |E[f(X)] – E[f(Xn)]|{|X – Xn|≧δ} ≦ ε + 2(supx|f(x)|) E[1]{|X – Xn|≧δ} ≦ ε + 2(supx|f(x)|) P(|X – Xn| ≧ δ) 14 確率収束より 0 となる n が存在 ⼀様連続より δ が存在
  15. 15. Example 5.1 (1) •  確率変数 Xn: R1 → R1 •  Xn が従う確率分布 •  Xn は法則収束する 15
  16. 16. Example 5.1 (2) •  Xn が従う確率分布 •  Xn は法則収束しない 16
  17. 17. Note •  法則収束はシュワルツ超関数のトポロ ジーにおける収束(p.108)とは異なる 17
  18. 18. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 18
  19. 19. 定理5.1 •  確率空間 (Ω1, F1, P) •  可測空間 (Ω2, F2), (Ω3, F3) •  確率変数の列 {Xn: Ω1 → Ω2} が X に法則 収束するとき、 •  連続関数 g: Ω2 → Ω3 •  {g(Xn): Ω2 → Ω3} は g(X) に法則収束する 19
  20. 20. 定理5.1 証明 •  有界な連続関数 f: Ω2 → Ω3 •  f(g( )) も有界連続関数になる •  したがって limn→∞EXn[f(g(Xn))] = EX[f(g(X))] 20
  21. 21. 定理5.2 •  RN-確率変数の列 {Xn} と {Yn} •  0 は Dirac の δ(x) で定義される確率分布 (1) Xn が 0 に法則収束するとき、Xn は 0 に 確率収束する (2) Xn が X に、Yn が 0 に法則収束するとき Xn + Yn は X に法則収束する 21
  22. 22. 定理5.2 (1) 証明 •  pn(x)dx を Xn の確率分布とする •  任意の ε > 0 に対して •  有界連続関数 ρ(x) (0 ≦ ρ(x) ≦ 1) を次で定義 •  Xn が X に法則収束することから 22
  23. 23. 定理5.2 (2) 証明 •  有界な⼀様連続関数 f: RN → R 23 ⼀様連続より δ が存在 Yn → 0 に法則収束より確率収束するため
  24. 24. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 24
  25. 25. 有界でない f •  {Xn} が X に法則収束するとき •  関数 f が有界かつ連続ならば、定義より E[f(Xn)] → E[f(X)] •  これは有界でない関数に対しては⼀般に は成り⽴たない •  どのような条件をつければ、有界でない 関数でこれが成り⽴つか? 25
  26. 26. 定理5.3 •  {Xn} が X に法則収束するとき •  連続関数 f が supn E[|f(Xn)|] < C  を満たすならば、次が成り⽴つ (1) E[|f(X)|] は有限 (2) E[|f(X)|] ≦ lim supn→∞ E[|f(Xn)|] 26
  27. 27. 定理5.3 証明 •  連続関数 f(x) に対して •  fM(x) は有界連続かつ |fM(x)| ≦ |f(x)| •  |fM(x)| は M について各点⾮減少列であり limM→∞ |fM(x)| = |f(x)| 27
  28. 28. 定理5.3 証明 •  ルベーグの単調収束定理より E[|fM(X)|] → E[f(X)] •  Xn は X に法則収束するので E[|f(X)|] = limn→∞E[|fM(X)|] ≦ limn→∞sup E[|f(Xn)|] < C 28
  29. 29. Example 5.2 •  関数 f が有界でないならば (1) Xn が X に法則収束 (2) E[|f(Xn)|] < ∞ (3) E[|f(X)|] < ∞ は E[f(Xn)] → E[f(X)] を保証しない 29
  30. 30. Example 5.2 •  Pn は P に法則収束するが f(x) = x に対して •  期待値は異なる! 30
  31. 31. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 31
  32. 32. 定義5.2 AUI •  Asymptotically Uniformly Integrable (漸近的⼀様可積分) •  R-確率変数の列 {Xn} が AUI とは が成り⽴つことをいう 32 ※ よく分からないので定義を天下り的に受け⼊れます m(_ _)m
  33. 33. 定理5.4 (1) (2) (1) R-確率変数の列 {Xn}, {Yn} |Xn| ≦ Yn を満たし、{Yn} が AUI ならば {Xn} も AUI (2) R-確率変数の列 {Xn} に対して |Xn| ≦ Y , E[Y] < ∞ を満たす確率変数 Y が存在するならば {Xn} は AUI 33
  34. 34. 定理5.4 証明 (1) (2) (1) |Xn(w)| ≦ Yn(w) より { w ; |Xn(w)| ≧ M } ⊂ { w ; Yn(w) ≧ M } したがって、 E[|Xn|]{|Xn|≧M} ≦ E[|Xn|]{Yn≧M} ≦ E[Yn]{Yn≧M} (2) 上記の Yn をすべて Y にする 34
  35. 35. 定理5.4 (3) •  定数 0 < δ < s •  C は n によらない定数 •  R-確率変数の列 {Xn} が E[|Xn|s] < C を 満たすならば、Xn s-δ は AUI (証明) •  E[|Xn|s-δ]{|Xn|≧M} ≦ E[|Xn|s / Mδ]{|Xn|≧M} ≦ C / Mδ 35 ※ δ = s では成り⽴たないのは重要ぽい
  36. 36. 地図 •  法則収束 定義5.1 •  f は有界連続ならば •  E[f(Xn)] → E[f(X)] •  法則収束の性質 定理5.1, 定理5.2 •  有界でない f 定理5.3 •  Xn が AUI ならば 定義5.2, 定理5.4 •  E[f(Xn)] → E[f(X)] 定理5.5 36
  37. 37. 定理5.5 期待値の収束 •  Ω-確率変数の列 {Xn} が X に法則収束 •  連続関数 f: Ω → R E[|f(Xn)|] < C •  このとき、f(Xn) が AUI ならば limn→∞ E[f(Xn)] = E[f(X)] 37
  38. 38. 定理5.5 証明 •  定理5.3 より E[f(X)] は有限 •  関数 fM(x) を定理5.3 と同じ⽅法で作る |E[f(X)] – E[f(Xn)]| ≦ |E[f(X)] – E[fM(X)]| + |E[fM(X)] – E[fM(Xn)]| + |E[fM(Xn)] – E[f(Xn)]| <最後の項③は> |E[fM(Xn)] – E[f(Xn)]| ≦ E[|fM(Xn) – f(Xn)|] ≦ E[|f(Xn)|]{|f(Xn)| ≧ M} 38 ① ② ③ ③ʻ
  39. 39. 定理5.5 証明 •  定理5.3と AUI の定義より、ε に対して |E[f(X)] – E[fM(X)]| < ε limn→∞supN≧nE[|f(XN)|]{|f(XN)|≧M} < ε  が成り⽴つ M が存在し、 |E[fM(X)] – E[fM(Xn)]| < ε supN≧nE[|f(XN)|]{|f(XN)|≧M} < ε  が成り⽴つ n が存在する 39 ① ② ③ʻ
  40. 40. Remark 5.2 •  特異学習理論でよく使われる定理 Zn = f(ξn) + anXn •  定理5.1より Zn は f(ξ) に法則収束 •  定理5.5より E[Zn] → E[f(ξ)] •  ただし •  {Zn} は AUI •  {ξn} は ξ に法則収束 •  f は連続 40 •  an → 0 •  Xn は法則収束
  41. 41. 第5章 Empirical Process •  担当分 5.1 Convergence in law (法則収束) 5.2 Function-valued analytic functions (関数を値に取る解析関数) 5.3 Empirical process (経験過程) 5.4 Fluctuation of Gaussian Process 41
  42. 42. 42 © 旭丘分校管理組合

×