Suche senden
Hochladen
読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
•
6 gefällt mir
•
12,208 views
健
健児 青木
Folgen
第2回『トピックモデルによる統計的潜在意味解析』読書会 http://topicmodel.connpass.com/event/15783/
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 24
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
hoxo_m
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
LDA入門
LDA入門
正志 坪坂
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
Empfohlen
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
hoxo_m
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
LDA入門
LDA入門
正志 坪坂
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Kei Nakagawa
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
トピックモデルの基礎と応用
トピックモデルの基礎と応用
Tomonari Masada
トピックモデル
トピックモデル
貴之 八木
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
Ken'ichi Matsui
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
YosukeAkasaka
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
質的変数の相関・因子分析
質的変数の相関・因子分析
Mitsuo Shimohata
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
最適輸送の解き方
最適輸送の解き方
joisino
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
Ken'ichi Matsui
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
tn1031
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
cyberagent
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
Naoki Nishimura
20150730 トピ本第4回 3.4節
20150730 トピ本第4回 3.4節
MOTOGRILL
Weitere ähnliche Inhalte
Was ist angesagt?
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
Kei Nakagawa
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
トピックモデルの基礎と応用
トピックモデルの基礎と応用
Tomonari Masada
トピックモデル
トピックモデル
貴之 八木
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
Ken'ichi Matsui
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
YosukeAkasaka
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
質的変数の相関・因子分析
質的変数の相関・因子分析
Mitsuo Shimohata
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
最適輸送の解き方
最適輸送の解き方
joisino
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
Ken'ichi Matsui
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
tn1031
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
cyberagent
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
Was ist angesagt?
(20)
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
トピックモデルの基礎と応用
トピックモデルの基礎と応用
トピックモデル
トピックモデル
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
ベイズ推論による機械学習入門 第4章
ベイズ推論による機械学習入門 第4章
協調フィルタリング入門
協調フィルタリング入門
2 3.GLMの基礎
2 3.GLMの基礎
質的変数の相関・因子分析
質的変数の相関・因子分析
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
最適輸送の解き方
最適輸送の解き方
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
推薦アルゴリズムの今までとこれから
推薦アルゴリズムの今までとこれから
ベイズファクターとモデル選択
ベイズファクターとモデル選択
Andere mochten auch
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
Naoki Nishimura
20150730 トピ本第4回 3.4節
20150730 トピ本第4回 3.4節
MOTOGRILL
3.1節 統計的学習アルゴリズム
3.1節 統計的学習アルゴリズム
Akito Nakano
トピックモデルによる統計的潜在意味解析 2章後半
トピックモデルによる統計的潜在意味解析 2章後半
Shinya Akiba
第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法
第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法
ksmzn
「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」
「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」
ksmzn
逐次ベイズ学習 - サンプリング近似法の場合 -
逐次ベイズ学習 - サンプリング近似法の場合 -
y-uti
第二回機械学習アルゴリズム実装会 - LDA
第二回機械学習アルゴリズム実装会 - LDA
Masayuki Isobe
Prism.Formsについて
Prism.Formsについて
一希 大田
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
TensorFlowで逆強化学習
TensorFlowで逆強化学習
Mitsuhisa Ohta
Andere mochten auch
(11)
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
20150730 トピ本第4回 3.4節
20150730 トピ本第4回 3.4節
3.1節 統計的学習アルゴリズム
3.1節 統計的学習アルゴリズム
トピックモデルによる統計的潜在意味解析 2章後半
トピックモデルによる統計的潜在意味解析 2章後半
第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法
第3章 変分近似法 LDAにおける変分ベイズ法・周辺化変分ベイズ法
「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」
「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」
逐次ベイズ学習 - サンプリング近似法の場合 -
逐次ベイズ学習 - サンプリング近似法の場合 -
第二回機械学習アルゴリズム実装会 - LDA
第二回機械学習アルゴリズム実装会 - LDA
Prism.Formsについて
Prism.Formsについて
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
TensorFlowで逆強化学習
TensorFlowで逆強化学習
Ähnlich wie 読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
Dynamic Routing Between Capsules
Dynamic Routing Between Capsules
yukihiro domae
Blow up in a degenerate keller--segel system
Blow up in a degenerate keller--segel system
Takahiro Hashira
退化拡散項をもつ放物・放物型Keller--Segel系の解の有限時刻爆発について
退化拡散項をもつ放物・放物型Keller--Segel系の解の有限時刻爆発について
Takahiro Hashira
速習情報幾何 2018_10_25
速習情報幾何 2018_10_25
Arithmer Inc.
暗号技術の実装と数学
暗号技術の実装と数学
MITSUNARI Shigeo
退化型Keller--Segel系の解の有限時刻爆発について
退化型Keller--Segel系の解の有限時刻爆発について
Takahiro Hashira
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
Keisuke Sugawara
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
TakaakiYonekura
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
Kazu Ghalamkari
強化学習その3
強化学習その3
nishio
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
takutori
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
表現論 ゼミ資料
表現論 ゼミ資料
HanpenRobot
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
グレブナー基底輪読会 #1 ―準備体操の巻―
グレブナー基底輪読会 #1 ―準備体操の巻―
Yutaka Nagahata
オンライン学習 : Online learning
オンライン学習 : Online learning
Daiki Tanaka
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)
Morpho, Inc.
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
健児 青木
Ähnlich wie 読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
(20)
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Dynamic Routing Between Capsules
Dynamic Routing Between Capsules
Blow up in a degenerate keller--segel system
Blow up in a degenerate keller--segel system
退化拡散項をもつ放物・放物型Keller--Segel系の解の有限時刻爆発について
退化拡散項をもつ放物・放物型Keller--Segel系の解の有限時刻爆発について
速習情報幾何 2018_10_25
速習情報幾何 2018_10_25
暗号技術の実装と数学
暗号技術の実装と数学
退化型Keller--Segel系の解の有限時刻爆発について
退化型Keller--Segel系の解の有限時刻爆発について
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
第4回数理モデル勉強会(日本植物学会第84回大会関連集会)
強束縛模型における多体電子状態の第2量子化表現
強束縛模型における多体電子状態の第2量子化表現
強化学習その3
強化学習その3
Prml 最尤推定からベイズ曲線フィッティング
Prml 最尤推定からベイズ曲線フィッティング
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
表現論 ゼミ資料
表現論 ゼミ資料
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
グレブナー基底輪読会 #1 ―準備体操の巻―
グレブナー基底輪読会 #1 ―準備体操の巻―
オンライン学習 : Online learning
オンライン学習 : Online learning
A Brief Survey of Schrödinger Bridge (Part I)
A Brief Survey of Schrödinger Bridge (Part I)
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
読書会 「トピックモデルによる統計的潜在意味解析」 第8回 3.6節 Dirichlet分布のパラメータ推定
読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
1.
1 読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法 日時:
2015/06/18 19:30~ 場所: 株式会社 ALBERT 発表者: @aoki_kenji
2.
目次 2 • 前回の復習(条件付き独立性) • ギブスサンプリングとは? •
3.2.1節 ギブスサンプリング • 3.2.2節 周辺化ギブスサンプリング • 3.2.3節 LDAのギブスサンプリング • 3.2.4節 LDAの周辺化ギブスサンプリング 今回は時間の都合上省略
3.
目次 3 • 前回の復習(条件付き独立性) • ギブスサンプリングとは? •
3.2.1節 ギブスサンプリング • 3.2.2節 周辺化ギブスサンプリング • 3.2.3節 LDAのギブスサンプリング • 3.2.4節 LDAの周辺化ギブスサンプリング
4.
グラフィカルモデル? or 数式? 4 前回の@ksmznさんの資料から引用 •
前回はグラフィカルモデルを参照して条件付き分布を導出した • 今回は数式から直接条件付き分布を導出してみる
5.
数式からの条件付き独立性の導出(p.22の図1.7) 5 𝑏 𝑎 𝑐 𝑎 𝑏 𝑐 𝑎 𝑏 𝑐 tail-to-tail head-to-tail head-to-head 𝑝
𝑎, 𝑏, 𝑐 = 𝑝 𝑎|𝑐 𝑝 𝑏|𝑐 𝑝 𝑐 𝑝 𝑎, 𝑏|𝑐 ∝ 𝑝 𝑎 𝑐 𝑝 𝑏 𝑐 ⇒ 𝑎 ⊥ 𝑏|𝑐 𝑝 𝑎, 𝑏, 𝑐 = 𝑝 𝑏|𝑐 𝑝 𝑐|𝑎 𝑝 𝑎 𝑝 𝑎, 𝑏|𝑐 ∝ 𝑝 𝑏|𝑐 𝑝 𝑐|𝑎 𝑝 𝑎 ⇒ 𝑎 ⊥ 𝑏|𝑐 𝑝 𝑎, 𝑏, 𝑐 = 𝑝 𝑐|𝑎, 𝑏 𝑝 𝑎 𝑝 𝑏 𝑝 𝑎, 𝑏|𝑐 ∝ 𝑝 𝑐|𝑎, 𝑏 𝑝 𝑎 𝑝 𝑏 ⇒ 𝑎 ⊥ 𝑏|𝑐 グラフィカル モデル 数式 条件付き 独立性
6.
数式からの条件付き独立性の導出(p.35の図2.4) 6 𝜷𝜶 LDAの生成モデル 𝑝 𝑧 𝑑,𝑖|𝒘,
𝒛−𝑑,𝑖, 𝜽, 𝝓, 𝜶, 𝜷 ∝ 𝑝 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖, 𝝓 𝑝 𝑧 𝑑,𝑖 𝜽 𝑑 ⇒ 𝑝 𝑧 𝑑,𝑖|𝑤 𝑑,𝑖, 𝜽 𝑑, 𝝓 𝑝 𝜽 𝑑|𝒘, 𝒛, 𝜽−𝑑 , 𝝓, 𝜶, 𝜷 ∝ 𝑝 𝒛 𝑑|𝜽 𝑑 𝑝 𝜽 𝑑|𝜶 ⇒ 𝑝 𝜽 𝑑|𝒛 𝑑, 𝜶 𝑝 𝝓 𝑘 𝒘, 𝒛, 𝜽, 𝝓−𝑘, 𝜶, 𝜷 ∝ 𝑝 𝒘 𝒛, 𝝓 𝑝 𝝓 𝑘 𝜷 ⇒ 𝑝 𝝓 𝑘 𝒘, 𝒛, 𝝓−𝑘, 𝜷 𝝓 𝑘𝜽 𝑑 𝑧 𝑑,𝑖 𝑤 𝑑,𝑖 𝐾𝑛 𝑑 𝑀 𝑝 𝒘, 𝒛, 𝜽, 𝝓 𝜶, 𝜷 = 𝑝 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖, 𝝓 𝑝 𝑧 𝑑,𝑖 𝜽 𝑑 𝑑,𝑖 𝑝 𝜽 𝑑 𝜶 𝑑 𝑝 𝝓 𝑘 𝜷 𝑘 各確率変数の条件付き分布を数式から 導出してみる 1段目と3段目の式に関しては 実際よりも冗長
7.
数式からの条件付き独立性の導出(p.35の図2.4) 7 𝜷𝜶 LDAの生成モデル 𝑝 𝑧 𝑑,𝑖
= 𝑘|𝒘, 𝑧−𝑑,𝑖 , 𝜽, 𝝓, 𝜶, 𝜷 ∝ 𝑝 𝑤 𝑑,𝑖 𝝓 𝑘 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝜽 𝑑 ⇒ 𝑝 𝑧 𝑑,𝑖 = 𝑘|𝑤 𝑑,𝑖, 𝜽 𝑑, 𝝓 𝑘 𝑝 𝜽 𝑑|𝒘, 𝒛, 𝜽−𝑑, 𝝓, 𝜶, 𝜷 ∝ 𝑝 𝒛 𝑑|𝜽 𝑑 𝑝 𝜽 𝑑|𝜶 ⇒ 𝑝 𝜽 𝑑|𝒛 𝑑, 𝜶 𝑝 𝝓 𝑘 𝒘, 𝒛, 𝜽, 𝝓−𝑘 , 𝜶, 𝜷 ∝ 𝑝 𝑤 𝑑,𝑖 𝝓 𝑘 𝑧 𝑑,𝑖=𝑘 𝑝 𝝓 𝑘 𝜷 ⇒ 𝑝 𝝓 𝑘 𝑤 𝑑,𝑖|𝑧 𝑑,𝑖 = 𝑘 , 𝒛, 𝜷 𝝓 𝑘𝜽 𝑑 𝑧 𝑑,𝑖 𝑤 𝑑,𝑖 𝐾𝑛 𝑑 𝑀 𝑝 𝒘, 𝒛, 𝜽, 𝝓 𝜶, 𝜷 = 𝑝 𝑤 𝑑,𝑖 𝝓 𝑧 𝑑,𝑖 𝑝 𝑧 𝑑,𝑖 𝜽 𝑑 𝑑,𝑖 𝑝 𝜽 𝑑 𝜶 𝑑 𝑝 𝝓 𝑘 𝜷 𝑘 𝑝 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖, 𝝓 = 𝑝 𝑤 𝑑,𝑖 𝝓 𝑧 𝑑,𝑖 という構造を既知とすると…
8.
目次 8 • 前回の復習(条件付き独立性) • ギブスサンプリングとは? •
3.2.1節 ギブスサンプリング • 3.2.2節 周辺化ギブスサンプリング • 3.2.3節 LDAのギブスサンプリング • 3.2.4節 LDAの周辺化ギブスサンプリング
9.
ギブスサンプリングのアルゴリズム概要 9 例えば 𝑝 𝑎, 𝑏,
𝑐|𝜃 から直接乱数を生成できないようなときでも、以下の手順(ギブスサンプリング)に よって上記分布からの乱数を生成することができる Step1: 𝑏, 𝑐の初期値𝑏 0 , 𝑐 0 と正数𝑆を与える Step2: 𝑠 = 1, ⋯ , 𝑆に対して以下を繰り返す 𝑝 𝑎 𝑠 |𝑏 𝑠−1 , 𝑐 𝑠−1 , 𝜃 から𝑎 𝑠 をサンプリング 𝑝 𝑏 𝑠 |𝑎 𝑠 , 𝑐 𝑠−1 , 𝜃 から𝑏 𝑠 をサンプリング 𝑝 𝑐 𝑠 |𝑎 𝑠 , 𝑏 𝑠 , 𝜃 から𝑐 𝑠 をサンプリング 上記の手順によって生成された乱数が𝑝 𝑎, 𝑏, 𝑐|𝜃 に従う理論的説明は、例えば • 伊庭他(2005)、『計算統計Ⅱマルコフ連鎖モンテカルロ法とその周辺 (統計科学のフロンティア12)』、岩波書店 を参照
10.
ギブスサンプリングのアルゴリズム概要 10 • もちろん上記の手順を実行するためには各確率変数の条件付き分布からの サンプリングが可能でなければならない (LDAの場合は条件付き分布が解析的に導出可能である) • 𝑎,
𝑏, 𝑐はそれぞれベクトル(多次元)であっても構わない(その場合はブロック 化ギブスサンプリングと呼ばれる) • 𝑎 𝑠 , 𝑏 𝑠 , 𝑐 𝑠 s=1 S を利用して、例えば𝑝 𝑎, 𝑏, 𝑐|𝜃 に関する任意の関数 𝑓 𝑎, 𝑏, 𝑐 の期待値を近似することができる 𝑝 𝑎, 𝑏, 𝑐|𝜃 𝑓 𝑎, 𝑏, 𝑐 𝑑𝑎𝑑𝑏𝑑𝑐 ≈ 1 𝑆 𝑓 𝑎 𝑠 , 𝑏 𝑠 , 𝑐 𝑠 𝑆 𝑠=1 • 実際は、上記のように𝑠 = 1から𝑆までの全てのサンプルを使わずに、初期値 に依存した最初の方のサンプルを捨てることがある このサンプルを捨てる期間を破棄する期間(burn-in period)と呼ぶ
11.
目次 11 • 前回の復習(条件付き独立性) • ギブスサンプリングとは? •
3.2.1節 ギブスサンプリング • 3.2.2節 周辺化ギブスサンプリング • 3.2.3節 LDAのギブスサンプリング • 3.2.4節 LDAの周辺化ギブスサンプリング
12.
ギブスサンプリングの動機 12 • LDAのベイズ推定では予測分布以前に事後分布のサンプル生成すら難しい ◎予測分布(積分計算が難しい) 𝑝 𝑤
𝑑 ∗ 𝒘, 𝜶, 𝜷 = 𝑝 𝑤 𝑑 ∗ , 𝑧 𝑑 ∗ , 𝒛, 𝜽, 𝝓 𝒘, 𝜶, 𝜷 𝒛𝑧 𝑑 ∗ 𝑑𝜽𝑑𝝓 = 𝑝 𝑤 𝑑 ∗ 𝝓 𝑧 𝑑 ∗ 𝑝 𝑧 𝑑 ∗ 𝜽 𝑑 𝑝 𝒛, 𝜽, 𝝓 𝒘, 𝜶, 𝜷 𝒛𝑧 𝑑 ∗ 𝑑𝜽𝑑𝝓 ◎事後分布からのサンプリングによる近似 (事後分布の導出が困難&サンプル生成が難しい) 𝑝 𝑤 𝑑 ∗ 𝒘, 𝜶, 𝜷 ≈ 1 𝑆 𝑝 𝑤 𝑑 ∗ 𝝓 𝑧 𝑑 ∗ 𝑠 𝑝 𝑧 𝑑 ∗ 𝜽 𝑑 𝑠 𝑧 𝑑 ∗ 𝑆 𝑠=1 • LDAの場合、 𝒛 𝑠 , 𝜽 𝑠 , 𝝓 𝑠 を一度にサンプリングするのは難しいが、 𝒛 𝑠 , 𝜽 𝑠 , 𝝓 𝑠 をそれぞれ個別にサンプリングすることは容易である(条件付き 分布が解析的に導出可能である) ギブスサンプリングによる近似が可能
13.
条件付き分布の導出その1 13 ◎𝑧 𝑑,𝑖について(𝑤 𝑑,𝑖
= 𝑣とする) 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝑤 𝑑,𝑖 = 𝑣, 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜽, 𝝓, 𝜶, 𝜷 ∝ 𝑝 𝑤 𝑑,𝑖 = 𝑣 𝝓 𝑘 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝜽 𝑑 = 𝜙 𝑘,𝑣 𝜃 𝑑,𝑘 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝑤 𝑑,𝑖 = 𝑣, 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜽, 𝝓, 𝜶, 𝜷 = 1𝐾 𝑘=1 となるように正規化すると 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝑤 𝑑,𝑖 = 𝑣, 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜽, 𝝓, 𝜶, 𝜷 = 𝜙 𝑘,𝑣 𝜃 𝑑,𝑘 𝜙 𝑘′,𝑣 𝜃 𝑑,𝑘′ 𝐾 𝑘′=1
14.
条件付き分布の導出その2 14 ◎𝜽 𝑑について 𝑝 𝜽
𝑑 𝒘, 𝒛, 𝜽−𝑑 , 𝝓, 𝜶, 𝜷 ∝ 𝑝 𝒛 𝑑 𝜽 𝑑 𝑝 𝜽 𝑑 𝜶 ∝ 𝜃 𝑘 𝛼 𝑘+𝑛 𝑑,𝑘−1 𝐾 𝑘=1 ここで𝑛 𝑑,𝑘は文書𝑑の中でトピック𝑘に属する単語の数とする すなわち𝑛 𝑑,𝑘 = 𝛿 𝑧 𝑑,𝑖 = 𝑘 𝑛 𝑑 𝑖=1 上の式から𝑝 𝜽 𝑑 𝒘, 𝒛, 𝜽−𝑑 , 𝝓, 𝜶, 𝜷 はディリクレ分布の形をしているので 𝑝 𝜽 𝑑 𝒘, 𝒛, 𝜽−𝑑, 𝝓, 𝜶, 𝜷 = 𝐷𝑖𝑟 𝜽 𝑑|𝜶 + 𝒏 𝑑 , 𝒏 𝑑 = 𝑛 𝑑,1, ⋯ , 𝑛 𝑑,𝐾
15.
条件付き分布の導出その3 15 ◎𝝓 𝑘について 𝑝 𝝓
𝑘 𝒘, 𝒛, 𝜽, 𝝓−𝑘, 𝜶, 𝜷 ∝ 𝑝 𝑤 𝑑,𝑖 = 𝑣 𝝓 𝑘 𝑧 𝑑,𝑖=𝑘 𝑝 𝝓 𝑘 𝜷 ∝ 𝜙 𝑣 𝛽 𝑣+𝑛 𝑘,𝑣−1 𝑉 𝑣=1 ここで𝑛 𝑘,𝑣は全文書の中でトピック𝑘に属する単語𝑣の数とする すなわち𝑛 𝑘,𝑣 = 𝛿 𝑧 𝑑,𝑖 = 𝑘, 𝑤 𝑑,𝑖 = 𝑣 𝑛 𝑑 𝑖=1 𝑀 𝑑=1 上の式から𝑝 𝝓 𝑘 𝒘, 𝒛, 𝜽, 𝝓−𝑘 , 𝜶, 𝜷 はディリクレ分布の形をしているので 𝑝 𝝓 𝑘 𝒘, 𝒛, 𝜽, 𝝓−𝑘, 𝜶, 𝜷 = 𝐷𝑖𝑟 𝝓 𝑘|𝜷 + 𝒏 𝑘 , 𝒏 𝑘 = 𝑛 𝑘,1, ⋯ , 𝑛 𝑘,𝑉
16.
条件付き分布の導出まとめ 16 • どの確率変数𝑧 𝑑,𝑖,
𝜽 𝑑, 𝝓 𝑘に関しても 事後分布 ↓ 結合分布(生成モデル) ↓ 定数項を除外 のステップを踏むことにより条件付き事後分布を導出することができた
17.
LDAのギブスサンプリングの擬似コード 17 • 以下に、LDAのギブスサンプリングの擬似コードを示す • 𝜶,
𝜷の更新に関しては3.6節で取り扱う Step1: 𝜶, 𝜷, 𝜽, 𝝓の初期値𝜶 0 , 𝜷 0 , 𝜽 0 , 𝝓 0 と正数𝑆を与える Step2: 𝑠 = 1, ⋯ , 𝑆に対して以下を繰り返す 全ての𝑧 𝑑,𝑖に対して𝑝 𝑧 𝑑,𝑖|𝑤 𝑑,𝑖, 𝜽 𝑑 𝑠−1 , 𝝓 𝑘 𝑠−1 から𝑧 𝑑,𝑖 𝑠 をサンプリング 全ての𝜽 𝑑に対して𝑝 𝜽 𝑑|𝒛 𝑑 𝑠 , 𝜶 から𝜽 𝑑 𝑠 をサンプリング 全ての𝝓 𝑘に対して𝑝 𝝓 𝑘 𝑤 𝑑,𝑖|𝑧 𝑑,𝑖 𝑠 = 𝑘 , 𝒛 𝑠 , 𝜷 から𝝓 𝑘 𝑠 をサンプリング 𝜶, 𝜷を更新する:𝜶 𝑠−1 , 𝜷 𝑠−1 → 𝜶 𝑠 , 𝜷 𝑠
18.
目次 18 • 前回の復習(条件付き独立性) • ギブスサンプリングとは? •
3.2.1節 ギブスサンプリング • 3.2.2節 周辺化ギブスサンプリング • 3.2.3節 LDAのギブスサンプリング • 3.2.4節 LDAの周辺化ギブスサンプリング
19.
周辺化ギブスサンプリングの動機 19 • LDAのギブスサンプリングでは予測分布𝑝 𝑤
𝑑 ∗ 𝒘, 𝜶, 𝜷 を計算するために事後 分布から 𝒛 𝑠 , 𝜽 𝑠 , 𝝓 𝑠 𝑠=1 𝑆 をサンプリングした • より効率的なサンプリング方法として、𝜽, 𝝓を積分消去(周辺化)して𝒛のみを サンプリングする方法がある(逆は不可) • この方法は周辺化ギブスサンプリングと呼ばれる • 周辺化ギブスサンプリングでは以下のように予測分布を近似することになる 𝑝 𝑤 𝑑 ∗ 𝒘, 𝜶, 𝜷 = 𝑝 𝑤 𝑑 ∗ , 𝑧 𝑑 ∗ , 𝒛 𝒘, 𝜶, 𝜷 𝒛𝑧 𝑑 ∗ = 𝑝 𝑤 𝑑 ∗ , 𝑧 𝑑 ∗ 𝒘, 𝒛, 𝜶, 𝜷 𝑝 𝒛 𝒘, 𝜶, 𝜷 𝒛𝑧 𝑑 ∗ ≈ 1 𝑆 𝑝 𝑤 𝑑 ∗ , 𝑧 𝑑 ∗ 𝒘, 𝒛 𝑠 , 𝜶, 𝜷 𝑧 𝑑 ∗ 𝑆 𝑠=1 • 𝑝 𝑤 𝑑 ∗ , 𝑧 𝑑 ∗ 𝒘, 𝒛, 𝜶, 𝜷 の具体的な形については次ページ以降で導出する
20.
条件付き分布の導出その1 20 ◎𝑧 𝑑,𝑖の条件付き分布のみを導出すればよい(𝑤 𝑑,𝑖
= 𝑣とする) 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝑤 𝑑,𝑖, 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 ∝ 𝑝 𝑧 𝑑,𝑖 = 𝑘, 𝑤 𝑑,𝑖, 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 𝜶, 𝜷 = 𝑝 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 𝑝 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 ∝ 𝑝 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜶, 𝜷 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜶, 𝜷 = 𝑝 𝑤 𝑑,𝑖 = 𝑣 𝝓 𝑘 𝐷𝑖𝑟 𝝓 𝑘|𝜷 + 𝒏 𝑘 −𝑑,𝑖 𝑑𝝓 𝑘 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝜽 𝑑 𝐷𝑖𝑟 𝜽 𝑑|𝜶 + 𝒏 𝑑 −𝑑,𝑖 𝑑𝜽 𝑑 = 𝜙 𝑘,𝑣 𝐷𝑖𝑟 𝝓 𝑘|𝜷 + 𝒏 𝑘 −𝑑,𝑖 𝑑𝝓 𝑘 𝜃 𝑑,𝑘 𝐷𝑖𝑟 𝜽 𝑑|𝜶 + 𝒏 𝑑 −𝑑,𝑖 𝑑𝜽 𝑑 = 𝑛 𝑘,𝑣 −𝑑,𝑖 + 𝛽𝑣 𝑛 𝑘,𝑣′ −𝑑,𝑖 + 𝛽𝑣′ 𝑉 𝑣′=1 𝑛 𝑑,𝑘 −𝑑,𝑖 + 𝛼 𝑘 𝑛 𝑑,𝑘′ −𝑑,𝑖 + 𝛼 𝑘′ 𝐾 𝑘′=1 𝑛 𝑘,𝑣 −𝑑,𝑖 , 𝑛 𝑑,𝑘 −𝑑,𝑖 は𝑛 𝑘,𝑣, 𝑛 𝑑,𝑘の計算から𝑧 𝑑,𝑖を 抜いたもの ここの導出は次ページ に記載
21.
条件付き分布の導出その2 21 ◎𝑝 𝑤 𝑑,𝑖
𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 の計算に関して 𝑝 𝑤 𝑑,𝑖, 𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜶, 𝜷 = 𝑝 𝑤 𝑑,𝑖 = 𝑣 𝝓 𝑘 𝑝 𝑤 𝑑′,𝑖′ 𝝓 𝑘 𝑧 𝑑,𝑖=𝑘 𝑑′,𝑖′≠𝑑,𝑖 𝑝 𝝓 𝑘 𝜷 𝑑𝝓 𝑘 × 𝐹 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖 ≠ 𝑘 , 𝒛 𝑝 𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜶, 𝜷 = 𝑝 𝑤 𝑑′,𝑖′ 𝝓 𝑘 𝑧 𝑑,𝑖=𝑘 𝑑′,𝑖′≠𝑑,𝑖 𝑝 𝝓 𝑘 𝜷 𝑑𝝓 𝑘 × 𝐹 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖 ≠ 𝑘 , 𝒛 したがって 𝑝 𝑤 𝑑,𝑖 𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 = 𝑝 𝑤 𝑑,𝑖 = 𝑣 𝝓 𝑘 𝐷𝑖𝑟 𝝓 𝑘|𝜷 + 𝒏 𝑘 −𝑑,𝑖 𝑑𝝓 𝑘
22.
条件付き分布の導出その3 22 ◎𝑝 𝑧 𝑑,𝑖
= 𝑘 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 の計算に関して 𝑝 𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜶, 𝜷 = 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝜽 𝑑 𝑝 𝑧 𝑑,𝑖′ 𝜽 𝑑 𝑖′=𝑖 𝑝 𝜽 𝑑 𝜶 𝑑𝜽 𝑑 × 𝐹 𝑤−𝑑,𝑖, 𝒛−𝑑 𝑝 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 = 𝑝 𝑧 𝑑,𝑖′ 𝜽 𝑑 𝑖′=𝑖 𝑝 𝜽 𝑑 𝜶 𝑑𝜽 𝑑 × 𝐹 𝑤−𝑑,𝑖 , 𝒛−𝑑 したがって 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝒘−𝑑,𝑖 , 𝒛−𝑑,𝑖 , 𝜶, 𝜷 = 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝜽 𝑑 𝐷𝑖𝑟 𝜽 𝑑|𝜷 + 𝒏 𝑑 −𝑑,𝑖 𝑑𝜽 𝑑
23.
予測分布の具体的な形 23 ◎積み残しにしていた𝑝 𝑤 𝑑 ∗ ,
𝑧 𝑑 ∗ 𝒘, 𝒛, 𝜶, 𝜷 の具体的な形に関して 前ページまでの結果から 𝑝 𝑤 𝑑,𝑖 = 𝑣, 𝑧 𝑑,𝑖 = 𝑘 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 = 𝑝 𝑤 𝑑,𝑖 = 𝑣 𝑧 𝑑,𝑖 = 𝑘, 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 𝑝 𝑧 𝑑,𝑖 = 𝑘 𝒘−𝑑,𝑖, 𝒛−𝑑,𝑖, 𝜶, 𝜷 = 𝑛 𝑘,𝑣 −𝑑,𝑖 + 𝛽𝑣 𝑛 𝑘,𝑣′ −𝑑,𝑖 + 𝛽𝑣′ 𝑉 𝑣′=1 𝑛 𝑑,𝑘 −𝑑,𝑖 + 𝛼 𝑘 𝑛 𝑑,𝑘′ −𝑑,𝑖 + 𝛼 𝑘′ 𝐾 𝑘′=1 したがって 𝑝 𝑤 𝑑 ∗ = 𝑣, 𝑧 𝑑 ∗ = 𝑘 𝒘, 𝒛, 𝜶, 𝜷 = 𝑛 𝑘,𝑣 + 𝛽𝑣 𝑛 𝑘,𝑣′ + 𝛽𝑣′ 𝑉 𝑣′=1 𝑛 𝑑,𝑘 + 𝛼 𝑘 𝑛 𝑑,𝑘′ + 𝛼 𝑘′ 𝐾 𝑘′=1
24.
LDAの周辺化ギブスサンプリングの擬似コード 24 • 以下に、LDAの周辺化ギブスサンプリングの擬似コードを示す • 𝜶,
𝜷の更新に関しては3.6節で取り扱う Step1: 𝜶, 𝜷, 𝒛の初期値 𝜶 0 , 𝜷 0 , 𝒛 0 (=𝑛 𝑘,𝑣, 𝑛 𝑑,𝑘)と正数𝑆を与える Step2: 𝑠 = 1, ⋯ , 𝑆に対して以下を繰り返す 全ての𝑑, 𝑖 に対して以下を繰り返す 𝑛 𝑘,𝑣 −𝑑,𝑖 , 𝑛 𝑑,𝑘 −𝑑,𝑖 𝑘 = 1, ⋯ , 𝐾 を計算する 𝑛 𝑘,𝑣 −𝑑,𝑖 +𝛽 𝑣 𝑛 𝑘,𝑣′ −𝑑,𝑖 +𝛽 𝑣′ 𝑉 𝑣′=1 𝑛 𝑑,𝑘 −𝑑,𝑖 +𝛼 𝑘 𝑛 𝑑,𝑘′ −𝑑,𝑖 +𝛼 𝑘′ 𝐾 𝑘′=1 から𝑧 𝑑,𝑖 𝑠 をサンプリング 𝑛 𝑘,𝑣, 𝑛 𝑑,𝑘を更新する 𝜶, 𝜷を更新する:𝜶 𝑠−1 , 𝜷 𝑠−1 → 𝜶 𝑠 , 𝜷 𝑠
Jetzt herunterladen