ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
•Als PPTX, PDF herunterladen•
5 gefällt mir•16,951 views
統計数理研究所 2016/03/15 発表
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Mehr von 智文 中野
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
- 2. 自己紹介 2001 名古屋工業大学 （教育への統計・機械学習の応用） 2008 NTTレゾナント （検索ランキングアルゴリズム、 質問応答システムの開発） 2014 VOYAGE GROUP （Web広告のデータ分析）
- 14. 二項分布（ベルヌーイ分布）の経験ベイズ法 二項分布の経験ベイズ法の計算手法は既に提案 Click-through rate estimation for rare events in online advertising X Wang, W Li, Y Cui, R Zhang… - Online Multimedia …, 2010 http://www.cs.cmu.edu/%7Exuerui/papers/ctr.pdf [PS] Estimating a Dirichlet distribution T Minka - 2000 - vismod.media.mit.edu http://www.msr-waypoint.com/en-us/um/people/minka/papers/dirichlet/minka- dirichlet.pdf ※ψはディガンマ関数、I:インプ数、C:クリック数、α、βは、CTRである r の超パ ラメータ
- 16. 問題点 論文では収束条件に1000とあるが、1,000回くらいでは全く 収束できなさそう。 それどころか、収束した様に見えても、初期パラメータを別 のところに設定すると、別の点に収束する気配。
- 19. 修正版
- 20. 考察 • 尤度や共役事前分布を決めるにあたって二項分布（ベルヌ ーイ分布）を仮定したが、本来語彙は多項分布。 • 語彙の異なり語数が予め分かっていれば、多項分布の方が 望ましいかもしれない。 • トピックモデル推定などがこの推定に詳しい。
- 21. まとめ • ベルヌーイ分布のベイズによるスムージングは分母と分子 に超パラメータを足すだけ • 超パラメータは簡単な繰り返しプログラムで求めることが 出来るという話 • ただし実際には収束しないので、改造する必要があった
- 22. その他
- 25. コメント・QA • 前田先生コメント：beta-binomial などのこれまでの研究 を絡めて欲しい • 前田先生コメント：具体的なデータはあったほうが良い • 宮崎先生コメント：X-Yで誤差がおおきくなるのでは？
Hinweis der Redaktion
- r=\frac{n}{M}
- r = \frac{n+\alpha}{M+\beta} \alpha=1, \beta = 2
- \alpha=1, \beta = 2 r = \frac{\alpha}{\beta} = \frac{1}{2}
- p(r,D) = p(r|D)p(D) = p(r)p(D|r) p(r|D) = \frac{p(r)p(D|r)}{p(D)} p(D|r) = r^{n}(1-r)^{M-n} p(r) = C_1 \rho^{a}(1-\rho)^{b} p(r|D) = C_2 r^{n+\alpha}(1-r)^{M-n+\beta} \alpha, \beta
- p(D|r) = r^{n}(1-r)^{M-n} r=\frac{n}{M}
- p(r)p(D|r)=r^{\alpha}(1-r)^{\beta} r^{n}(1-r)^{M-n} =r^{n+\alpha}(1-r)^{M+\beta-n} r=\frac{n+\alpha}{M+\beta}
- L(\alpha, \beta) = \int_{A \times B} \prod_{d \in D} p(d ; r) p(r ; \alpha, \beta) dr
- \alpha' = \alpha \frac{X}{Y} \alpha' = \alpha \frac{X}{Y} \alpha' = \alpha + \alpha \frac{X-Y}{Y} = \alpha + \alpha\frac{\sum (x-y)}{\sum y}
- \alpha' = \alpha\frac{X}{Y} = \alpha + \alpha \frac{X-Y}{Y} = \alpha + \alpha\frac{\sum (x-y)}{\sum y}
- \mu = \frac{\alpha}{\alpha+\beta},\ \ \sigma^2 = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \alpha = -\frac{\mu\sigma^2+\mu^3-\mu^2}{\sigma^2} \beta = \frac{(\mu-1)\sigma^2+\mu^3-2\mu^2+\mu}{\sigma^2}
- \mu_1 = \frac{\sum_{i \in I}c_i}{\sum_{i\in I} v_i} \mu_2 = \frac{\sum_{i\in I}v_ir_i^2}{\sum_{i\in I}v_i} = \frac{\sum_{i\in I}c_i ^2 v_i^{-1}}{\sum_{i\in I}v_i} \mu_1 一次モーメント \mu_2 二次モーメント I 枠のid c_i 枠iのクリック数 v_i 枠iのインプ数