PRML読書会#4資料+補足
- 17. 平均損失の変形
• 決定領域R を適切に選ぶことが目標
• jに関するsumは全決定領域に対する値を足すという意味
j
なので、kに関する総和のみを考えれば良い
• 乗法定理p(x,C )=p(C |x)p(x)でp(x)は共通因子なので無視
• 事後クラス確率が分かれば良い
k
k
- 18. 1.5.3 棄却オプション
• xとC の事後確率(=同時確率)が小さく拮抗して
k
いる時はクラスを決定するのが難しい
• 難しい場合は決定を避けるのが適当な場合も
• 医療画像の例
• はっきりしたX線画像は自動分類
• そうでないものは医者に任せる
- 20. 1.5.4 推論と決定
• これまでのクラス分類問題は2段階
• 事後確率を求める推論段階(inference stage)
• クラスを割り当てる決定段階(decision stage)
• 推論、決定を入力xから同時に行う
識別関数(discriminant function)
• 決定問題を解く異なる3つのアプローチ
- 30. モデルの結合
• X線画像x に加えて血液データx も使いたい
• 条件付き独立とみなして別々にモデルを立てる
• ナイーブベイズの例
• このモデルは同時分布が必ずしも分離できる訳ではない
I
xIとxBは条件付独立
xIとxBが得られた時の
事後確率(要規格化)
B
- 38. 1.6 情報理論
• 情報量h(x)
• 情報を得た時の驚きの度合いの尺度
• p(x)に依存(pが小さいと驚き大)
• 異なる事象を同時に観測した時の情報は
和の形 h(x,y) = h(x) + h(y)
• この時独立なのでp(x,y)=p(x)p(y)
• 対数しかない!!!111(底は2, 単位はbit)
- 40. エントロピーの例
• 入力変数xに対し8個の状態を取る
• 等確率の時のエントロピー
• H[x] = - 8 × (1/8) log (1/8) = 3 [bit]
• 状態{a,b,c,d,e,f,g,h}に対する確率が
2
{1/2,1/4,1/8,1/16,1/64,1/64,1/64,1/64}の時
• H[x] = -(1/2)log (1/2) - (1/4)log (1/4) - (1/8)log (1/8)
2
2
-(1/16)log2(1/16) - 4×(1/64)log2(1/64)
=1/2 + 1/2 + 6/16 + 4/16 + 6/16 = 2 [bit]
2
- 41. 通信における符号長
• 変数がどの状態にあるかを伝えることを考える
• 起こりやすい事象には短い符号長を割り当てると良い
• {a,b,c,d,e,f,g,h}に対し
{0,10,110,1110,111100,111101,111110,111111}を
割り当てると平均符号長は
(1/2)×1 + (1/4)×2 + (1/8)×3 + (1/16)×4 + 4×(1/64)×6 = 2 [bit]
となりエントロピーと一致
• これ以上細かい符号を使うと連続して送れない
(ノイズ無し符号化定理; noiseless coding theorem)