1. PRML#17 (最終回)
12.4補習: 独立成分分析
2010-09-11
YOSHIHIKO SUHARA
id:sleepy_yoshi
@sleepy_yoshi

2. おことわり
• これからの話は全て↓に書かれています
1

3. ポイントだけ
• 独立成分分析とは?
• 必要なのは独立性。
• ガウス分布、ダメ、ゼッタイ。
• 目的関数いろいろ、解き方もいろいろ。
2

4. 独立成分分析とは?
3

5. PRML的な流れ
• 線形ガウスモデル
– 主成分分析
• 線形非ガウスモデル
– 独立成分分析
• 非線形ICAもあるらしいが…
非ガウス分布を用いた潜在変数の線形変換に
よって観測変数が得られるというモデル
4

6. 問題設定: 未知音源分離
M台のマイク ������ N人の話者 ������
(観測変数) (潜在変数)
5
※簡単のため〃M=Nの例を用いる

7. 未知音源分離の定式化
• 観測変数は潜在変数の線形変換で表現
������ = ������������
������1 = ������11 ������1 + ������12 ������2 + ������13 ������3
������2 = ������21 ������1 + ������22 ������2 + ������23 ������3
������3 = ������31 ������1 + ������32 ������2 + ������33 ������3
結論
s1, s2, s3が統計的に独立であれば〃
A, s共に計算することが可能 6

8. 必要なのは独立性。
• 独立性
������
������ ������ = ������(������������ ) (12.89)
������=1
• 無相関性 ≠ 独立性
7

9. ガウス分布、ダメ、ゼッタイ。
• 潜在変数sにガウス分布は利用できない
• 理由: ガウス分布は混合してしまうと分離でき
ないから
– 厳密には、ひとつのガウス分布まではOK
4
2
0
-2
-4
-2 0 2 8

10. ガウス分布、ダメ、ゼッタイ。
• 確率的主成分分析では…
– 潜在変数空間の分布が平均0の等方的ガウス分布
– 潜在変数の空間を変化させても尤度関数の形は変わ
らない
������ = ������������������ + ������ 2 ������ (12.36)
������������������ = ������という������を用いて������ → ������������と変換
������ = ������������������������ ������������ + ������ 2 ������
������
9

11. 目的関数いろいろ、解き方もいろいろ。
• 目的関数
– 尤度最大化
– 情報量最大化
– 相互情報量最小化
– …
• 解き方
– 勾配法
– EMアルゴリズム
–…
10

12. 尤度最大化の例
線形変換の式
• 線形変換の式を利用して 1
������������ ������ = ������������ (������−1 ������)
det ������
������������ ������ = det ������ ������������ ������ = det ������ ������������ (������������ ) ここで ������ = ������−1
������
������������ ������ = det ������ ������������ (������������ ������)
������
������ = ������������
������ ������������ = ������
������の������個の観測値 ������ 1 , ������ 2 , … , ������(������)があるとすると〃尤度は
T個の点で評価でき〃Bの関数とみなせる
������(������) = det ������ ������������ (������������ ������(������))
������
������ ������
あとは尤度を取って勾配法で最適化
11

13. 参考文献
• ウェブ上にも参考資料は多い
• 一冊挙げるとすればコレ
12

14. おわり
13