2015年日本生態学会関東地区会シンポジウム「非ガウス性／非線形性／非対称性からの因果推論手法：その使いどころ・原理・実装を学ぶ」

1. 非ガウス性を利用した
因果構造探索
清水昌平
大阪大学 産業科学研究所
2015年日本生態学会関東地区会シンポジウム
「非ガウス性／非線形性／非対称性からの因果推論手法：その使いどころ・原理・実装を学ぶ」
参考文献
https://sites.google.com/site/sshimizu06/home/lingampapers

2. Abstract
• 因果構造探索
– 介入のないデータから因果関係を推定
– 難しさ: 時間情報なし + 疑似相関
• 使いどころ
– 因果方向に関する仮説を評価したい
– 背景知識が乏しいので、仮説を探索したい
• 原理
– データの非ガウス性を利用(して独立性を評価)
• 実装
– 発展中 (TETRADなど)
2
変数1
変数3 変数４
変数２
因果グラフ

3. 使いどころ
仮説探索ツール

4. 使い方 その1:
因果方向に関する仮説を比較
• 抑うつ気分と睡眠障害 (Rosenström+, 2012)
• TV視聴時間と腹囲 (Helajärvi+2014)
• VAAAとPAAP (von Eye+2012)
4
抑うつ
気分
睡眠障害
抑うつ
気分
睡眠障害
?
or
どれ？
データ行列X
推定抑うつ気分
睡眠障害
人1, 人2, …, 人1689
疫学調査 抑うつ
気分
睡眠障害
or

5. 使い方 その2:
背景知識がない時に因果仮説を探索
• 2つの条件で違うのはどこ？(Mill-Finnerty+ 2014, NeuroImage)
• 因果仮説の構築支援
5
VMPFC DLPFC
Ant. Cing
Caudate Accumbens
Insula
VMPFC DLPFC
Ant. Cing
Caudate Accumbens
Insula
異なる条件で
異なる因果構造
Positive framing Negative framing
fMRI
脳活動計測

6. 使い方 その3:
背景知識がない時に因果仮説を探索
• 原因変数選択 (cf. Maathuis+10; Campomanes+14; Bottou+14)
• 「説明」変数を原因系, 結果系, 無関係に三分割
– lassoは原因と結果を区別しない
(疑似相関も区別しない)
6
変数11
ターゲット
変数
変数200
変数1
変数30 変数20
変数150
原因系
結果系
変数3
変数300
無関係

7. 適用事例が増えてきている
7
化学: Campomanes+14, J. Am. Chem. Soc.
経済学: Moneta+12, Oxford B Econ. Stat.
脳: Mills-Finnerty+14, NeuroImage
利益(t)
雇用(t)
売上(t)
R&D(t)
雇用(t+1)
売上(t+1)
R&D(t+1)
利益(t+1)
雇用(t+2)
売上(t+2)
R&D(t+2)
利益(t+2)
疫学: Rosenstrom+12, PLOS ONE
抑うつ気分 睡眠障害
抑うつ気分 睡眠障害
or
?
問題点も浮かび上がってきていて、方法論研究も増えている
他: 気象学(インドの降水量と植物の生育: Niyogi+10)、ソーシャルネットワーク(サイズ,Ballings+15)

8. 因果探索が何とかしたいこと
疑似相関

9. チョコレート消費量と
ノーベル賞受賞者数には正の相関
9
Chocolate Consumption, Cognitive Function, and Nobel Laureates
Franz H. Messerli, (2012), New England Journal of Medicine (Occasional Notes)
2002-2011チョコレートの消費量
ノ
ー
ベ
ル
賞
受
賞
者
の
数 相関係数: 0.791
P値 < 0.0001

10. チョコレートをたくさん食べさせれば
受賞者が増えるのか？(因果関係)
• No, 疑似相関かも (Maurage+2013, J. Nutrition)
10
チョコ 賞 ?チョコ 賞
or
GDP GDP
チョコ 賞
or
GDP
相関係数 0.791
P値 < 0.001
複数の因果関係が
そのような相関関係を与えるギャップ
チョコ
賞
潜在共通原因 潜在共通原因 潜在共通原因
(相関関係)

11. ギャップが埋まる場合はある？
11
「3つのうち, どれがよいか」データから言える場合はある？
チョコ 賞 ?チョコ 賞
or
GDP GDP
チョコ 賞
or
GDP
潜在共通原因 潜在共通原因 潜在共通原因
3つのモデルは, 相関係数は同じかも, しかし
それ以外に違うところがあるのでは？ 非ガウス構造に違い
どんな仮定が必要？
データ分布の情報をすべて利用

12. 因果探索のフレームワーク
チョコ 賞
GDP
潜在共通原因
 
 yy
xx
efxgy
efgx
,,
,


構造方程式モデル

13. 構造方程式モデル (SEM)
(Bollen, 1989; Pearl, 2000)
• データ生成過程を記述する道具
13
y x
f
 
 yy
xx
efxgy
efgx
,,
,


データ生成過程
1. どういう関数で決まるか
ey ex
式で
2. 外生変数はどういう分布か
ex,ey, f の分布
y
x
観測変数の分布
構造方程式モデル
 yxp ,
分
布
決
ま
る

14. 反実仮想モデルに基づく因果
(Neyman, 1923; Rubin, 1974)
• 患者集団(ゼウス、ヘラ、アテナ、アポロン...たくさん)
– 「もしも全員に薬を飲ませた場合の治癒する割合」
≠「もしも全員に飲ませなかった場合の治癒する割合」
⇒「この集団において、投薬は治癒の原因」
• 薬を飲ませるという介入をdo記号で: do(薬=飲む)
3日後
薬
治癒の
割合
治癒の
割合
なし
?
患者集団
14

15. 因果効果(介入効果)
(Rubin, 1974; Pearl, 2000)
• xの値をcからdに(外的に)変化させた時に、
yの値が平均的にどのくらい変化するか
15
y x
f
ey ex
     cxdoyEdxdoyE  ||:)( 因果効果平均
 cd  - 線形の場合
yy
xx
efxy
efx




xy
b
b b
注: yをxに回帰しても, 回帰係数 ≠ b
（潜在共通原因fを無視してはだめ)

16. の計算
16
y x
f
ey ex yy
xx
efxy
efx




xy
b b
y x
f
ey yy efxy
x



y
b b
 cxdo xの値を強制的にcにする
c
c
  cxdoyE |下のモデルでの E(y) が
  cxdoyE |

17. 逆に、yを変化させたら？
17
y x
f
ex
     cydoxEdydoxE  ||:)( 因果効果平均



y
efx xxx
0
c
注: yをxに回帰しても, 回帰係数 ≠ 0
（潜在共通原因fを無視してはだめ)
相関に基づいて因果を定義しちゃだめ
c

18. 因果探索の基本問題
18
潜在共通原因 ｆ 潜在共通原因ｆ 潜在共通原因f
 
 yy
xx
efgy
efygx
,
,,

  
 yy
xx
efxgy
efgx
,,
,

  
 yy
xx
efgy
efgx
,
,


データ行列
x
y
~i.i.d. p x, y( )
obs.1
仮定: どれかが
データを生成
問題: どれが生成
したかを推定
obs.nobs.2 …
y x
f
y x
f
y x
f
ey ex ey ex ey ex
ex,ey, f の分布ex,ey, f の分布 ex,ey, f の分布
構
造
方
程
式
モ
デ
ル
構
造
方
程
式
モ
デ
ル
構
造
方
程
式
モ
デ
ル

19. 因果探索: 3つのアプローチ
1. ノンパラ
– 関数形にも分布にも仮定おかず  どれかわからない
2. パラメトリック
– 線形＋ガウス分布  どれかわからない
3. セミパラ
– 線形+非ガウス分布  どれかわかる
19
潜在共通原因ｆ 潜在共通原因ｆ 潜在共通原因f
 
 yy
xx
efgy
efygx
,
,,

  
 yy
xx
efxgy
efgx
,,
,

  
 yy
xx
efgy
efgx
,
,


y x
f
y x
f
y x
f
ey ex ey ex ey ex
ex,ey, f の分布ex,ey, f の分布 ex,ey, f の分布
構
造
方
程
式
モ
デ
ル
構
造
方
程
式
モ
デ
ル
構
造
方
程
式
モ
デ
ル

20. 1. 時間情報がないときに因果方向を推定
2. 潜在共通原因への対処
20
Major challenges
x1 x2
?x1 x2
or
x1 x2
?x1 x2 or
f1 f1

21. 因果方向推定の原理
潜在共通原因が「ない」場合を例に

22. 潜在共通原因は「ない」
• GDPは、潜在共通原因でない(他にもない):
• 観測して分析に含める
22
チョコ 賞
GDP
チョコ 賞
GDP
チョコ 賞
GDP
チョコ 賞
GDP

23. • 2つのモデルを比較(因果方向が反対):
– x1とx2どちらが先に生成されたか知らない
• モデル1と2が識別可能な条件 (Dodge+00; Shimizu+2006)
– e1 or e2が非ガウス
– e1 と e2が独立 (潜在共通原因なし)
と は外生(誤差)変数(連続)
2変数の場合
23
or
21212
11
exbx
ex


22
12121
ex
exbx


モデル1: モデル2:
x1 x2
e1 e2
1e 2e
x1 x2
e1 e2

24. 識別可能: 方向が違えば分布が違う
𝑒1, 𝑒2がガウス 𝑒1, 𝑒2が非ガウス
(一様分布)
モデル1:
モデル2:
x1
x2
x1
x2
e1
e2
x1
x2
e1
e2
x1
x2
x1
x2
x1
x2
212
11
8.0 exx
ex


22
121 8.0
ex
exx


    1varvar 21  xx
    ,021  eEeE
24
相関係数は
どれも0.8

25. 非ガウス性が、推定にどう役立つか？
25
21212
11
exbx
ex


モデル 1:
x1
x2
e1
e2
真
結果x2を原因x1に回帰 原因x1を結果x2に回帰
2
1212
1
1
12
2
)1(
2
)var(
),cov(
e
xbx
x
x
xx
xr



は独立と )1(
211 )( rex 
残差
 
)var(
var
)var(
),cov(
1
)var(
),cov(
2
121
1
2
2121
2
2
21
1
)2(
1
x
xb
e
x
xxb
x
x
xx
xr









はと )2(
121212 )( reebx 
2e
従属
021 b
ガウスだと
無相関＝独立

26. 独立と無相関
• 変数xとyが「独立」:
• xとyが「無相関」:
• 「独立」の方が強い条件: 制約がたくさん
• 相互情報量(の近似)で独立性を評価
– Hyvarinen97; Bach+02; Gretton+05; Kraskov+04
      0 yExExyE
           0 ygExfEygxfE
任意の有界な関数fとgについて
26

27. • Linear Non-Gaussian Acyclic Model (LiNGAM)
(Shimizu, Hoyer, Hyvarinen, & Kerminen, 2006)
• データXから因果方向, 係数が識別可能
• PCで数百変数はokな推定アルゴリズムあり
多変数でも
27
i
ij
jiji exbx  
x1 x2
x3
21b
23b13b
2e
3e
1e
- 非巡回
- 非ガウス外生変数(誤差) ei
- ei は互いに独立
(潜在共通原因なし)
eBxx or

28. 拡張モデル

29. 時系列
(Hyvarinen, Zhang, Shimizu & Hoyer, 2010)
• LiNGAM+自己回帰モデル
– 測定間隔に比して
• 速い影響：LiNGAM
• 遅い影響：自己回帰モデル
– 構造型ベクトル自己回帰モデル
(Swanson & Granger, 1997)
– 組み合わせは変えてよい
• LiNGAM  巡回LiNGAM
)()()(
0
ttt
k
exBx  
 
x1(t)x1(t-1)
x2(t-1) x2(t)
e1(t-1)
e2(t-1)
e1(t)
e2(t)
29

30. 時系列モデルの識別
• x(t)について解く (自己回帰モデルに変形)
• Innovation vector n(t)
30
)()()(
0
ttt
k
exBx  
 

)(
1
0
1
1
0 )()()()()(
t
k
ttt
nM
eBIxBBIx 


 
 

)()()( 0 tt enBI 
)()()( 0 ttt enBn 
LiNGAMモデル

31. 時系列モデルの推定の例
• 2段階推定 (Hyvarinen+2010)
1. ベクトル自己回帰
2. ベクトル自己回帰の残差にLiNGAM
• パス係数行列B と自己回帰行列Mの関係
31
)()()(
0
ttt
k
exBx  
 
  0for0   MBIB  自己回帰行列:M

32. 巡回モデル
(Lacerda et al., 2008; Hyvarinen & Smith, 2013)
• ループありのモデル:
• 識別性の十分条件
– Bの固有値の絶対値が１より小さい(平衡状態にある)
– ループが交わらない
– 自己ループなし
x1
x2
e1
e2
x5 e5
x4e4
x3e3
32
i
ij
jiji exbx  

33. • 「非線形＋加法の外生変数」のモデル
• いくつかの非線形性と外生変数の分布を除いて識別
可能 (Zhang & Hyvarinen, 2009; Peters et al., 2014)
• Open problem: どこまで緩められるか?
セミパラ ほかの例
 
 
  iiiii
iiii
i
x
kki
exffx
exfx
exfx
i





の親
の親
の親
1,
1
2,
-- Hoyer et al. (2008)
-- Zhang et al. (2009)
1.
2.
33
3.
-- Imoto et al. (2002)

34. 適用例
潜在共通原因は「ない」と仮定
(とりあえず無視)

35. 経済学
35
Moneta+12, Oxford Bulletin of Economics and Statistics
利益(t)
雇用(t)
売上(t)
R&D(t)
雇用(t+1)
売上(t+1)
R&D(t+1)
利益(t+1)
雇用(t+2)
売上(t+2)
R&D(t+2)
利益(t+2)
)()()(
0
ttt
k
exBx  
 AR+LiNGAM:
Growth rate = log( x(t) ) – log ( x(t-1) ) を解析

36. Moneta+12; Brenner+15
における検討項目
• 非ガウスかの検定
– 観測変数＋外生変数のガウス性検定
• 外生変数(誤差)間の独立性評価
– 当てはまりが悪い -> 棄却 …
• 係数の有意性検定 (因果構造は固定)
• 因果構造が安定しているかの確認
– ブートストラップ
36

37. 神経科学: 異なる条件で比べる
• fMRIデータから脳内因果ネットワーク
37
Mills-Finnerty+14,
NeuroImage
Liu+15,
J. Affective Disorders
異なる実験条件 双極性うつ患者 単極性うつ患者

38. 異なる条件で比べる
• 因果グラフが正しいかというより、
同じか違うか(Glymour+15, British Journal for the
Philosophy of Science)
38

39. ガウスと非ガウスが混在
• PCアルゴリズム(or GES)+LiNGAM
– Hoyer+08UAI; Ramsey+11NeuroImage
39
○は誤差項がガウス □が誤差項が非ガウス
真 PC +LiNGAM

40. 実装例
著者がたいがいcode公開(再現性)
しかし、使いやすいさは重視されていない
そんな中

41. ソフトウェア: TETRAD
41
http://www.phil.cmu.edu/tetrad/
LiNGAM系

42. ソフトウェア
• Center for Causal Discovery
– Univ. Pittsburgh + CMU (2014年9月より)
• 方法論研究と実質科学研究のループ
– Brain, Cancer, Lung: Big dataから因果知識
• ソフトウェア公開
– TETRAD+α
• 参考: LiNGAM code
– sites.google.com/site/sshimizu06/lingam
42
https://www.ccd.pitt.edu/

43. 時系列モデル用プログラム
• 「非ガウス」構造型ベクトル自己回帰モデル
– R codes by Doris Entner
• Moneta+12の分析を再現できる
– https://sites.google.com/site/dorisentner/publications/VARLiNGAM
– Matlab codes by Luca Faes
• http://www.science.unitn.it/biophysicslab/research/sigpro/eMVAR.html
43
経済学: Moneta+12, Oxford B Econ. Stat.
利益(t)
雇用(t)
売上(t)
R&D(t)
雇用(t+1)
売上(t+1)
R&D(t+1)
利益(t+1)
雇用(t+2)
売上(t+2)
R&D(t+2)
利益(t+2)
)()()(
0
ttt
k
exBx  
 

44. 潜在共通原因がある場合

45. • 潜在共通原因 を追加 (非ガウス)
i
ij
jij
Q
q
qiqii exbfx   1

潜在共通原因がある場合の
LiNGAMモデル (Hoyer, Shimizu+, 2008)
45
ただし は独立),,1( Qqfq 
qf
x1 x2 2e1e
1f 2f
2121
1
222
1
1
111
exbfx
efx
Q
q
qq
Q
q
qq








11 22
切片

46. 独立としても一般性を失わない
(全体が線形非巡回なら)
独立な潜在共通原因
i
ij
jij
Q
q
qiqii exbfx   1

46
x1 x2 2e1e
1f
e 2f
e
x1 x2 2e1e
1
:1 f
ef 2
:2 f
ef
1f 2f
従属な潜在共通原因






























2
1
2221
11
2221
11
2
1
00
2
1
f
f
aa
a
e
e
aa
a
f
f
f
f

47. 潜在共通原因を陽にモデリング
するアプローチ
推定アプローチ その1

48. 識別可能: 方向が違えば分布が違う
• Hoyer, Shimizu, Kerminen and Palviainen (2008)
• 忠実性＋潜在共通原因の数Qが既知
48
x1 x2
f1
x1 x2
or
fQ f1 fQ
… …
2e1e2e1e
2121
1
222
1
1
111
exbfx
efx
Q
q
qq
Q
q
qq








2
1
222
1212
1
111
efx
exbfx
Q
q
qq
Q
q
qq








1x1x
2x2x

49. 潜在共通原因を陽にモデリング
• モデル選択
– 最尤推定 or ベイズ推定 (Hoyer+, 2008; Henao & Winther,
2011)
• 外生変数eの分布：混合ガウスなど
– 係数の事前分布にスパースな分布
– 潜在共通原因の数を特定する必要 – 大変
49
x1 x2
f1 fQ
…
2e1e2121
1
222
1
1
111
exbfx
efx
Q
q
qq
Q
q
qq









50. 潜在共通原因を陽にモデリング
しないアプローチ
S. Shimizu and K. Bollen.
Journal of Machine Learning Research,
15: 2629-2652, 2014.
推定アプローチ その２

51. )(
2
m

観測は, 切片 が異なるかもしれない
LiNGAMモデルから生成される
)(
22
m
 
)1(
1x )1(
2x
)(
2
m
x
)1(
1x
)(
2
)(
121
1
)(
22
)(
2
mm
Q
q
m
qq
m
exbfx  

Key idea (1/2)
• 潜在共通原因ありのLiNGAMの別の見方:
51
x1 x2
f1 fQ…
2e1e
)1(
2e)1(
1e
)(
2
m
e)(
1
m
e
……
21b
21b
21b
)(
22
m
 
)1(
22  
m-番目の観測:

52. Key idea (2/2)
• 潜在共通原因の和を, 観測固有の切片として
モデル化:
• 潜在共通原因を陽にモデリングしない
– 潜在共通原因の数Qも係数 も推定不要
52
)(
2
m

)(
2
)(
121
1
)(
22
)(
2
mm
Q
q
m
qq
m
exbfx  
m-番目の観測:
q2
観測固有の切片
線形の場合は, 潜在共通原因fqの影響が
切片の違いとして現れる

53. • 因果方向の異なるモデルを周辺尤度で比較:
• 追加パラメータたくさん
– 混合モデル(やマルチレベルモデル)と同様
• 観測固有の切片 に事前分布 (informative)
• 他パラメータ not very informative: 分散の大きいガウス
• p(e1), p(e2): e.g., ラプラス, 混合ガウス etc.
)()(
121
)(
22
)(
2
)(
1
)(
11
)(
1
m
i
mmm
mmm
exbx
ex




ベイズでモデル選択
53
),,1;2,1()(
nmim
i 
)(m
i
Model 3 (x1  x2)
)(
2
)(
22
)(
2
)(
1
)(
212
)(
11
)(
1
mmm
mmmm
ex
exbx




Model 4 (x1  x2)

54. 観測固有の切片の事前分布の一例
• 動機: 中心極限定理
– よりたくさんの独立な変数の和は, よりガウスに
• ベル型の分布で近似: ガウスやt分布
• ハイパーパラメータも周辺尤度で選択: 経験ベイズ
–
• 小さい : 切片が似てる
54
 

Q
q
m
qq
m
Q
q
m
qq
m
ff
1
)(
2
)(
2
1
)(
1
)(
1 , 
~)(
2
)(
1






m
m


ガウス分布 (標準偏差 , 相関 )1221,
)},(sd0.1,),(sd2.0,0{ lll xx   }9.0,,1.0,0{12  
21,

55. まとめ

56. 非ガウス性を利用した
因果構造探索
• 因果仮説探索ツール
• 関数形に制約を入れてみる
– 因果方向推定＋疑似相関に対処
• 実装：発展中 (TETRADなど)
• 今が「チャンス」？
– 方法論の論文：120~140件 (「ふつうの」離散まだ)
– 応用論文: 30~40件
56