SlideShare a Scribd company logo
1 of 33
分散分析 ANOVA
1
1日目-第3講
名前:馬場真哉
所属:北大水産 修士課程2年
Webサイト: logics of blue で検索
2
正規線形モデルの理解のために
統計の基本とt検定
分散分析(ANOVA)
回帰分析と分散分析
PB検定と確率分布
モデル選択とAIC
出来れば
Type II ANOVA、交互作用
3
分散分析とは
分散分析(ANOVA)
“選択肢”を変えることによって
• 結果は“有意に”変化するといえるか?
• 変化するとしたらどれくらい変わるか?
4
“選択肢”を変えることによって
• 結果は“有意に”変化するといえるか?
• 変化するとしたらどれくらい変わるか?
分散分析の例
例)
薬A, B, Cによって魚の体長は変わるか?
体長変化モデル|体長~薬
施策によって、売上高は変わるか?
売り上げ予測モデル|売上~施策
5
今回の流れ
1.Rを用いて分散分析する
→分散分析の予測のメカニズムの理解
2.統計モデルにおける検定方法の理解
3.Rを使って検定する
6
実演
7
分散分析モデル
施策によって、売上高は変わるか?
売り上げ予測モデル|売上~施策
→施策ごとに売り上げの期待値をとって予測
選択肢ごとの期待値を予測値とする統計モデル
8
分散分析な検定
統計モデルにおける「検定」とは?
1.パラメタが0かどうかを検定
→t検定、Wald検定(明日)
2.予測値が変化するかを検定
→F検定、尤度比検定(明日)
9
統計モデルな検定
予測
という言葉に敏感になってください
統計モデルをやる人は
10
予測と検定
分散分析
選択肢ごとに予測値が有意に変わるかの検定
期待値が0と有意に異なるかのt検定
あるデータへの予測値は0とみなせるかの検定
検定は「予測」で表せる
11
おまけ
予測値は選択肢ごとの期待値に等しい
分散分析
選択肢ごとに予測値が有意に変わるかの検定
期待値の差の検定と呼ばれることもある
12
有意に予測値が変化すると言うための要件
予測値の変化が大きい
予測値が比較に使える(予測残差小)
サンプルサイズが大きい
期待値の差が大きい
期待値が比較に使える(分散小さい)
サンプルサイズが大きい
t検定の場合
13
有意に予測値が変化すると言うための要件
予測値の変化が大きい
ナイーブな予測とどれだけ異なるか?
14
ナイーブな予測
ナイーブな予測
予測値一定 → 予測値は総平均
二つの予測モデルの
予測の違いを検定している!
予測値変化モデル
選択肢毎に異なる → 予測値は個別の平均
15
まとめ
分散分析
選択肢ごとの期待値を予測値とする統計モデル
選択肢ごとに予測値が有意に変わるかを検定
予測値の変化が大きい
予測値が比較に使える(予測残差小)
サンプルサイズが大きい
ナイーブ予測との比較ともみなせる
質問どうぞ!
16
分散分析の計算方法
に分ける
データ
=平均 + 予測効果 + 残差
17
A B C
1 4 7
2 5 8
3 6 9
4 7 10
5 8 11
データの分割
予測値 3 6 9
総平均 6
予測効果 -3 0 +3
選択肢により
結果はどう “補正”
されたか?
データ
=平均 + 予測効果 + 残差
18
予測効果
A B C
-3 0 3
-3 0 3
-3 0 3
-3 0 3
-3 0 3
データの分割
データ
=平均 + 予測効果 + 残差
Option:A
→並み(6)を3下方修正
Option:B
→並み(6)のまま
Option:C
→並み(6)を3上方修正
19
予測残差
A B C
-2 -2 -2
-1 -1 -1
0 0 0
1 1 1
2 2 2
データ
=平均 + 予測効果 + 残差
データの分割
残差
=データ - 平均 - 予測効果
=データ -予測値
20
データ
A B C
1 4 7
2 5 8
3 6 9
4 7 10
5 8 11
予測効果
A B C
-3 0 3
-3 0 3
-3 0 3
-3 0 3
-3 0 3
予測残差
A B C
-2 -2 -2
-1 -1 -1
0 0 0
1 1 1
2 2 2
総平均=6
データ=平均(6)+予測効果+誤差
21
統計量
F比 =
予測効果の大きさ(分散)
予測残差の大きさ(分散)
• 予測効果が大きい(予測の変化が大きい)
• 予測残差が小さい(予測結果を信用できる)
F比が大きければ有意差あり
22
統計量
F比 =
予測効果の大きさ(分散)
予測残差の大きさ(分散)
• 予測効果が大きい
• 予測残差が小さい
大きさ=分散?
23
3
4
5
4
1
7
分散
1
3
3 − 4 2
+ 4 − 4 2
+ 5 − 4 2
1
3
1 − 4 2
+ 4 − 4 2
+ 7 − 4 2
分散
=
2
3
=
18
3
= 6小 大
予測値の差が小さい 予測値の差が大きい
Aの予測値Aの予測値
Bの予測値Bの予測値
Cの予測値Cの予測値
24
3
4
5
4
1
7
差が小さい 差が大きい
分散と差の大きさ
分散が大きい
予測値のばらつきが大きい
予測値の変化が大きい
25
統計量 サンプルサイズは「分散」
の計算の時に入ってくる
F比 =
予測効果の大きさ(分散)
予測残差の大きさ(分散)
=
期待値の差の大きさ
分散
サンプルサイズ
t値
参考
• 予測効果が大きい
• 予測残差が小さい F比大なら有意
26
ナイーブ予測との比較
ナイーブな予測
データ = 平均 + 残差
予測値変化モデル
データ = 平均 + 予測効果 + 残差
残差 = データ - 平均
残差 = データ - 平均 - 予測効果
27
ナイーブ予測との比較
ナイーブな予測の残差
残差 = データ - 平均
予測値変化モデルの残差
残差 = データ - 平均 - 予測効果
ナイーブな予測の残差 - 予測値変化モデルの残差
=予測効果
28
統計量
=
ナイーブ予測の予測残差 ー 予測値変化モデルの残差
予測値変化モデルの予測残差の大きさ
F比
=
予測効果の大きさ(分散)
予測残差の大きさ(分散)
ナイーブ予測と比べて、
どれだけ予測残差が減ったのか?
分散分析とは
予測残差の比較である
29
まとめ
分散分析
選択肢ごとの期待値を予測値とする統計モデル
選択肢ごとに予測値が有意に変わるかを検定
質問どうぞ!
=ナイーブ予測と比べてどれだけ予測残差が減ったか
F比
分散分析とは「予測残差の比較」である
30
分散の計算方法
分散を計算するときに
• Optionの数
• サンプルサイズの影響
を入れたい
=
偏差平方和
自由度
分散=
データ − 期待値 2
の合計
自由度
31
予測効果の分散 自由度
予測効果
A B C
-3 0 3
-3 0 3
-3 0 3
-3 0 3
-3 0 3
数字は3種類しかない
↓
予測効果の合計は0
↓
A, B, C のうち一つ固定
3 - 1 = 2
残差
A B C
-2 -2 -2
-1 -1 -1
0 0 0
1 1 1
2 2 2
32
予測効果の分散 自由度
数字はたくさん。
15データあるとみなしてよい。
↓
各列の予測誤差の合計は0
↓
A, B, C の一つずつ固定
15 - 3 = 12
33
実演

More Related Content

What's hot

2 4.devianceと尤度比検定
2 4.devianceと尤度比検定2 4.devianceと尤度比検定
2 4.devianceと尤度比検定logics-of-blue
 
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)Masakazu Shinoda
 
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門Yu Tamura
 
SEMを用いた縦断データの解析 潜在曲線モデル
SEMを用いた縦断データの解析 潜在曲線モデルSEMを用いた縦断データの解析 潜在曲線モデル
SEMを用いた縦断データの解析 潜在曲線モデルMasaru Tokuoka
 
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)Masaru Tokuoka
 
1 6.変数選択とAIC
1 6.変数選択とAIC1 6.変数選択とAIC
1 6.変数選択とAIClogics-of-blue
 
負の二項分布について
負の二項分布について負の二項分布について
負の二項分布についてHiroshi Shimizu
 
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰logics-of-blue
 
R Study Tokyo03
R Study Tokyo03R Study Tokyo03
R Study Tokyo03Yohei Sato
 
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」Takashi J OZAKI
 
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章Shuyo Nakatani
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)Kota Mori
 
あなたの心にBridgeSampling
あなたの心にBridgeSamplingあなたの心にBridgeSampling
あなたの心にBridgeSamplingdaiki hojo
 
因果関係を時系列変化で分析
因果関係を時系列変化で分析因果関係を時系列変化で分析
因果関係を時系列変化で分析DaikiNagamine
 
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布パターン認識 04 混合正規分布
パターン認識 04 混合正規分布sleipnir002
 
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー階層ベイズと自由エネルギー
階層ベイズと自由エネルギーHiroshi Shimizu
 
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデルlogics-of-blue
 
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38horihorio
 
ベイズ統計モデリングと心理学
ベイズ統計モデリングと心理学ベイズ統計モデリングと心理学
ベイズ統計モデリングと心理学Shushi Namba
 

What's hot (20)

2 4.devianceと尤度比検定
2 4.devianceと尤度比検定2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
 
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
 
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
 
SEMを用いた縦断データの解析 潜在曲線モデル
SEMを用いた縦断データの解析 潜在曲線モデルSEMを用いた縦断データの解析 潜在曲線モデル
SEMを用いた縦断データの解析 潜在曲線モデル
 
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)
 
1 6.変数選択とAIC
1 6.変数選択とAIC1 6.変数選択とAIC
1 6.変数選択とAIC
 
負の二項分布について
負の二項分布について負の二項分布について
負の二項分布について
 
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
 
R Study Tokyo03
R Study Tokyo03R Study Tokyo03
R Study Tokyo03
 
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
 
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
 
あなたの心にBridgeSampling
あなたの心にBridgeSamplingあなたの心にBridgeSampling
あなたの心にBridgeSampling
 
因果関係を時系列変化で分析
因果関係を時系列変化で分析因果関係を時系列変化で分析
因果関係を時系列変化で分析
 
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
 
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
 
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
 
非劣性試験の入門
非劣性試験の入門非劣性試験の入門
非劣性試験の入門
 
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
 
ベイズ統計モデリングと心理学
ベイズ統計モデリングと心理学ベイズ統計モデリングと心理学
ベイズ統計モデリングと心理学
 

Viewers also liked

2 2.尤度と最尤法
2 2.尤度と最尤法2 2.尤度と最尤法
2 2.尤度と最尤法logics-of-blue
 
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化logics-of-blue
 
2 1.予測と確率分布
2 1.予測と確率分布2 1.予測と確率分布
2 1.予測と確率分布logics-of-blue
 
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデルlogics-of-blue
 
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法Masaru Tokuoka
 
ベイズファクターとモデル選択
ベイズファクターとモデル選択ベイズファクターとモデル選択
ベイズファクターとモデル選択kazutantan
 
予測理論とpredictability
予測理論とpredictability予測理論とpredictability
予測理論とpredictabilitylogics-of-blue
 
El naixement d'una llengua
El naixement d'una llenguaEl naixement d'una llengua
El naixement d'una llenguagerard vilanova
 
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについてエクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについてHiroshi Shimizu
 

Viewers also liked (11)

2 2.尤度と最尤法
2 2.尤度と最尤法2 2.尤度と最尤法
2 2.尤度と最尤法
 
1 8.交互作用
1 8.交互作用1 8.交互作用
1 8.交互作用
 
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
 
2 1.予測と確率分布
2 1.予測と確率分布2 1.予測と確率分布
2 1.予測と確率分布
 
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
 
エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)
 
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法
 
ベイズファクターとモデル選択
ベイズファクターとモデル選択ベイズファクターとモデル選択
ベイズファクターとモデル選択
 
予測理論とpredictability
予測理論とpredictability予測理論とpredictability
予測理論とpredictability
 
El naixement d'una llengua
El naixement d'una llenguaEl naixement d'una llengua
El naixement d'una llengua
 
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについてエクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについて
 

1 3.分散分析 anova