Submit Search
Upload
1 3.分散分析 anova
•
23 likes
•
65,521 views
L
logics-of-blue
Follow
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 1-3分散分析(ANOVA) 分散分析の基礎
Read less
Read more
Technology
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 33
Recommended
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
1 2.t検定
1 2.t検定
logics-of-blue
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
因子分析
因子分析
Mitsuo Shimohata
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
Recommended
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
1 2.t検定
1 2.t検定
logics-of-blue
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
因子分析
因子分析
Mitsuo Shimohata
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
Masakazu Shinoda
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
SEMを用いた縦断データの解析 潜在曲線モデル
SEMを用いた縦断データの解析 潜在曲線モデル
Masaru Tokuoka
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)
Masaru Tokuoka
1 6.変数選択とAIC
1 6.変数選択とAIC
logics-of-blue
負の二項分布について
負の二項分布について
Hiroshi Shimizu
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
R Study Tokyo03
R Study Tokyo03
Yohei Sato
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
Kota Mori
あなたの心にBridgeSampling
あなたの心にBridgeSampling
daiki hojo
因果関係を時系列変化で分析
因果関係を時系列変化で分析
DaikiNagamine
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
非劣性試験の入門
非劣性試験の入門
Yasuyuki Okumura
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
ベイズ統計モデリングと心理学
ベイズ統計モデリングと心理学
Shushi Namba
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
1 8.交互作用
1 8.交互作用
logics-of-blue
More Related Content
What's hot
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
Masakazu Shinoda
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
SEMを用いた縦断データの解析 潜在曲線モデル
SEMを用いた縦断データの解析 潜在曲線モデル
Masaru Tokuoka
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)
Masaru Tokuoka
1 6.変数選択とAIC
1 6.変数選択とAIC
logics-of-blue
負の二項分布について
負の二項分布について
Hiroshi Shimizu
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
R Study Tokyo03
R Study Tokyo03
Yohei Sato
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
Kota Mori
あなたの心にBridgeSampling
あなたの心にBridgeSampling
daiki hojo
因果関係を時系列変化で分析
因果関係を時系列変化で分析
DaikiNagamine
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
非劣性試験の入門
非劣性試験の入門
Yasuyuki Okumura
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
ベイズ統計モデリングと心理学
ベイズ統計モデリングと心理学
Shushi Namba
What's hot
(20)
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
SEMを用いた縦断データの解析 潜在曲線モデル
SEMを用いた縦断データの解析 潜在曲線モデル
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)
1 6.変数選択とAIC
1 6.変数選択とAIC
負の二項分布について
負の二項分布について
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
R Study Tokyo03
R Study Tokyo03
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
あなたの心にBridgeSampling
あなたの心にBridgeSampling
因果関係を時系列変化で分析
因果関係を時系列変化で分析
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
非劣性試験の入門
非劣性試験の入門
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
ベイズ統計モデリングと心理学
ベイズ統計モデリングと心理学
Viewers also liked
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
1 8.交互作用
1 8.交互作用
logics-of-blue
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
logics-of-blue
2 1.予測と確率分布
2 1.予測と確率分布
logics-of-blue
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)
Social Survey Research Information Co., Ltd.
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法
Masaru Tokuoka
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
予測理論とpredictability
予測理論とpredictability
logics-of-blue
El naixement d'una llengua
El naixement d'una llengua
gerard vilanova
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについて
Hiroshi Shimizu
Viewers also liked
(11)
2 2.尤度と最尤法
2 2.尤度と最尤法
1 8.交互作用
1 8.交互作用
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
2 1.予測と確率分布
2 1.予測と確率分布
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法
ベイズファクターとモデル選択
ベイズファクターとモデル選択
予測理論とpredictability
予測理論とpredictability
El naixement d'una llengua
El naixement d'una llengua
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについて
1 3.分散分析 anova
1.
分散分析 ANOVA 1 1日目-第3講 名前:馬場真哉 所属:北大水産 修士課程2年 Webサイト:
logics of blue で検索
2.
2 正規線形モデルの理解のために 統計の基本とt検定 分散分析(ANOVA) 回帰分析と分散分析 PB検定と確率分布 モデル選択とAIC 出来れば Type II ANOVA、交互作用
3.
3 分散分析とは 分散分析(ANOVA) “選択肢”を変えることによって • 結果は“有意に”変化するといえるか? • 変化するとしたらどれくらい変わるか?
4.
4 “選択肢”を変えることによって • 結果は“有意に”変化するといえるか? • 変化するとしたらどれくらい変わるか? 分散分析の例 例) 薬A,
B, Cによって魚の体長は変わるか? 体長変化モデル|体長~薬 施策によって、売上高は変わるか? 売り上げ予測モデル|売上~施策
5.
5 今回の流れ 1.Rを用いて分散分析する →分散分析の予測のメカニズムの理解 2.統計モデルにおける検定方法の理解 3.Rを使って検定する
6.
6 実演
7.
7 分散分析モデル 施策によって、売上高は変わるか? 売り上げ予測モデル|売上~施策 →施策ごとに売り上げの期待値をとって予測 選択肢ごとの期待値を予測値とする統計モデル
8.
8 分散分析な検定 統計モデルにおける「検定」とは? 1.パラメタが0かどうかを検定 →t検定、Wald検定(明日) 2.予測値が変化するかを検定 →F検定、尤度比検定(明日)
9.
9 統計モデルな検定 予測 という言葉に敏感になってください 統計モデルをやる人は
10.
10 予測と検定 分散分析 選択肢ごとに予測値が有意に変わるかの検定 期待値が0と有意に異なるかのt検定 あるデータへの予測値は0とみなせるかの検定 検定は「予測」で表せる
11.
11 おまけ 予測値は選択肢ごとの期待値に等しい 分散分析 選択肢ごとに予測値が有意に変わるかの検定 期待値の差の検定と呼ばれることもある
12.
12 有意に予測値が変化すると言うための要件 予測値の変化が大きい 予測値が比較に使える(予測残差小) サンプルサイズが大きい 期待値の差が大きい 期待値が比較に使える(分散小さい) サンプルサイズが大きい t検定の場合
13.
13 有意に予測値が変化すると言うための要件 予測値の変化が大きい ナイーブな予測とどれだけ異なるか?
14.
14 ナイーブな予測 ナイーブな予測 予測値一定 → 予測値は総平均 二つの予測モデルの 予測の違いを検定している! 予測値変化モデル 選択肢毎に異なる
→ 予測値は個別の平均
15.
15 まとめ 分散分析 選択肢ごとの期待値を予測値とする統計モデル 選択肢ごとに予測値が有意に変わるかを検定 予測値の変化が大きい 予測値が比較に使える(予測残差小) サンプルサイズが大きい ナイーブ予測との比較ともみなせる 質問どうぞ!
16.
16 分散分析の計算方法 に分ける データ =平均 + 予測効果
+ 残差
17.
17 A B C 1
4 7 2 5 8 3 6 9 4 7 10 5 8 11 データの分割 予測値 3 6 9 総平均 6 予測効果 -3 0 +3 選択肢により 結果はどう “補正” されたか? データ =平均 + 予測効果 + 残差
18.
18 予測効果 A B C -3
0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 データの分割 データ =平均 + 予測効果 + 残差 Option:A →並み(6)を3下方修正 Option:B →並み(6)のまま Option:C →並み(6)を3上方修正
19.
19 予測残差 A B C -2
-2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 データ =平均 + 予測効果 + 残差 データの分割 残差 =データ - 平均 - 予測効果 =データ -予測値
20.
20 データ A B C 1
4 7 2 5 8 3 6 9 4 7 10 5 8 11 予測効果 A B C -3 0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 予測残差 A B C -2 -2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 総平均=6 データ=平均(6)+予測効果+誤差
21.
21 統計量 F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) • 予測効果が大きい(予測の変化が大きい) •
予測残差が小さい(予測結果を信用できる) F比が大きければ有意差あり
22.
22 統計量 F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) • 予測効果が大きい •
予測残差が小さい 大きさ=分散?
23.
23 3 4 5 4 1 7 分散 1 3 3 − 4
2 + 4 − 4 2 + 5 − 4 2 1 3 1 − 4 2 + 4 − 4 2 + 7 − 4 2 分散 = 2 3 = 18 3 = 6小 大 予測値の差が小さい 予測値の差が大きい Aの予測値Aの予測値 Bの予測値Bの予測値 Cの予測値Cの予測値
24.
24 3 4 5 4 1 7 差が小さい 差が大きい 分散と差の大きさ 分散が大きい 予測値のばらつきが大きい 予測値の変化が大きい
25.
25 統計量 サンプルサイズは「分散」 の計算の時に入ってくる F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) = 期待値の差の大きさ 分散 サンプルサイズ t値 参考 •
予測効果が大きい • 予測残差が小さい F比大なら有意
26.
26 ナイーブ予測との比較 ナイーブな予測 データ = 平均
+ 残差 予測値変化モデル データ = 平均 + 予測効果 + 残差 残差 = データ - 平均 残差 = データ - 平均 - 予測効果
27.
27 ナイーブ予測との比較 ナイーブな予測の残差 残差 = データ
- 平均 予測値変化モデルの残差 残差 = データ - 平均 - 予測効果 ナイーブな予測の残差 - 予測値変化モデルの残差 =予測効果
28.
28 統計量 = ナイーブ予測の予測残差 ー 予測値変化モデルの残差 予測値変化モデルの予測残差の大きさ F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) ナイーブ予測と比べて、 どれだけ予測残差が減ったのか? 分散分析とは 予測残差の比較である
29.
29 まとめ 分散分析 選択肢ごとの期待値を予測値とする統計モデル 選択肢ごとに予測値が有意に変わるかを検定 質問どうぞ! =ナイーブ予測と比べてどれだけ予測残差が減ったか F比 分散分析とは「予測残差の比較」である
30.
30 分散の計算方法 分散を計算するときに • Optionの数 • サンプルサイズの影響 を入れたい = 偏差平方和 自由度 分散= データ
− 期待値 2 の合計 自由度
31.
31 予測効果の分散 自由度 予測効果 A B
C -3 0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 数字は3種類しかない ↓ 予測効果の合計は0 ↓ A, B, C のうち一つ固定 3 - 1 = 2
32.
残差 A B C -2
-2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 32 予測効果の分散 自由度 数字はたくさん。 15データあるとみなしてよい。 ↓ 各列の予測誤差の合計は0 ↓ A, B, C の一つずつ固定 15 - 3 = 12
33.
33 実演