Suche senden
Hochladen
MICの解説
•
68 gefällt mir
•
53,011 views
L
logics-of-blue
Folgen
だいぶ前に大学で発表したMICの解説スライドです。 サイト作ってます。 http://logics-of-blue.com/
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 49
Empfohlen
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
最適輸送入門
最適輸送入門
joisino
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
Classi.corp
最適輸送の解き方
最適輸送の解き方
joisino
Empfohlen
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
社会心理学者のための時系列分析入門_小森
社会心理学者のための時系列分析入門_小森
Masashi Komori
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
最適輸送入門
最適輸送入門
joisino
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
Classi.corp
最適輸送の解き方
最適輸送の解き方
joisino
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
潜在クラス分析
潜在クラス分析
Yoshitake Takebayashi
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
shima o
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
ロジスティック回帰分析の書き方
ロジスティック回帰分析の書き方
Sayuri Shimizu
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
因果推論の奥へ: "What works" meets "why it works"
因果推論の奥へ: "What works" meets "why it works"
takehikoihayashi
4 データ間の距離と類似度
4 データ間の距離と類似度
Seiichi Uchida
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
予測理論とpredictability
予測理論とpredictability
logics-of-blue
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
Weitere ähnliche Inhalte
Was ist angesagt?
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
Masatoshi Yoshida
潜在クラス分析
潜在クラス分析
Yoshitake Takebayashi
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
shima o
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
ロジスティック回帰分析の書き方
ロジスティック回帰分析の書き方
Sayuri Shimizu
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
因果推論の奥へ: "What works" meets "why it works"
因果推論の奥へ: "What works" meets "why it works"
takehikoihayashi
4 データ間の距離と類似度
4 データ間の距離と類似度
Seiichi Uchida
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
Was ist angesagt?
(20)
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
グラフィカルモデル入門
グラフィカルモデル入門
よくわかるフリストンの自由エネルギー原理
よくわかるフリストンの自由エネルギー原理
潜在クラス分析
潜在クラス分析
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
ロジスティック回帰分析の書き方
ロジスティック回帰分析の書き方
深層生成モデルと世界モデル
深層生成モデルと世界モデル
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
因果推論の奥へ: "What works" meets "why it works"
因果推論の奥へ: "What works" meets "why it works"
4 データ間の距離と類似度
4 データ間の距離と類似度
ベイズ統計入門
ベイズ統計入門
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
不均衡データのクラス分類
不均衡データのクラス分類
Mehr von logics-of-blue
予測理論とpredictability
予測理論とpredictability
logics-of-blue
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
logics-of-blue
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
2 1.予測と確率分布
2 1.予測と確率分布
logics-of-blue
1 8.交互作用
1 8.交互作用
logics-of-blue
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
1 6.変数選択とAIC
1 6.変数選択とAIC
logics-of-blue
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
1 3.分散分析 anova
1 3.分散分析 anova
logics-of-blue
1 2.t検定
1 2.t検定
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
Mehr von logics-of-blue
(17)
予測理論とpredictability
予測理論とpredictability
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
2 3.GLMの基礎
2 3.GLMの基礎
2 2.尤度と最尤法
2 2.尤度と最尤法
2 1.予測と確率分布
2 1.予測と確率分布
1 8.交互作用
1 8.交互作用
1 7.Type II ANOVA
1 7.Type II ANOVA
1 6.変数選択とAIC
1 6.変数選択とAIC
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
1 3.分散分析 anova
1 3.分散分析 anova
1 2.t検定
1 2.t検定
1 1.はじめに
1 1.はじめに
Kürzlich hochgeladen
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Kürzlich hochgeladen
(12)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
MICの解説
1.
あたらしい相関係数 “MIC”の解説 名前:馬場真哉 Webサイト: logics of
blue で検索! http://logics-of-blue.com/ 1
2.
Caution! 私の主観的な見方で読み解いたものです 正確な表現ではないかもしれません 「分かり易さ」を最重視しました。 2
3.
参考にした論文 Detecting Novel Associations
in Large Data Sets Reshef, David N., et al. science 334.6062 (2011): 1518-1524. 3
4.
どんな論文? 相関係数の論文です 相関なし 相関あり 4
5.
地味な研究に見えますか? 実はとってもすごい相関係数の論文です! どこがすごいの・・・? 5
6.
①Scienceに載った 6
7.
②Scienceに推薦論文が載った 7
8.
③たくさん引用された 4.3 日 回 被引用件数132(byGoogle,2013年7月2日時点) 発表されてから570日経過(2013年7月8日現在) 8
9.
相関係数の一体何がすごいの? Big Data の台頭 (論文の中ではLarge Data
Setsと記載) 9
10.
データの構造はグラフで分かる? 変数 組み合わせ 10 個 100 45通り 4950 個 1000 個 通り 499500 通り 10
11.
2変数間の関係性の指標を提示します MIC (Maximum Information Coefficient) 11
12.
発表の順序 ① MICって何? ② MICで計測 ③実データで
MIC 12
13.
13
14.
MICでできること • 関係性の有無の検出 𝑅 2
とよく似た値 検定可能 • 散布図の形状が(大体)わかる MASなど別の指標も利用 14
15.
MICの考え方:相関があるとは? X X 相関なし 相関あり 15
16.
MICの考え方:相関があるとは? X X 相関なし 相関あり 16
17.
MICの哲学 もしも2つの変数間に相関があるなら データを要約するように データを分割するグリッドを引ける 17
18.
マス目関係なし 全てのマスのうち 7マスにしかデータがない 相関なし 相関あり 18
19.
マス目に合わせているかどうかの判別 MI を使用 Mutual Information
: 相互情報量 𝑰 𝑿; 𝒀 = 𝒑 𝒙, 𝒚 𝒑 𝒙, 𝒚 𝒍𝒐𝒈 𝒑 𝒙 𝒑 𝒚 19
20.
マス目に合わせているかどうかの判別 MI を使用 Mutual Information
: 相互情報量 不確実性の減少量 不確実性とは? 20
21.
どこの箱にデータが入っている? 左 真 右 不確実性 ① 大 ② 中 ③ 小 21
22.
ⅩによってYの不確実性は減少したか? 左 真 右 ? ? ? MI低 X 左 真 右 下 上 中 X MI高 22
23.
MI低 左 真 MI高 右 X 左 真 右 X マス目関係なし マス目に収まった! 相関なし 相関あり 23
24.
今までのまとめ~相関が得られるまで~ マス目 データを要約する マス目が引けたか 判別する MI 24
25.
MICの哲学 もしも2つの変数間に相関があるなら データを要約するように データを分割できるグリッドを引ける どうやって線を引く? 最大情報量規準 25
26.
ダメな分け方 左 右 ? 良い分け方 ? X 情報量増えてない 左 右 ? 下 X ちょっとわかった! 26
27.
Reshef et al(2011)
より転載 27
28.
線を増やしても 意味がない Reshef et al(2011)
より転載して一部改編 28
29.
おまけ • 線はサンプルサイズの0.6乗まで増やす • 線を増やしてもMIが増えるとは限らない •
MIは最大値が1になるよう標準化 29
30.
結果 Reshef et al(2011)
より転載して一部改編
31.
MICの特徴 • 0~1の間に収まる 𝑅2 とよく似た値 • 完全な関数形なら必ず1 • 検定できる(シミュレーションの利用) • X~YもY~Xも同じ値になる(対称) 31
32.
MICの分類 MINE の一種 Maximum Information-based
Nonparametric exploration 情報量最大化ベースのノンパラメトリックな探究 MINEの仲間たち MIC ・ MAS ・ MIC − 𝝆 𝟐 32
33.
散布図の「形」を見分ける指数 • MAS グリッドの本数をⅩとYで逆にした時と 通常のMICの差の大きさ 単調性の指標 • 𝟐 MIC−𝝆 MICとピアソンの積率相関係数との差 非線形性の指標 33
34.
② MICで計測 34
35.
Reshef et al(2011)
より転載して一部改編 関数の形 35
36.
Reshef et al(2011)
より転載して一部改編 関数の形 全て識別できた 36
37.
MIC VS 平滑化スプライン 散布図に滑らかな線を引く 平滑化スプラインの𝑹
𝟐 を使えば十分? 37
38.
Reshef et al(2011)
より転載して一部改編 MIC 0.80 関係性のタイプ 0.65 0.50 0.35 ノイズ付与 38
39.
Reshef et al(2011)
より転載して一部改編 MIC 0.80 関係性のタイプ 0.65 0.50 0.35 ノイズ付与 MICは線が2本あってもOK 39
40.
Reshef et al(2011)
より転載して一部改編 MIC VS 通常のMI(相互情報量) MIC = 1 MIC = 0.6 MI = 1 MI = 0.5 40
41.
Reshef et al(2011)
より転載して一部改編 MIC MIC VS 通常のMI(相互情報量) 完璧! MIC = 1 MIC = 0.6 MI にょろにょろに弱い MI = 1 MI = 0.5 41
42.
MIC はなぜ「にょろにょろ」に強いの? Ans. 各々の箱の中は結構不確実 MICは箱の中のばらつきを考慮しないから 42
43.
やや論文から離れますが・・・ 箱の中のばらつきを考慮しなくて大丈夫? MICはどうなる? 43
44.
Rでやってみた by Package
“minerva” データ para <- 20 x2 <- c(rnorm(n=50, mean=10, sd=para), rnorm(n=50, mean=200, sd=para)) y2 <- c(rnorm(n=50, mean=10, sd=para), rnorm(n=50, mean=200, sd=para)) 結果 MIC = 1 普段使う「相関」とはやや趣が異なる様子 44
45.
③実データで MIC • WHOの社会データ •
腸内細菌叢データ (本当はもっとたくさんあるけど省略) 45
46.
Reshef et al(2011)
より転載して一部改編 成人女性の肥満度(%) 怪我による年間死亡数 WHOの社会データ (357個の変数・63546通りの組み合わせ) 1000人当たり歯医者の密度 相関なし 収入/人口 相関あり 46
47.
腸内細菌叢データ MIC−𝝆 𝟐 で細菌の共生関係を調べる B種 B種 A種 A種 線形 非線形 共存 非共存 47
48.
Reshef et al(2011)
より転載して一部改編 腸内細菌叢データ MIC−𝝆 𝟐 で細菌の共生関係を調べる OTU5948の密度(%) 非線形性の指標 OTU710の密度(%) 48
49.
Big Data MIC MICはBig Data解析に便利……かも。 49