Suche senden
Hochladen
ぞくパタ最終回: 13章「共クラスタリング」
•
14 gefällt mir
•
6,471 views
Akifumi Eguchi
Folgen
続わかりやすいパターン認識読書会 最終回の資料です。
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 40
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
ナレッジグラフ入門
ナレッジグラフ入門
KnowledgeGraph
パターン認識と機械学習入門
パターン認識と機械学習入門
Momoko Hayamizu
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
ナレッジグラフとオントロジー
ナレッジグラフとオントロジー
University of Tsukuba
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
Empfohlen
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
ナレッジグラフ入門
ナレッジグラフ入門
KnowledgeGraph
パターン認識と機械学習入門
パターン認識と機械学習入門
Momoko Hayamizu
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
ナレッジグラフとオントロジー
ナレッジグラフとオントロジー
University of Tsukuba
IIBMP2016 深層生成モデルによる表現学習
IIBMP2016 深層生成モデルによる表現学習
Preferred Networks
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
Rの高速化
Rの高速化
弘毅 露崎
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
Naoaki Okazaki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
線形計画法入門
線形計画法入門
Shunji Umetani
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
Shuyo Nakatani
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
物体検出の歴史(R-CNNからSSD・YOLOまで)
物体検出の歴史(R-CNNからSSD・YOLOまで)
HironoriKanazawa
PRML勉強会 #4 @筑波大学 発表スライド
PRML勉強会 #4 @筑波大学 発表スライド
Satoshi Yoshikawa
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
PlaidML Kerasでやっていく #TokyoR 73
PlaidML Kerasでやっていく #TokyoR 73
Akifumi Eguchi
High-order factorization machines with R #tokyor 61
High-order factorization machines with R #tokyor 61
Akifumi Eguchi
Weitere ähnliche Inhalte
Was ist angesagt?
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
Rの高速化
Rの高速化
弘毅 露崎
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
Naoaki Okazaki
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
Shiga University, RIKEN
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
線形計画法入門
線形計画法入門
Shunji Umetani
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
Shuyo Nakatani
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
Shiga University, RIKEN
物体検出の歴史(R-CNNからSSD・YOLOまで)
物体検出の歴史(R-CNNからSSD・YOLOまで)
HironoriKanazawa
PRML勉強会 #4 @筑波大学 発表スライド
PRML勉強会 #4 @筑波大学 発表スライド
Satoshi Yoshikawa
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
Was ist angesagt?
(20)
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
Rの高速化
Rの高速化
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
「世界モデル」と関連研究について
「世界モデル」と関連研究について
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
協調フィルタリング入門
協調フィルタリング入門
線形計画法入門
線形計画法入門
無限関係モデル (続・わかりやすいパターン認識 13章)
無限関係モデル (続・わかりやすいパターン認識 13章)
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
物体検出の歴史(R-CNNからSSD・YOLOまで)
物体検出の歴史(R-CNNからSSD・YOLOまで)
PRML勉強会 #4 @筑波大学 発表スライド
PRML勉強会 #4 @筑波大学 発表スライド
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Mehr von Akifumi Eguchi
PlaidML Kerasでやっていく #TokyoR 73
PlaidML Kerasでやっていく #TokyoR 73
Akifumi Eguchi
High-order factorization machines with R #tokyor 61
High-order factorization machines with R #tokyor 61
Akifumi Eguchi
Randomforestで高次元の変数重要度を見る #japanr LT
Randomforestで高次元の変数重要度を見る #japanr LT
Akifumi Eguchi
統計的学習の基礎6章前半 #カステラ本
統計的学習の基礎6章前半 #カステラ本
Akifumi Eguchi
Dslt祭り2夜
Dslt祭り2夜
Akifumi Eguchi
環境化学データ解析入門: 愛媛大講演資料 160728
環境化学データ解析入門: 愛媛大講演資料 160728
Akifumi Eguchi
統計的学習の基礎, 副読本紹介: An Introduction to Statistical Learning
統計的学習の基礎, 副読本紹介: An Introduction to Statistical Learning
Akifumi Eguchi
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
Akifumi Eguchi
子どもたちの未来を支える機械学習: 定量的構造活性相関 (QSAR) による有機ハロゲン化合物の母子間移行率予測
子どもたちの未来を支える機械学習: 定量的構造活性相関 (QSAR) による有機ハロゲン化合物の母子間移行率予測
Akifumi Eguchi
Deep learningもくもくハッカソンまとめup用
Deep learningもくもくハッカソンまとめup用
Akifumi Eguchi
Tokyo webmining 43 "化学物質汚染のデータ解析・リスク評価についての私見"
Tokyo webmining 43 "化学物質汚染のデータ解析・リスク評価についての私見"
Akifumi Eguchi
第2回ぞくパタ
第2回ぞくパタ
Akifumi Eguchi
第一回ぞくパタ
第一回ぞくパタ
Akifumi Eguchi
ぞくパタ はじめに
ぞくパタ はじめに
Akifumi Eguchi
Tokyo.r #44 lt.pptx
Tokyo.r #44 lt.pptx
Akifumi Eguchi
Tokyo r #43
Tokyo r #43
Akifumi Eguchi
みどりぼん9章前半
みどりぼん9章前半
Akifumi Eguchi
みどりぼん3章前半
みどりぼん3章前半
Akifumi Eguchi
Tokyo R #39
Tokyo R #39
Akifumi Eguchi
Mehr von Akifumi Eguchi
(19)
PlaidML Kerasでやっていく #TokyoR 73
PlaidML Kerasでやっていく #TokyoR 73
High-order factorization machines with R #tokyor 61
High-order factorization machines with R #tokyor 61
Randomforestで高次元の変数重要度を見る #japanr LT
Randomforestで高次元の変数重要度を見る #japanr LT
統計的学習の基礎6章前半 #カステラ本
統計的学習の基礎6章前半 #カステラ本
Dslt祭り2夜
Dslt祭り2夜
環境化学データ解析入門: 愛媛大講演資料 160728
環境化学データ解析入門: 愛媛大講演資料 160728
統計的学習の基礎, 副読本紹介: An Introduction to Statistical Learning
統計的学習の基礎, 副読本紹介: An Introduction to Statistical Learning
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
子どもたちの未来を支える機械学習: 定量的構造活性相関 (QSAR) による有機ハロゲン化合物の母子間移行率予測
子どもたちの未来を支える機械学習: 定量的構造活性相関 (QSAR) による有機ハロゲン化合物の母子間移行率予測
Deep learningもくもくハッカソンまとめup用
Deep learningもくもくハッカソンまとめup用
Tokyo webmining 43 "化学物質汚染のデータ解析・リスク評価についての私見"
Tokyo webmining 43 "化学物質汚染のデータ解析・リスク評価についての私見"
第2回ぞくパタ
第2回ぞくパタ
第一回ぞくパタ
第一回ぞくパタ
ぞくパタ はじめに
ぞくパタ はじめに
Tokyo.r #44 lt.pptx
Tokyo.r #44 lt.pptx
Tokyo r #43
Tokyo r #43
みどりぼん9章前半
みどりぼん9章前半
みどりぼん3章前半
みどりぼん3章前半
Tokyo R #39
Tokyo R #39
ぞくパタ最終回: 13章「共クラスタリング」
1.
@siero5335 #ぞくパタ ドワンゴ様@東銀座 2016/1/12 第15回「続・わかりやすいパターン認識」読書会 第13章: 共クラスタリング
2.
目次 13.1 関係データに対する共クラスタリング
13.2 無限関係モデル 13.3 IRMの学習
3.
13.1 関係データに対する共クラスタリング
4.
13.1
関係データに対する共クラスタリング 共クラスタリングとは? 顧客と商品など、人と人、人とモノのつながりを表す 関係データを上手く扱うための手法 顧客だけ、商品だけのクラスタリングはこれまでも やってきたが、共クラスタリングでは行・列双方を適 切に並び替えることで、顧客・商品を同時にクラスタ リングできるようにな。 このように、異なる種類のオブジェクトを同時にクラ スタリングする手法を共クラスタリングと呼ぶ
5.
13.1
関係データの例 1 2 3 1 2 3 4 1 2 3 4 1 2 3 商品 顧 客 オブジェクト間のつながりをエッジとしたグラフで、あるいは、 オブジェクト間にエッジがある時を1、ない時を0とする2値行 列で表現できる。
6.
13.1
共クラスタリング色々 From K-‐means to higher-‐way co-‐clustering: mul:linear decomposi:on with sparse latent factors h>ps://www.cs.cmu.edu/~epapalex/papers/PapSidBroTSP2011R2.pdf K-‐means, ユークリッド距離を基にした共クラスタリング "blockcluster: Coclustering Package for Binary, Categorical, Con:ngency and Con:nuous Data-‐Sets” h>ps://cran.r-‐project.org/web/packages/blockcluster/index.html EMアルゴリズムを基にした共クラスタリング
7.
13.1
共クラスタリング実行例 "blockcluster: Coclustering Package for Binary, Categorical, Con:ngency and Con:nuous Data-‐Sets” h>ps://cran.r-‐project.org/web/packages/blockcluster/index.html パッケージ解説はこちら: h>p://qiita.com/siero5335/items/f8e704035d7bdd5965be EMアルゴリズムを基にした共クラスタリング
8.
13.1
共クラスタリング実行例 "blockcluster: Coclustering Package for Binary, Categorical, Con:ngency and Con:nuous Data-‐Sets” h>ps://cran.r-‐project.org/web/packages/blockcluster/index.html パッケージ解説はこちら: h>p://qiita.com/siero5335/items/f8e704035d7bdd5965be 尤度を見ながらクラスタ数を最適化していく
9.
13.1
共クラスタリング実行例 "blockcluster: Coclustering Package for Binary, Categorical, Con:ngency and Con:nuous Data-‐Sets” h>ps://cran.r-‐project.org/web/packages/blockcluster/index.html パッケージ解説はこちら: h>p://qiita.com/siero5335/items/f8e704035d7bdd5965be つまりクラスタ数は自分で決めないとだめ
10.
13.1
共クラスタリング色々 From K-‐means to higher-‐way co-‐clustering: mul:linear decomposi:on with sparse latent factors h>ps://www.cs.cmu.edu/~epapalex/papers/PapSidBroTSP2011R2.pdf K-‐means, ユークリッド距離を基にした共クラスタリング "blockcluster: Coclustering Package for Binary, Categorical, Con:ngency and Con:nuous Data-‐Sets” h>ps://cran.r-‐project.org/web/packages/blockcluster/index.html EMアルゴリズムを基にした共クラスタリング 本書 無限関係モデル(IRM)による共クラスタリング ノンパラベイズに基づいてるからクラスタ数も自動決定できるよ! 顧客と商品の例なら観測データから同時にクラスタリングすることで、 どんな顧客がどんな商品を買うかの関係を自動抽出することに相当
11.
13.2 無限関係モデル (IRM)
当
12.
13.2 無限関係モデル (IRM)
当 K: 顧客の総数 L: 商品の総数 R: 顧客・商品の関係を表す行列 Rkl: Rの(k, l)成分 Rkl =1: 顧客kが商品lを購入した Rkl =0:顧客kが商品lを購入しなかった S1: 顧客に対する潜在変数 S2: 商品に対する潜在変数 c1: 顧客クラスタの数 c2: 商品クラスタの数 ω1 i: i番目の顧客クラスタ ω2 j: j番目の商品クラスタ S1 k: 顧客kの所属する顧客クラスタ S2 l: 商品lの所属する商品クラスタ S1 k = ω1 i: 顧客kが顧客クラスタω1に属する S2 l: =ω2 j: 商品lが顧客クラスタω2 jに属する θij = θ(ω1 i, ω2 j): (i, j)のパラメータブロック def
13.
13.2 無限関係モデル (IRM)
s! |!α!~!"#(α) s!|!α!~!"#(α) !"#!! = 1,…,!, !"#!! = 1,…,!, CRPの事前分布で顧客クラスタS1、 商品クラスタS2が独立に分割される
14.
13.2 無限関係モデル (IRM)
s! |!α!~!"#(α) s!|!α!~!"#(α) !"#!! = 1,…,!, !"#!! = 1,…,!, !!"|!! ! =!ω! ! ,!! ! =!ω! ! ,Θ~!!"#$(!!":!θ!") !! ! = ω! ! , !! ! = ω! ! θ !! ! , !! ! = θ ω! ! , ω! ! =!θ!" CRPの事前分布で顧客クラスタS1、 商品クラスタS2が独立に分割される となり、顧客商品の関係を表す行列Rklが パラメータθijのベルヌーイ分布Bern(Rkl:θij)から生成される
15.
13.2 無限関係モデル (IRM)
s! |!α!~!"#(α) s! |!α!~!"#(α) !"#!! = 1,…,!, !"#!! = 1,…,!, θ !! ! ,!! ! |!,!!~!"(!,!) !!"|!! ! =!ω! ! ,!! ! =!ω! ! ,Θ~!!"#$(!!":!θ!") !! ! = ω! ! , !! ! = ω! ! θ !! ! , !! ! = θ ω! ! , ω! ! =!θ!" となり、顧客商品の関係を表す行列Rklが パラメータθijのベルヌーイ分布Bern(Rkl:θij)から生成される θijは区間[0,1]の値を取るので、θijの事前分布として パラメータa, bのベータ分布Be(a,b)を取る CRPの事前分布で顧客クラスタS1、 商品クラスタS2が独立に分割される
16.
13.2 無限関係モデル (IRM)
商品 顧 客 共 ク ラ ス タ リ ン グ
17.
13.2 無限関係モデル (IRM)
商品 顧 客 共 ク ラ ス タ リ ン グ ω1 1 ω2 1 ω3 1 ω4 1 ω1 2 ω2 2 ω3 2 15人の顧客が4つ、10種の商品が3つのクラスタに分割される
18.
13.2 無限関係モデル (IRM)
商品 顧 客 共 ク ラ ス タ リ ン グ i = 1 2 3 4 j =1 2 3 θij = 0.2 θij = 0.9 θij = 0.1 θij = 0 θij = 0.7 θij = 0.7 θij = 0.1 θij = 0.9 θij = 0.2 θij = 0.9 θij = 0.1 θij = 0.1 顧客クラスタi, 商品クラスタjの直積からなる各(i, j) ブロックに対し、 θijの値(0≤θij≤1)がベータ分布から決定される
19.
13.2 無限関係モデル (IRM)
商品 顧 客 共 ク ラ ス タ リ ン グ i = 1 2 3 4 j =1 2 3 θij = 0.2 θij = 0.9 θij = 0.1 θij = 0 θij = 0.7 θij = 0.7 θij = 0.1 θij = 0.9 θij = 0.2 θij = 0.9 θij = 0.1 θij = 0.1 θ12の大半は1 θ12 = 0.9よりRklが0.9の確率で1を発生させるベルヌーイ分布から決まるため θijは顧客クラスタω1 iと商品クラスタω2 jの関係を表す確率に相当する。
20.
13.2 無限関係モデル (IRM)
商品 顧 客 共 ク ラ ス タ リ ン グ i = 1 2 3 4 j =1 2 3 θij = 0.2 θij = 0.9 θij = 0.1 θij = 0 θij = 0.7 θij = 0.7 θij = 0.1 θij = 0.9 θij = 0.2 θij = 0.9 θij = 0.1 θij = 0.1 ベータ分布のパラメータa, bの値を変えることでθijの値が[0,1]の範囲で 変化する。このため、α, a, bの値を変えることでIRMからさまざまな関係 データ行列を生成することができる。
21.
13.3 IRMの学習
22.
13.3 IRMの学習 各オブジェクトの所属クラスタ
(s1, s2) が既知であれば、その情報 と観測データから共クラスタリングが可能だが、実際に既知なの は観測データのみ IRMの学習は、観測データの背後にある共クラスタリング構造(s1, s2) を、観測データとIRMの生成モデルから推定すること
23.
13.3 IRMの学習 各オブジェクトの所属クラスタ
(s1, s2) が既知であれば、その情報 と観測データから共クラスタリングが可能だが、実際に既知なの は観測データのみ IRMの学習は、観測データの背後にある共クラスタリング構造(s1, s2) を、観測データとIRMの生成モデルから推定すること 具体的には、観測データRが得られた下で、下記で示されたパラ メータを積分消去して得られたs1, s2の事後確率を最大化するs1, s2 を求める問題に帰着 ! !!, !! ! =! ! ! !!, !! ! !! !(!!) !(!)
24.
13.3 IRMの学習 各オブジェクトの所属クラスタ
(s1, s2) が既知であれば、その情報 と観測データから共クラスタリングが可能だが、実際に既知なの は観測データのみ IRMの学習は、観測データの背後にある共クラスタリング構造(s1, s2) を、観測データとIRMの生成モデルから推定すること 具体的には、観測データRが得られた下で、下記で示されたパラ メータを積分消去して得られたs1, s2の事後確率を最大化するs1, s2 を求める問題に帰着 ここで、s1, s2の事前分布P(s1), P(s2)はいずれもCPR(α) ディリクレ過程混合モデルに対するギブスサンプリングで (s1, s2) を逐次サンプリングし、P(s1, s2|R)を最大化する(s1, s2)を解とする ! !!, !! ! =! ! ! !!, !! ! !! !(!!) !(!)
25.
13.3 IRMの学習: 用語追加
当 K: 顧客の総数 L: 商品の総数 R: 顧客・商品の関係を表す行列 Rkl: Rの(k, l)成分 Rkl =1: 顧客kが商品lを購入した Rkl =0:顧客kが商品lを購入しなかった S1: 顧客に対する潜在変数 S2: 商品に対する潜在変数 c1: 顧客クラスタの数 c2: 商品クラスタの数 ω1 i: i番目の顧客クラスタ ω2 j: j番目の商品クラスタ S1 k: 顧客kの所属する顧客クラスタ S2 l: 商品lの所属する商品クラスタ S1 k = ω1 i: 顧客kが顧客クラスタω1に属する S2 l: =ω2 j: 商品lが顧客クラスタω2 jに属する θij = θ(ω1 i, ω2 j): (i, j)のパラメータブロック def Rk,+:顧客kの全商品に対する購買情報 R-‐k,+: RからRk,+を除いた余りの要素集合 S1 -‐k: S1からS1 kを引いた余りの要素集合 n1 i: 顧客クラスタω1 iに属するk以外の顧客数 θi,+: (i,j)ブロックのパラメータ集合
26.
13.3 IRMの学習 このs1 kをギブスサンプリングするための事後確率は以下の通り !! ! =!ω! ! !!,!!,
!!! ! , !!, !!!,! ∝ !! !! ! =!ω! ! !!! ! !(!!,!!|!! ! =!ω! ! , !!, !!!,!)
27.
13.3 IRMの学習: 事後確率右辺第1項
! !! ! =!ω! ! !!! ! !! ! ! − 1 + α α ! − 1 + α このs1 kをギブスサンプリングするための事後確率は以下の通り !! ! =!ω! ! !!,!!, !!! ! , !!, !!!,! ∝ !! !! ! =!ω! ! !!! ! !(!!,!!|!! ! =!ω! ! , !!, !!!,!) 既存クラスタ 新規クラスタ
28.
(!!,!!|!! ! =!ω! ! , !!, !!!,!)
∝ !! ! =!ω! ! !!,!!, !!! ! , !!, !!!,! ∝ !! !! ! =!ω! ! !!! ! !(!!,!!|!! ! =!ω! ! , !!, !!!,!) 13.3 IRMの学習: 事後確率右辺第2項 このs1 kをギブスサンプリングするための事後確率は以下の通り !( ! !!" !! ! =!ω! ! , !!, θ!,! !(θ!,!|!! ! =!ω! ! , !!! ! , !!, !!!,!)!θ!,! !( ! !!" !! ! =!ω! ! , !!, θ!,! !!(θ!,!)!θ!,! 既存クラスタ 新規クラスタ
29.
!( ! !!" !! ! =!ω! ! , !!,
θ!,! !(θ!,!|!! ! =!ω! ! , !!! ! , !!, !!!,!)!θ!,! (!!,!!|!! ! =!ω! ! , !!, !!!,!) ∝ !! ! =!ω! ! !!,!!, !!! ! , !!, !!!,! ∝ !! !! ! =!ω! ! !!! ! !(!!,!!|!! ! =!ω! ! , !!, !!!,!) 13.3 IRMの学習: 事後確率右辺第2項, 尤度項 このs1 kをギブスサンプリングするための事後確率は以下の通り !( ! !!" !! ! =!ω! ! , !!, θ!,! !!(θ!,!)!θ!,! 既存クラスタ 新規クラスタ ! ! !!" !! ! = ω! ! , !! , θ!,! =! ! !! (!!"|θ!")!! ! (!).!! ! (!) = θ!" !(!,!)(!,!) ! (1 − θ!")!(!,!)(!,!) 尤度項
30.
13.3 IRMの学習: 事後確率右辺第2項,
尤度項 ! ! !!" !! ! = ω! ! , !! , θ!,! =! ! !! (!!"|θ!")!! ! (!).!! ! (!) = θ!" !(!,!)(!,!) ! (1 − θ!")!(!,!)(!,!) . δ! ! (!)δ! ! (!) 1 (s1 k = ω1 i) otherwise 1 (s2 l = ω2 j) otherwise ! !,! !,! = !!" δ! ! (!) δ!(!) ! !,! !,! =! (1 − !!") δ! ! (!) δ!(!) 尤度項
31.
13.3 IRMの学習: 事後確率右辺第2項,
尤度項 ! ! !!" !! ! = ω! ! , !! , θ!,! =! ! !! (!!"|θ!")!! ! (!).!! ! (!) = θ!" !(!,!)(!,!) ! (1 − θ!")!(!,!)(!,!) . δ! ! (!)δ! ! (!) 1 (s1 k = ω1 i) otherwise 1 (s2 l = ω2 j) otherwise n(k,+)(i,j): 商品ω2 jに属する商品のうち顧客ω1 iに属する顧客kが買った商品数 n(k,+)(i,j): 商品ω2 jに属する商品のうち顧客ω1 iに属する顧客kが買わなかった 商品数 ! !,! !,! = !!" δ! ! (!) δ!(!) ! !,! !,! =! (1 − !!") δ! ! (!) δ!(!)
32.
!( ! !!" !! ! =!ω! ! , !! ,
θ!,! !(θ!,!|!! ! =!ω! ! , !!! ! , !! , !!!,!)!θ!,! 既存クラスタ 13.3 IRMの学習: 既存クラスタ右辺第2項 ! θ!,! !! ! =!ω! ! , !!! ! , !!, !!!,! =! θ!" !! ! =!ω! ! , !!! ! , !! , !!!,! ! =! P(!!!,!|!!!! ! , !! , θ!")!(θ!") P(!!!,!|!!!! ! , !!, θ!")!(θ!")!θ!" ! =! ( P !!!! θ!" !!!(!) !!(!) !!!!! )! !(θ!") ( P !!!! θ!" !!!(!) !!(!) !!!!! )! !(θ!")!θ!"! ここで、p(θij) = Be(θij; a,b)とすると、 !(θ!"|!! ! =!ω! ! , !!, !!!,!) = !"(θ!"; ! !,! !,! + !, ! !,! !,! + !)
33.
= θ!" !(!,!)(!,!) ! (1 −
θ!")!(!,!)(!,!) 13.3 IRMの学習: 既存クラスタ右辺第2項 !(θ!"|!! ! =!ω! ! , !!, !!!,!) = !"(θ!"; ! !,! !,! + !, ! !,! !,! + !) !( ! !!" !! ! =!ω! ! , !! , θ!,! !(θ!,!|!! ! =!ω! ! , !!! ! , !! , !!!,!)!θ!,! 上記を下式に代入すると !(!!,!!|!! ! =!ω! ! , !! , !!!,!) = θ!" ! !,! !,! !!!! (1 − θ)! !,! !,! !!!!!θ!" !(! !!,! !,! + !, ! !!,! !,! + !) ! = !(! !,! !,! + !, ! !,! !,! + !) !(! !!,! !,! + !, ! !!,! !,! + !) ! Bはベータ分布 ωiが既存クラスタのとき
34.
13.3 IRMの学習: 新規クラスタ
!( ! !!" !! ! =!ω! ! , !! , θ!,! !!(θ!,!)!θ!,! !(!!,!!|!! ! =!ω! ! , !! , !!!,!) = θ!" !(!,!)(!,!) ! (1 − θ!")!(!,!)(!,!) !(θ!"|!! ! =!ω! ! , !!, !!!,!) = !"(θ!"; ! !,! !,! + !, ! !,! !,! + !) 上記を下式に代入すると ωiが新規クラスタのとき = !(! !,! !,! + !, ! !,! !,! + !) !(!, !) !
35.
13.3 IRMの学習: S1 k,
S2 lの事後確率 !(!! ! = ω! ! |!!!,!!, !!! ! , !! , !!!,!) ∝ !! ! ! − 1 + α !(! !,! !,! + !, ! !,! !,! + !) !(! !!,! !,! + !, ! !!,! !,! + !) α ! − 1 + α !(! !,! !,! + !, ! !,! !,! + !) !(!, !) 既存クラスタ 新規クラスタ S1 kの事後確率
36.
13.3 IRMの学習: S1 k,
S2 lの事後確率 !(!! ! = ω! ! |!!!,!!, !!! ! , !! , !!!,!) ∝ !! ! ! − 1 + α !(! !,! !,! + !, ! !,! !,! + !) !(! !!,! !,! + !, ! !!,! !,! + !) α ! − 1 + α !(! !,! !,! + !, ! !,! !,! + !) !(!, !) !(!! ! = ω! ! |!!!,!!, !!! ! , !! , !!,!!) ∝ !! ! ! − 1 + α !(! !,! !,! + !, ! !,! !,! + !) !(! !,!! !,! + !, ! !,!! !,! + !) α ! − 1 + α !(! !,! !,! + !, ! !,! !,! + !) !(!, !) 既存クラスタ 新規クラスタ 既存クラスタ 新規クラスタ S2 lの事後確率 S1 kの事後確率
37.
13.3 IRMによる共クラスタリングアルゴリズム 入力:
関係データ行列R 出力: 行・列オブジェクトの所属クラスタを表す潜在変数 s1={s1 1... s1 K}, s2={s2 1... s2 L}, 行・列クラスタ数c1, c2 Step1: 初期設定 ・s1, s2を初期化(行・列クラスタ数をc1, c2とする) ・事後確率の最大値をPmax <- 0とする
38.
13.3 IRMによる共クラスタリングアルゴリズム 入力:
関係データ行列R 出力: 行・列オブジェクトの所属クラスタを表す潜在変数 s1={s1 1... s1 K}, s2={s2 1... s2 L}, 行・列クラスタ数c1, c2 Step1: 初期設定 ・s1, s2を初期化(行・列クラスタ数をc1, c2とする) ・事後確率の最大値をPmax <- 0とする Step2: 所属クラスタの更新 ・行オブジェクトkの所属クラスタs1 K更新のためにkをクラスタ から除外する ・空きクラスタが発生すればc1 <- c1-1として取り除き、i以降の クラスタインデックスを1減らす ・ からs1 Kを確率的に求める ・列についても同様にクラスタを更新する !(!! ! = ω! ! |!!!,!!, !!! ! , !! , !!!,!) ∝
39.
13.3 IRMによる共クラスタリングアルゴリズム Step3:
事後確率最大化 ! !! , !! ! =! ! ! !!, !! ! !! !(!!) !(!) ・今のs1, s2から下式を使って事後確率vを計算する ! !! , !! ! !∝ ! !! !! !(!|!! , !! ) = ! !! !! !(!!" θ!" !! θ!! !θ!! !! !!! !! !!! = ! v > Pmaxなら(事後確率の最大値が更新されたら) Pmax <- v, s1<- {s1 1... s1 K}, s2<- {s2 1... s2 L} それ以外ならPmax, s1, s2 を保持する
40.
13.3 IRMによる共クラスタリングアルゴリズム Step3:
事後確率最大化 ! !! , !! ! =! ! ! !!, !! ! !! !(!!) !(!) ・今のs1, s2から下式を使って事後確率vを計算する ! !! , !! ! !∝ ! !! !! !(!|!! , !! ) = ! !! !! !(!!" θ!" !! θ!! !θ!! !! !!! !! !!! = ! v > Pmaxなら(事後確率の最大値が更新されたら) Pmax <- v, s1<- {s1 1... s1 K}, s2<- {s2 1... s2 L} それ以外ならPmax, s1, s2 を保持する Step4: 収束判定 ・Pmaxが更新されなくなったらギブスサンプリング終了 ・更新されるなら2に戻る
Jetzt herunterladen