SlideShare a Scribd company logo

東京大学工学部計数工学科応用音響学 D2 Clustering

•
•
Hiroshi Ono
Hiroshi Ono
Technology
1 of 45
Download to read offline
東京大学 工学部 計数工学科 応用音響学 D2 - クラスタリング 嵯峨山 茂樹 <sagayama@hil.t.u-tokyo.ac.jp> 東京大学 工学部 計数工学科 資料所在 http://hil.t.u-tokyo.ac.jp/∼sagayama/applied acoustics/ クラスタリング k-means アルゴリズム ベクトル量子化 LBG アルゴリズム セグメンタル k-means アルゴリズム 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 1
クラスタリング 1 内容 1. クラスタリング 2. k-means アルゴリズム、LBG アルゴリズム 3. ベクトル量子化 参考文献 原島博 監修「画像情報圧縮」オーム社 堀内 司朗、有村 一朗 監修「画像圧縮技術のはなし」工業調査会 石井 健一郎、上田 修功、前田 英作、村瀬 洋「よくわかるパターン認識」オーム社 中川 聖一「パターン情報処理」丸善 古井 貞煕「音声情報処理」森北出版 谷萩 隆嗣「音声と画像のディジタル信号処理」コロナ社 中川 聖一「確率モデルによる音声認識」コロナ社 森 健一「パターン認識」コロナ社 長尾 真「パターン情報処理」コロナ社 鳥脇純一郎「認識工学」コロナ社 Lawrence Rabiner, Biing-hwang Juang 著, 古井貞煕 監訳「音声認識の基礎」 北 研二・中村 哲・永田 昌明「音声言語処理」森北出版 http://blitz.ec.t.kanazawa-u.ac.jp/˜shinji/study/k-NN/lbg.html (LBG アルゴリズム) 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 2
クラスタリングとベクトル量子化 クラスタリング 類似したパターン同士を同じクラスにまとめること ・階層的クラスタリング (最近隣法基準) ・k-平均アルゴリズム ・C-平均ファジィクラスタリング法   ¡ ¢ £ ¤ ¥ ¦ § ベクトル量子化 観測パターンを有限個の代表的なパターンの１つに置き換える こと ・LBG アルゴリズム 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 3
サンプルパターンのグループ たくさんのサンプルパターン x = (a1, a2, . . . , an) という n 次元ベク トルを、n 次元空間にプロットすると、いくつかのグループに分か れる。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 4
クラスタ 図 1. 形成されているクラスタの例 この状態を「クラスタ (cluster) が形成されている」という。 クラスタは一つのクラスに属するデータであると考えられる。 サンプルパターン x がどのクラスに属するか、あらかじめ分かって いないものを分類（教師なし学習） 。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 5
クラスタリング クラスタリング (clustering) サンプルパターン同士の距離尺度 (あるいは類似性、近さの尺度)D を導入し、D が小さいサンプルばかりを集めて固まり（クラスタ） を作るという操作。 D1 D2 < D 3 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 6
セントロイド (centroid) Euclid 距離の 2 乗の場合: クラスタ内歪み (ベクトル量子化誤差) : 距離の総和 D= n xi − m 2= n p (x − m )2 ij j i=1 i=1 j=1 を最小化するようなセントロイド m は何か？ j ごとに   ∂D n ∂ 2 = −2 n (x −m ) = −2   n     = (xij −mj ) ij j  xij − nmj  = 0 ∂mj i=1 ∂m i=1   i=1   とおいて、 1 n mj = xij n i=1 を得る。すなわち、 1 n m= xi n i=1 算術平均は、ユークリッド距離に関するセントロイド 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 7
歪み尺度 (評価関数) クラスタリングの目的 データをいくつかのクラスタに分けること 評価関数 総歪み (ベクトル量子化誤差) Nc J= x − mj 2 j=1 x∈Cj 平均ベクトル (centroid) 1 mj = x Nj x∈Cj Nc : クラスタの数 Cj : j 番目のクラスタに属するサンプル集合 Nj : Cj のサンプル数 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 8
クラスタリング手法例 1: 単純クラスタリング 手順 閾値 T を設定する。 任意のサンプル x1 をクラスタ の中心 z1 とする。 xi(i = 2, . . . , N ) と z1 の距離 D を計算。 D ≤ T なら xi は z1 を中心とす るクラスタに属する。 D > T なら xi を新たなクラス タ中心 z2 とする。 特徴 大切なのは、閾値 T の選び方 図 2. 単純クラスタリング T や {x1, . . . , xn} の順番を変 えたりして何度かやる。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 9
クラスタリング手法例 2: 階層的クラスタリン グ 手順 距離のもっとも近い 2 つのサ ンプルを 1 つのクラスタにま とめる。 上記の繰り返しでクラスタの 数を減らしていく。 特徴 クラスタの数を減らせる？ 欠点 計算量が多い 図 3. 階層的クラスタリング 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 10
階層的クラスタリング → クラスタを階層的に統合していく ボトムアップなクラスタリング手法 手法の概要 1. 各サンプルすべてをクラスタとして設定 2. クラスタを 1 つずつ統合していく (クラスタ数が 1 個ずつ減少) 3. 終了条件を満たすまで 2. を続ける 手法の特徴 クラスタリング後，クラスタ内のサンプル間における階層的な 関係を知ることができる クラスタ数を指定する必要がない → サンプルの中にいくつの パターンが内在しているか不明のときに有効 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 11
階層的クラスタリング (最近隣法基準) < 評価基準 >     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     < 統合方法 > クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl   ¡   ¢ £ C " 23 !¦¨¦¤ © § ¥ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 12
階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 22 £ ¢ ¡   ¨ § ¦ ¥ ¤ © 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 13
階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 21 £ ¢ ¡   ¨ § ¦ ¥ ¤ © 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 14
階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 19 £ ¢ ¡   ¨ § ¦ ¥ ¤ © 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 15
階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 15 £ ¢ ¡   © ¨ § ¦ ¥ ¤ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 16
階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl       ¡ ¢ £ C 12¤ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 17
階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl     ¡ ¢ £ ¤ C 10   嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 18
階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl     ¡ ¢ £ ¤ C 8   嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 19
階層的クラスタリング (最近隣法基準) デンドログラム クラスタリング後，以下のようなサンプル間の階層関係が得られ る ¤ ¥ £ ¢   ¡ 終了条件は?? 評価関数値 AIC(クラスタ数が大きいほど大きなペナルティ) おまけ トップダウン的に行うこともできる 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 20
クラスタリング手法例 3: 最大距離アルゴリズム 特徴 クラスタの中心間の距離を最大にする。 図 4. 最大距離アルゴリズム 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 21
k-means アルゴリズム: 導入 例： ある村に多数の家が建っているとしよう。ここに n 台の郵便ポストを設置し たい。その設置法は、次の通り。(道や傾斜など地理的な状況は考えない。) (1) 各戸は、最も近いポストを使用する。→ 各戸にポスト番号を付与 (2) 各ポストはその使用者の全戸から最も近い地点に設置する。→ ポスト位置を 更新 これを適当な初期解か始めて収束するまで繰り返すのが k-means アルゴリズム の概要である。実際には、距離の定義は物理的定義とは限らず、様々な距離が用 いられる。 問題：以上を繰り返すとき最小解 (初期値によっては極小解) に収束することを証明せよ。→ 微分 などを用いないで極小解に到達できる点に注意。 問題：ポストは、どこかの家に設置する場合でも、上記のアルゴリズムは同様に収束することを 証明せよ。 問題：上記のアルゴリズムは、ユークリッド距離の場合には具体的にどのような計算となるか。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 22
2-step の最小化 2-step 最小化 (実際は極小) (1) 各戸は、最も近いポストを使用する。 (各戸にポスト番号を付与) → 各戸はより近いポストに変更する → 総距離は減少 (少なくとも非増大) (2) 各ポストは、その使用者の全戸から最も近い地点に設置する。 (ポスト位置を更新) → 総距離は減少 (少なくとも非増大) 収束判定： 上記の変化が起きなくなったら停止 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 23
二乗 Euclid 距離に関するセントロイドの意味 n 次元ベクトルサンプル値の集合 {x1, x2, x3, · · · , xN } に対して、Euclid 距離 二乗和 N −1 D= |xi − m|2 i=0 を最小にする m (セントロイド) は、 1 N −1 m= xi (算術平均) N i=0 である。 導出: dD N −1 ∂D T = −2 (xi − m) = 0 と置く (つまり、ベクトル成分ごとに、 = dm i=0 ∂mj N −1 −2 (xij − mj ) = 0, j = 1, · · · , n と置く) ことにより、 i=0 N −1 1 N −1 xi = N m すなわち、m = xi を得る。 i=0 N i=0 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 24
k-means アルゴリズム (Lloyd アルゴリズム) k 個のクラスタを作るアルゴリズム。(適切な k は未解決問題。) 2 ステップの歪み最小化 (実は極小化) の繰り返しアルゴリズム (収束) 初期解: 適当に (ランダムに)k 個の仮セントロイドを決めて開始。 Step 1: セントロイドに従って全サンプルをクラスタ再分類 → D 減少 Step 2: クラスタのサンプルからセントロイドを再計算 → D 減少 以上を収束するまで繰り返す。 図 5. k-means アルゴリズムの 2 ステップ: (1) cluster 再分類、(2) centroid 再計算 – 境界線 (赤) は Voronoi 図になっている 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 25
k-means アルゴリズムの特徴 クラスタ重心とクラスタ境界を繰返し計算により更新していく手 法 手法の特徴 クラスタ重心の収束性が保証されている 少ない計算量 • サンプルとセントロイド間の距離 (kN 個) を繰り返し計算 • しかし、サンプル間の距離 (N (N − 1)/2 個) は不要 クラスタ数を指定する必要がある→ サンプルの中にいくつの パターンが内在しているか明らかなときには有効 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 26
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 27
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 28
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 29
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 30
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 31
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 32
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 33
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 34
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 35
k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 36
クラスタリングとは クラスタ決定の「良さ」の基準の最適化 クラスタ数 C 基準の例) J= || x − mi i=1 x∈Ci 全クラスタに クラスタ i クラスタ中心 ついて について ◎基準の設け方と最適化方法に応じて，様々なアルゴリズムがある 階層的クラスタリング (最近隣法基準) k-平均アルゴリズム C-平均ファジィクラスタリング法 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 37
C-平均ファジィクラスタリング → クラスタ重心とクラスタ帰属度を 繰返し計算により更新していく手法 手法の概要 1. クラスタ重心の初期設定 2. クラスタ帰属度を求める 3. クラスタ内のサンプルの重心を求める (クラスタ重心の更新) 4. 収束条件を満たすまで 2. と 3. を繰り返す 手法の特徴 1 つのサンプルが複数のクラスタに属することを想定 クラスタ重心の収束性が保証されている クラスタ数を指定する必要がある → サンプルの中にいくつの パターンが内在しているか明らかなときに有効 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 38
C-平均ファジィクラスタリング 帰属度 pik …サンプル xi がクラスタ Ck に属する割合 C pik = 1 0 ≤ pik ≤ 1 k=1 ファジィネス P 評価基準 JP n−1 C JP = (pik )P |xi − µk |2 i=0 k=1 k -means アルゴリズムと異なるところ 帰属度とクラスタ重心の更新値 n−1 1 (pik )P xi pik = ¯   1 µk = i=0 ¯ n−1 C |xi − µk    |  P −1 (pik )P       i=0 j=1 |xi − µj |   嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 39
k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法 ¡   ¢ £ ¨¦¤ © § ¥ $¨ 1 z1 # ! 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 40
k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法 ¡   ¢ £ ¨¦¤ ! © § ¥ z2 78564'1 )'%# 3 2 0 ( $ 2 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 41
k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法   ¡ ¢ £ z2 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 42
k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法 ¡   ¢ £ z3 ¨¦¤ ! © § ¥ z2 674530 ($# 2 1 ) ' % 3 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 43
k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法   ¡ ¢ £ z3 z2 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 44
k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法   ¡ ¢ £ z3 z2 z1 z4 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 45

Recommended

FOBOS
FOBOSFOBOS
FOBOSHidekazu Oiwa
 
PoisoningAttackSVM (ICMLreading2012)
PoisoningAttackSVM (ICMLreading2012)PoisoningAttackSVM (ICMLreading2012)
PoisoningAttackSVM (ICMLreading2012)Hidekazu Oiwa
 
お披露目会05/2010
お披露目会05/2010お披露目会05/2010
お披露目会05/2010JAVA DM
 
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011Preferred Networks
 
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM) コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM) Takahiro (Poly) Horikawa
 
Prml07
Prml07Prml07
Prml07Tsukasa Fukunaga
 
PRML chapter5
PRML chapter5PRML chapter5
PRML chapter5Takahiro (Poly) Horikawa
 
PRML chapter7
PRML chapter7PRML chapter7
PRML chapter7Takahiro (Poly) Horikawa
 

Recommended

FOBOS
FOBOSFOBOS
FOBOSHidekazu Oiwa
 
PoisoningAttackSVM (ICMLreading2012)
PoisoningAttackSVM (ICMLreading2012)PoisoningAttackSVM (ICMLreading2012)
PoisoningAttackSVM (ICMLreading2012)Hidekazu Oiwa
 
お披露目会05/2010
お披露目会05/2010お披露目会05/2010
お披露目会05/2010JAVA DM
 
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011Preferred Networks
 
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM) コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法（SVM) Takahiro (Poly) Horikawa
 
Prml07
Prml07Prml07
Prml07Tsukasa Fukunaga
 
PRML chapter5
PRML chapter5PRML chapter5
PRML chapter5Takahiro (Poly) Horikawa
 
PRML chapter7
PRML chapter7PRML chapter7
PRML chapter7Takahiro (Poly) Horikawa
 
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシンShinya Shimizu
 
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)Taiji Suzuki
 
Crfと素性テンプレート
Crfと素性テンプレートCrfと素性テンプレート
Crfと素性テンプレートKei Uchiumi
 
パターン認識と機械学習6章（カーネル法）
パターン認識と機械学習6章（カーネル法）パターン認識と機械学習6章（カーネル法）
パターン認識と機械学習6章（カーネル法）Yukara Ikemiya
 
Information-Theoretic Metric Learning
Information-Theoretic Metric LearningInformation-Theoretic Metric Learning
Information-Theoretic Metric LearningKoji Matsuda
 
20150803.山口大学集中講義
20150803.山口大学集中講義20150803.山口大学集中講義
20150803.山口大学集中講義Hayaru SHOUNO
 
PRML Chapter5.2
PRML Chapter5.2PRML Chapter5.2
PRML Chapter5.2Takuya Minagawa
 
NLPforml5
NLPforml5NLPforml5
NLPforml5Hidekazu Oiwa
 
クラシックな機械学習の入門　　5. サポートベクターマシン
クラシックな機械学習の入門　　5. サポートベクターマシンクラシックな機械学習の入門　　5. サポートベクターマシン
クラシックな機械学習の入門　　5. サポートベクターマシンHiroshi Nakagawa
 
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014Sparse estimation tutorial 2014
Sparse estimation tutorial 2014Taiji Suzuki
 
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1東京都市大学 データ解析入門 4 スパース性と圧縮センシング1
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1hirokazutanaka
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成Prunus 1350
 
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰sleipnir002
 
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜Takeshi Arabiki
 
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++sleepy_yoshi
 
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz..."Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...nkazuki
 
2値分類・多クラス分類
2値分類・多クラス分類2値分類・多クラス分類
2値分類・多クラス分類t dev
 
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1hirokazutanaka
 
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"Yukiyoshi Sasao
 
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2hirokazutanaka
 
bigdata2012ml okanohara
bigdata2012ml okanoharabigdata2012ml okanohara
bigdata2012ml okanoharaPreferred Networks
 
Hayashi tutorial ne2017
Hayashi tutorial ne2017Hayashi tutorial ne2017
Hayashi tutorial ne2017yukisachi
 

More Related Content

What's hot

今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシンShinya Shimizu
 
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)Taiji Suzuki
 
Crfと素性テンプレート
Crfと素性テンプレートCrfと素性テンプレート
Crfと素性テンプレートKei Uchiumi
 
パターン認識と機械学習6章（カーネル法）
パターン認識と機械学習6章（カーネル法）パターン認識と機械学習6章（カーネル法）
パターン認識と機械学習6章（カーネル法）Yukara Ikemiya
 
Information-Theoretic Metric Learning
Information-Theoretic Metric LearningInformation-Theoretic Metric Learning
Information-Theoretic Metric LearningKoji Matsuda
 
20150803.山口大学集中講義
20150803.山口大学集中講義20150803.山口大学集中講義
20150803.山口大学集中講義Hayaru SHOUNO
 
クラシックな機械学習の入門　　5. サポートベクターマシン
クラシックな機械学習の入門　　5. サポートベクターマシンクラシックな機械学習の入門　　5. サポートベクターマシン
クラシックな機械学習の入門　　5. サポートベクターマシンHiroshi Nakagawa
 
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014Sparse estimation tutorial 2014
Sparse estimation tutorial 2014Taiji Suzuki
 
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1東京都市大学 データ解析入門 4 スパース性と圧縮センシング1
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1hirokazutanaka
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成Prunus 1350
 
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰sleipnir002
 
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜Takeshi Arabiki
 
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++sleepy_yoshi
 
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz..."Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...nkazuki
 
2値分類・多クラス分類
2値分類・多クラス分類2値分類・多クラス分類
2値分類・多クラス分類t dev
 
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1hirokazutanaka
 
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"Yukiyoshi Sasao
 
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2hirokazutanaka
 

What's hot (20)

今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
 
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
 
Crfと素性テンプレート
Crfと素性テンプレートCrfと素性テンプレート
Crfと素性テンプレート
 
パターン認識と機械学習6章（カーネル法）
パターン認識と機械学習6章（カーネル法）パターン認識と機械学習6章（カーネル法）
パターン認識と機械学習6章（カーネル法）
 
Information-Theoretic Metric Learning
Information-Theoretic Metric LearningInformation-Theoretic Metric Learning
Information-Theoretic Metric Learning
 
20150803.山口大学集中講義
20150803.山口大学集中講義20150803.山口大学集中講義
20150803.山口大学集中講義
 
PRML Chapter5.2
PRML Chapter5.2PRML Chapter5.2
PRML Chapter5.2
 
NLPforml5
NLPforml5NLPforml5
NLPforml5
 
クラシックな機械学習の入門　　5. サポートベクターマシン
クラシックな機械学習の入門　　5. サポートベクターマシンクラシックな機械学習の入門　　5. サポートベクターマシン
クラシックな機械学習の入門　　5. サポートベクターマシン
 
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
 
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1東京都市大学 データ解析入門 4 スパース性と圧縮センシング1
東京都市大学 データ解析入門 4 スパース性と圧縮センシング1
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
 
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
 
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
 
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
 
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz..."Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...
"Puzzle-Based Automatic Testing: Bringing Humans into the Loop by Solving Puz...
 
2値分類・多クラス分類
2値分類・多クラス分類2値分類・多クラス分類
2値分類・多クラス分類
 
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
東京都市大学 データ解析入門 8 クラスタリングと分類分析 1
 
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
Introduction to "Facial Landmark Detection by Deep Multi-task Learning"
 
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
 

Similar to 東京大学工学部計数工学科応用音響学 D2 Clustering

Hayashi tutorial ne2017
Hayashi tutorial ne2017Hayashi tutorial ne2017
Hayashi tutorial ne2017yukisachi
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化Miyoshi Yuya
 
クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能Hiroshi Nakagawa
 
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...Deep Learning JP
 
多端子情報理論のマトロイド的構造
多端子情報理論のマトロイド的構造多端子情報理論のマトロイド的構造
多端子情報理論のマトロイド的構造Joe Suzuki
 
最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)
最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)
最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)Nguyen Tuan
 
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1hirokazutanaka
 
線形識別モデル
線形識別モデル線形識別モデル
線形識別モデル貴之 八木
 
Integrating different data types by regularized unsupervised multiple kernel...
Integrating different data types by regularized unsupervised multiple kernel...Integrating different data types by regularized unsupervised multiple kernel...
Integrating different data types by regularized unsupervised multiple kernel...Y-h Taguchi
 
ユークリッド距離以外の距離で教師無しクラスタリング
ユークリッド距離以外の距離で教師無しクラスタリングユークリッド距離以外の距離で教師無しクラスタリング
ユークリッド距離以外の距離で教師無しクラスタリングMaruyama Tetsutaro
 
topology of musical data
topology of musical datatopology of musical data
topology of musical dataTatsuki SHIMIZU
 
introductino to persistent homology and topological data analysis
introductino to persistent homology and topological data analysisintroductino to persistent homology and topological data analysis
introductino to persistent homology and topological data analysisTatsuki SHIMIZU
 
機械学習と深層学習の数理
機械学習と深層学習の数理機械学習と深層学習の数理
機械学習と深層学習の数理Ryo Nakamura
 
線形回帰と階層的クラスタリングの実装
線形回帰と階層的クラスタリングの実装線形回帰と階層的クラスタリングの実装
線形回帰と階層的クラスタリングの実装Yuya Takashina
 
深層学習と確率プログラミングを融合したEdwardについて
深層学習と確率プログラミングを融合したEdwardについて深層学習と確率プログラミングを融合したEdwardについて
深層学習と確率プログラミングを融合したEdwardについてryosuke-kojima
 
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布パターン認識 04 混合正規分布
パターン認識 04 混合正規分布sleipnir002
 
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎ShoutoYonekura
 

Similar to 東京大学工学部計数工学科応用音響学 D2 Clustering (20)

bigdata2012ml okanohara
bigdata2012ml okanoharabigdata2012ml okanohara
bigdata2012ml okanohara
 
Hayashi tutorial ne2017
Hayashi tutorial ne2017Hayashi tutorial ne2017
Hayashi tutorial ne2017
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
 
クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能
 
主成分分析
主成分分析主成分分析
主成分分析
 
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
 
多端子情報理論のマトロイド的構造
多端子情報理論のマトロイド的構造多端子情報理論のマトロイド的構造
多端子情報理論のマトロイド的構造
 
最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)
最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)
最近傍探索と直積量子化(Nearest neighbor search and Product Quantization)
 
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
東京都市大学 データ解析入門 10 ニューラルネットワークと深層学習 1
 
線形識別モデル
線形識別モデル線形識別モデル
線形識別モデル
 
Integrating different data types by regularized unsupervised multiple kernel...
Integrating different data types by regularized unsupervised multiple kernel...Integrating different data types by regularized unsupervised multiple kernel...
Integrating different data types by regularized unsupervised multiple kernel...
 
ユークリッド距離以外の距離で教師無しクラスタリング
ユークリッド距離以外の距離で教師無しクラスタリングユークリッド距離以外の距離で教師無しクラスタリング
ユークリッド距離以外の距離で教師無しクラスタリング
 
topology of musical data
topology of musical datatopology of musical data
topology of musical data
 
introductino to persistent homology and topological data analysis
introductino to persistent homology and topological data analysisintroductino to persistent homology and topological data analysis
introductino to persistent homology and topological data analysis
 
Dive into XGBoost.pdf
Dive into XGBoost.pdfDive into XGBoost.pdf
Dive into XGBoost.pdf
 
機械学習と深層学習の数理
機械学習と深層学習の数理機械学習と深層学習の数理
機械学習と深層学習の数理
 
線形回帰と階層的クラスタリングの実装
線形回帰と階層的クラスタリングの実装線形回帰と階層的クラスタリングの実装
線形回帰と階層的クラスタリングの実装
 
深層学習と確率プログラミングを融合したEdwardについて
深層学習と確率プログラミングを融合したEdwardについて深層学習と確率プログラミングを融合したEdwardについて
深層学習と確率プログラミングを融合したEdwardについて
 
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
 
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
 

More from Hiroshi Ono

Voltdb - wikipedia
Voltdb - wikipediaVoltdb - wikipedia
Voltdb - wikipediaHiroshi Ono
 
Gamecenter概説
Gamecenter概説Gamecenter概説
Gamecenter概説Hiroshi Ono
 
EventDrivenArchitecture
EventDrivenArchitectureEventDrivenArchitecture
EventDrivenArchitectureHiroshi Ono
 
program_draft3.pdf
program_draft3.pdfprogram_draft3.pdf
program_draft3.pdfHiroshi Ono
 
nodalities_issue7.pdf
nodalities_issue7.pdfnodalities_issue7.pdf
nodalities_issue7.pdfHiroshi Ono
 
genpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdfgenpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdfHiroshi Ono
 
kademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdfkademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdfHiroshi Ono
 
pragmaticrealworldscalajfokus2009-1233251076441384-2.pdf
pragmaticrealworldscalajfokus2009-1233251076441384-2.pdfpragmaticrealworldscalajfokus2009-1233251076441384-2.pdf
pragmaticrealworldscalajfokus2009-1233251076441384-2.pdfHiroshi Ono
 
downey08semaphores.pdf
downey08semaphores.pdfdowney08semaphores.pdf
downey08semaphores.pdfHiroshi Ono
 
BOF1-Scala02.pdf
BOF1-Scala02.pdfBOF1-Scala02.pdf
BOF1-Scala02.pdfHiroshi Ono
 
TwitterOct2008.pdf
TwitterOct2008.pdfTwitterOct2008.pdf
TwitterOct2008.pdfHiroshi Ono
 
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdfstateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdfHiroshi Ono
 
SACSIS2009_TCP.pdf
SACSIS2009_TCP.pdfSACSIS2009_TCP.pdf
SACSIS2009_TCP.pdfHiroshi Ono
 
scalaliftoff2009.pdf
scalaliftoff2009.pdfscalaliftoff2009.pdf
scalaliftoff2009.pdfHiroshi Ono
 
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdfstateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdfHiroshi Ono
 
program_draft3.pdf
program_draft3.pdfprogram_draft3.pdf
program_draft3.pdfHiroshi Ono
 
nodalities_issue7.pdf
nodalities_issue7.pdfnodalities_issue7.pdf
nodalities_issue7.pdfHiroshi Ono
 
genpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdfgenpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdfHiroshi Ono
 
kademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdfkademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdfHiroshi Ono
 

More from Hiroshi Ono (20)

Voltdb - wikipedia
Voltdb - wikipediaVoltdb - wikipedia
Voltdb - wikipedia
 
Gamecenter概説
Gamecenter概説Gamecenter概説
Gamecenter概説
 
EventDrivenArchitecture
EventDrivenArchitectureEventDrivenArchitecture
EventDrivenArchitecture
 
program_draft3.pdf
program_draft3.pdfprogram_draft3.pdf
program_draft3.pdf
 
nodalities_issue7.pdf
nodalities_issue7.pdfnodalities_issue7.pdf
nodalities_issue7.pdf
 
genpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdfgenpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdf
 
kademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdfkademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdf
 
pragmaticrealworldscalajfokus2009-1233251076441384-2.pdf
pragmaticrealworldscalajfokus2009-1233251076441384-2.pdfpragmaticrealworldscalajfokus2009-1233251076441384-2.pdf
pragmaticrealworldscalajfokus2009-1233251076441384-2.pdf
 
downey08semaphores.pdf
downey08semaphores.pdfdowney08semaphores.pdf
downey08semaphores.pdf
 
BOF1-Scala02.pdf
BOF1-Scala02.pdfBOF1-Scala02.pdf
BOF1-Scala02.pdf
 
TwitterOct2008.pdf
TwitterOct2008.pdfTwitterOct2008.pdf
TwitterOct2008.pdf
 
camel-scala.pdf
camel-scala.pdfcamel-scala.pdf
camel-scala.pdf
 
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdfstateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
 
SACSIS2009_TCP.pdf
SACSIS2009_TCP.pdfSACSIS2009_TCP.pdf
SACSIS2009_TCP.pdf
 
scalaliftoff2009.pdf
scalaliftoff2009.pdfscalaliftoff2009.pdf
scalaliftoff2009.pdf
 
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdfstateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
stateyouredoingitwrongjavaone2009-090617031310-phpapp02.pdf
 
program_draft3.pdf
program_draft3.pdfprogram_draft3.pdf
program_draft3.pdf
 
nodalities_issue7.pdf
nodalities_issue7.pdfnodalities_issue7.pdf
nodalities_issue7.pdf
 
genpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdfgenpaxospublic-090703114743-phpapp01.pdf
genpaxospublic-090703114743-phpapp01.pdf
 
kademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdfkademlia-1227143905867010-8.pdf
kademlia-1227143905867010-8.pdf
 

東京大学工学部計数工学科応用音響学 D2 Clustering

  • 1. 東京大学 工学部 計数工学科 応用音響学 D2 - クラスタリング 嵯峨山 茂樹 <sagayama@hil.t.u-tokyo.ac.jp> 東京大学 工学部 計数工学科 資料所在 http://hil.t.u-tokyo.ac.jp/∼sagayama/applied acoustics/ クラスタリング k-means アルゴリズム ベクトル量子化 LBG アルゴリズム セグメンタル k-means アルゴリズム 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 1
  • 2. クラスタリング 1 内容 1. クラスタリング 2. k-means アルゴリズム、LBG アルゴリズム 3. ベクトル量子化 参考文献 原島博 監修「画像情報圧縮」オーム社 堀内 司朗、有村 一朗 監修「画像圧縮技術のはなし」工業調査会 石井 健一郎、上田 修功、前田 英作、村瀬 洋「よくわかるパターン認識」オーム社 中川 聖一「パターン情報処理」丸善 古井 貞煕「音声情報処理」森北出版 谷萩 隆嗣「音声と画像のディジタル信号処理」コロナ社 中川 聖一「確率モデルによる音声認識」コロナ社 森 健一「パターン認識」コロナ社 長尾 真「パターン情報処理」コロナ社 鳥脇純一郎「認識工学」コロナ社 Lawrence Rabiner, Biing-hwang Juang 著, 古井貞煕 監訳「音声認識の基礎」 北 研二・中村 哲・永田 昌明「音声言語処理」森北出版 http://blitz.ec.t.kanazawa-u.ac.jp/˜shinji/study/k-NN/lbg.html (LBG アルゴリズム) 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 2
  • 3. クラスタリングとベクトル量子化 クラスタリング 類似したパターン同士を同じクラスにまとめること ・階層的クラスタリング (最近隣法基準) ・k-平均アルゴリズム ・C-平均ファジィクラスタリング法   ¡ ¢ £ ¤ ¥ ¦ § ベクトル量子化 観測パターンを有限個の代表的なパターンの１つに置き換える こと ・LBG アルゴリズム 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 3
  • 4. サンプルパターンのグループ たくさんのサンプルパターン x = (a1, a2, . . . , an) という n 次元ベク トルを、n 次元空間にプロットすると、いくつかのグループに分か れる。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 4
  • 5. クラスタ 図 1. 形成されているクラスタの例 この状態を「クラスタ (cluster) が形成されている」という。 クラスタは一つのクラスに属するデータであると考えられる。 サンプルパターン x がどのクラスに属するか、あらかじめ分かって いないものを分類（教師なし学習） 。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 5
  • 6. クラスタリング クラスタリング (clustering) サンプルパターン同士の距離尺度 (あるいは類似性、近さの尺度)D を導入し、D が小さいサンプルばかりを集めて固まり（クラスタ） を作るという操作。 D1 D2 < D 3 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 6
  • 7. セントロイド (centroid) Euclid 距離の 2 乗の場合: クラスタ内歪み (ベクトル量子化誤差) : 距離の総和 D= n xi − m 2= n p (x − m )2 ij j i=1 i=1 j=1 を最小化するようなセントロイド m は何か？ j ごとに   ∂D n ∂ 2 = −2 n (x −m ) = −2   n     = (xij −mj ) ij j  xij − nmj  = 0 ∂mj i=1 ∂m i=1   i=1   とおいて、 1 n mj = xij n i=1 を得る。すなわち、 1 n m= xi n i=1 算術平均は、ユークリッド距離に関するセントロイド 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 7
  • 8. 歪み尺度 (評価関数) クラスタリングの目的 データをいくつかのクラスタに分けること 評価関数 総歪み (ベクトル量子化誤差) Nc J= x − mj 2 j=1 x∈Cj 平均ベクトル (centroid) 1 mj = x Nj x∈Cj Nc : クラスタの数 Cj : j 番目のクラスタに属するサンプル集合 Nj : Cj のサンプル数 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 8
  • 9. クラスタリング手法例 1: 単純クラスタリング 手順 閾値 T を設定する。 任意のサンプル x1 をクラスタ の中心 z1 とする。 xi(i = 2, . . . , N ) と z1 の距離 D を計算。 D ≤ T なら xi は z1 を中心とす るクラスタに属する。 D > T なら xi を新たなクラス タ中心 z2 とする。 特徴 大切なのは、閾値 T の選び方 図 2. 単純クラスタリング T や {x1, . . . , xn} の順番を変 えたりして何度かやる。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 9
  • 10. クラスタリング手法例 2: 階層的クラスタリン グ 手順 距離のもっとも近い 2 つのサ ンプルを 1 つのクラスタにま とめる。 上記の繰り返しでクラスタの 数を減らしていく。 特徴 クラスタの数を減らせる？ 欠点 計算量が多い 図 3. 階層的クラスタリング 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 10
  • 11. 階層的クラスタリング → クラスタを階層的に統合していく ボトムアップなクラスタリング手法 手法の概要 1. 各サンプルすべてをクラスタとして設定 2. クラスタを 1 つずつ統合していく (クラスタ数が 1 個ずつ減少) 3. 終了条件を満たすまで 2. を続ける 手法の特徴 クラスタリング後，クラスタ内のサンプル間における階層的な 関係を知ることができる クラスタ数を指定する必要がない → サンプルの中にいくつの パターンが内在しているか不明のときに有効 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 11
  • 12. 階層的クラスタリング (最近隣法基準) < 評価基準 >     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     < 統合方法 > クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl   ¡   ¢ £ C " 23 !¦¨¦¤ © § ¥ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 12
  • 13. 階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 22 £ ¢ ¡   ¨ § ¦ ¥ ¤ © 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 13
  • 14. 階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 21 £ ¢ ¡   ¨ § ¦ ¥ ¤ © 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 14
  • 15. 階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 19 £ ¢ ¡   ¨ § ¦ ¥ ¤ © 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 15
  • 16. 階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl    C 15 £ ¢ ¡   © ¨ § ¦ ¥ ¤ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 16
  • 17. 階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl       ¡ ¢ £ C 12¤ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 17
  • 18. 階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl     ¡ ¢ £ ¤ C 10   嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 18
  • 19. 階層的クラスタリング (最近隣法基準) 評価基準     1 C           J=  |xi − xj |   2 {x ,x }∈C   k=1    i j k     統合方法 クラスタ k とクラスタ l を統合             {k, l} = argmin   min |xi − xj |  k,l   xi∈Ck ,xj ∈Cl     ¡ ¢ £ ¤ C 8   嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 19
  • 20. 階層的クラスタリング (最近隣法基準) デンドログラム クラスタリング後，以下のようなサンプル間の階層関係が得られ る ¤ ¥ £ ¢   ¡ 終了条件は?? 評価関数値 AIC(クラスタ数が大きいほど大きなペナルティ) おまけ トップダウン的に行うこともできる 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 20
  • 21. クラスタリング手法例 3: 最大距離アルゴリズム 特徴 クラスタの中心間の距離を最大にする。 図 4. 最大距離アルゴリズム 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 21
  • 22. k-means アルゴリズム: 導入 例： ある村に多数の家が建っているとしよう。ここに n 台の郵便ポストを設置し たい。その設置法は、次の通り。(道や傾斜など地理的な状況は考えない。) (1) 各戸は、最も近いポストを使用する。→ 各戸にポスト番号を付与 (2) 各ポストはその使用者の全戸から最も近い地点に設置する。→ ポスト位置を 更新 これを適当な初期解か始めて収束するまで繰り返すのが k-means アルゴリズム の概要である。実際には、距離の定義は物理的定義とは限らず、様々な距離が用 いられる。 問題：以上を繰り返すとき最小解 (初期値によっては極小解) に収束することを証明せよ。→ 微分 などを用いないで極小解に到達できる点に注意。 問題：ポストは、どこかの家に設置する場合でも、上記のアルゴリズムは同様に収束することを 証明せよ。 問題：上記のアルゴリズムは、ユークリッド距離の場合には具体的にどのような計算となるか。 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 22
  • 23. 2-step の最小化 2-step 最小化 (実際は極小) (1) 各戸は、最も近いポストを使用する。 (各戸にポスト番号を付与) → 各戸はより近いポストに変更する → 総距離は減少 (少なくとも非増大) (2) 各ポストは、その使用者の全戸から最も近い地点に設置する。 (ポスト位置を更新) → 総距離は減少 (少なくとも非増大) 収束判定： 上記の変化が起きなくなったら停止 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 23
  • 24. 二乗 Euclid 距離に関するセントロイドの意味 n 次元ベクトルサンプル値の集合 {x1, x2, x3, · · · , xN } に対して、Euclid 距離 二乗和 N −1 D= |xi − m|2 i=0 を最小にする m (セントロイド) は、 1 N −1 m= xi (算術平均) N i=0 である。 導出: dD N −1 ∂D T = −2 (xi − m) = 0 と置く (つまり、ベクトル成分ごとに、 = dm i=0 ∂mj N −1 −2 (xij − mj ) = 0, j = 1, · · · , n と置く) ことにより、 i=0 N −1 1 N −1 xi = N m すなわち、m = xi を得る。 i=0 N i=0 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 24
  • 25. k-means アルゴリズム (Lloyd アルゴリズム) k 個のクラスタを作るアルゴリズム。(適切な k は未解決問題。) 2 ステップの歪み最小化 (実は極小化) の繰り返しアルゴリズム (収束) 初期解: 適当に (ランダムに)k 個の仮セントロイドを決めて開始。 Step 1: セントロイドに従って全サンプルをクラスタ再分類 → D 減少 Step 2: クラスタのサンプルからセントロイドを再計算 → D 減少 以上を収束するまで繰り返す。 図 5. k-means アルゴリズムの 2 ステップ: (1) cluster 再分類、(2) centroid 再計算 – 境界線 (赤) は Voronoi 図になっている 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 25
  • 26. k-means アルゴリズムの特徴 クラスタ重心とクラスタ境界を繰返し計算により更新していく手 法 手法の特徴 クラスタ重心の収束性が保証されている 少ない計算量 • サンプルとセントロイド間の距離 (kN 個) を繰り返し計算 • しかし、サンプル間の距離 (N (N − 1)/2 個) は不要 クラスタ数を指定する必要がある→ サンプルの中にいくつの パターンが内在しているか明らかなときには有効 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 26
  • 27. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 27
  • 28. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 28
  • 29. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 29
  • 30. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 30
  • 31. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 31
  • 32. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 32
  • 33. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 33
  • 34. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 34
  • 35. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 35
  • 36. k-means アルゴリズム 評価基準 C J= (xi − µk )2 k=1 xi∈Ck 境界の更新 クラスタ重心 各重心間の中点 (2 次元なら垂直二等分線) を境界とする 重心の更新値 評価基準の µk についての偏微分が 0 となる µk 1 µk = ¯ xi nk xi∈Ck   ¡ ¢ £ 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 36
  • 37. クラスタリングとは クラスタ決定の「良さ」の基準の最適化 クラスタ数 C 基準の例) J= || x − mi i=1 x∈Ci 全クラスタに クラスタ i クラスタ中心 ついて について ◎基準の設け方と最適化方法に応じて，様々なアルゴリズムがある 階層的クラスタリング (最近隣法基準) k-平均アルゴリズム C-平均ファジィクラスタリング法 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 37
  • 38. C-平均ファジィクラスタリング → クラスタ重心とクラスタ帰属度を 繰返し計算により更新していく手法 手法の概要 1. クラスタ重心の初期設定 2. クラスタ帰属度を求める 3. クラスタ内のサンプルの重心を求める (クラスタ重心の更新) 4. 収束条件を満たすまで 2. と 3. を繰り返す 手法の特徴 1 つのサンプルが複数のクラスタに属することを想定 クラスタ重心の収束性が保証されている クラスタ数を指定する必要がある → サンプルの中にいくつの パターンが内在しているか明らかなときに有効 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 38
  • 39. C-平均ファジィクラスタリング 帰属度 pik …サンプル xi がクラスタ Ck に属する割合 C pik = 1 0 ≤ pik ≤ 1 k=1 ファジィネス P 評価基準 JP n−1 C JP = (pik )P |xi − µk |2 i=0 k=1 k -means アルゴリズムと異なるところ 帰属度とクラスタ重心の更新値 n−1 1 (pik )P xi pik = ¯   1 µk = i=0 ¯ n−1 C |xi − µk    |  P −1 (pik )P       i=0 j=1 |xi − µj |   嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 39
  • 40. k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法 ¡   ¢ £ ¨¦¤ © § ¥ $¨ 1 z1 # ! 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 40
  • 41. k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法 ¡   ¢ £ ¨¦¤ ! © § ¥ z2 78564'1 )'%# 3 2 0 ( $ 2 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 41
  • 42. k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法   ¡ ¢ £ z2 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 42
  • 43. k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法 ¡   ¢ £ z3 ¨¦¤ ! © § ¥ z2 674530 ($# 2 1 ) ' % 3 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 43
  • 44. k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法   ¡ ¢ £ z3 z2 z1 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 44
  • 45. k-means アルゴリズムC-平均ファジィクラスタリング クラスタ重心の初期設定は?? ミニマックス法   ¡ ¢ £ z3 z2 z1 z4 嵯峨山 茂樹: 応用音響学 D2-Clustering edu/appl-acoust/2003/D2-Clustering.tex / 45