SlideShare a Scribd company logo
1 of 19
異常検知と変化検知
7章 方向データの
異常検知
担当 株式会社VOYAGE GROUP 中野智文
2015/11/04 機械学習プロフェッショナルシリーズ輪読会
扱うデータ
距離が1
補足スライド:方向データ
• 自然言語処理のよくありそうなパターン
• 文書の語彙をbag of wordsにして
• それを更にTF-IDFで重み付け
• それらさらに重み合計1に正規化
• 次元圧縮行列(これがミソ)を使って、ベクトル化
• ベクトル化されたものを距離1で正規化
• これを使って分類や最近傍法を行う
補足スライド:方向データ
1で正規化されているので
1で正規化されているので
正規化されていれば(方向データは)cosでも距離でも同じ意味となる
cos類似度の場合:
ユークリッド距離の場合:
球体の上の正規分布?
フォンミーゼス・フィッシャー分布
平均方向 集中度
第一種変形ベッセル関数
(7.1)
(7.2)
フォンミーゼス・フィッシャー分布
(疑問1) 一周(3.14)したら0にもどるはず… πが最小値なのでは?
(疑問2) 確率密度分布は全部合計したら、1になるはず。しかしそ
のようには見えない…
7.2 平均方向の最尤推定
ただし (7.3)
最尤推定
を制約にラグランジュの未定乗数法にて
ただし
(7.4)
これを解くと、
より
を使って
最後に
その解き方
方向データの異常度とその確率分布
(7.5)
(1) 最尤推定量 の確率分布
(2) の確率分布が必要。
(1)
を とみなす。
置換積分 デルタ関数の基本性質(2.20) ↑ より
sinθ
cosθ
式(2.19) ※おそらく誤植なので勝手に修正しています
定期式(2.10)より、自由度M-1、スケール因子1/(2κ)のカイ二乗分布
a<<1 より次のように近似
定理7.1 (方向データの異常度の確率分布)
のとき、κが十分大きければ、近似的に
(7.6)
7.4 積率法にいよるカイ二乗分布の当てはめ
• カイ二乗分布に従うことは分かったが、パラメータは分からない。
• 積率法(モーメント法)による当てはめ
これから
(7.8) (7.9)
(7.7)
7.5 補足:フォンミーゼスフィッシャー分布の
性質
あまりこの章が興味なさそうなので、省略

More Related Content

What's hot

What's hot (20)

スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
 
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
 
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留するモデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
 
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
 
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
 
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
 
文献紹介:TSM: Temporal Shift Module for Efficient Video Understanding
文献紹介:TSM: Temporal Shift Module for Efficient Video Understanding文献紹介:TSM: Temporal Shift Module for Efficient Video Understanding
文献紹介:TSM: Temporal Shift Module for Efficient Video Understanding
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
 
Sliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデルSliced Wasserstein距離と生成モデル
Sliced Wasserstein距離と生成モデル
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
 
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解する
 
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
 
[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景[DL輪読会]1次近似系MAMLとその理論的背景
[DL輪読会]1次近似系MAMLとその理論的背景
 
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
 
【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...
【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...
【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...
 
【DL輪読会】Perceiver io a general architecture for structured inputs &amp; outputs
【DL輪読会】Perceiver io  a general architecture for structured inputs &amp; outputs 【DL輪読会】Perceiver io  a general architecture for structured inputs &amp; outputs
【DL輪読会】Perceiver io a general architecture for structured inputs &amp; outputs
 

More from 智文 中野

More from 智文 中野 (9)

ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
 
ロケーションエンジンの紹介
ロケーションエンジンの紹介ロケーションエンジンの紹介
ロケーションエンジンの紹介
 
ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用
 
モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定
 
Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用
 
6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト
 
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
 
ノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリングノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリング
 
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
 

異常検知と変化検知 7章方向データの異常検知

Editor's Notes

  1. \cos(\bm{x}, \bm{y}) = \frac{\bm{x}\cdot\bm{y}}{|\bm{x}||\bm{y}|} \cos(\bm{x}, \bm{y}) = \bm{x}\cdot\bm{y} (\bm{x}-\bm{y})^2 = |\bm{x}|^2+2\bm{x}\cdot\bm{y}+|\bm{y}|^2 (\bm{x}-\bm{y})^2 = 2\bm{x}\cdot\bm{y} + 2
  2. \mathcal{M}(\bm{x} | \bm{\mu}, \kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}\exp(\kappa \bm{\mu}^{\top} \bm{x} ) I_{\alpha}(\kappa) = \frac{2^{-\alpha}\kappa^{-\alpha}}{\sqrt{\pi} \Gamma(\alpha + (1/2))}\int_0^{\phi}d\phi \sin^{2\alpha}\phi e^{\kappa \cos \phi}
  3. L(\bm{\mu}, \kappa | \mathcal{D}) = \ln \prod_{n=1}^{N}c_{M}(\kappa) e^{\kappa \bm{\mu}^{\top} \bm{x}^{(n)}} = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) c_{M}(\kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}
  4. L(\bm{\mu}, \kappa | \mathcal{D}) = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) \bm{\mu}^{\top}\bm{\mu} = 1 0 = \frac{\partial}{\partial \bm{\mu}} \bigg\{ L(\bm{\mu}, \kappa | \mathcal{D}) - \lambda \bm{\mu}^{\top} \bm{\mu} \bigg\} = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu}
  5. 0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)}
  6. 0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)} \frac{\kappa \bm{m}}{2 \bm{\mu}} = \lambda \bm{\mu}^{\top}\bm{\mu} = 1 \frac{\kappa^2 \bm{m}^{\top}\bm{m}}{2^2 } = \lambda^2 \frac{\kappa \sqrt{\bm{m}^{\top}\bm{m}}}{2 } = \lambda \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}}
  7. a(\bm{x}') = 1 - \hat{\bm{\mu}}^{\top}\bm{x}' \hat{\bm{\mu}}^{\top}\bm{x}'
  8. q(z) = \int_{-\infty}^{\infty}d\bm{x}\delta(z-f(x_{1},...,x_{M}))p(x_{1},...,x_{M}) p(a) =\int_{S_M}d\bm{x}\delta(a-(1-\hat{\bm{\mu}}^{\top}\bm{x}))c_{M}(\kappa)\exp(\kappa \hat{\bm{\mu}}^{\top} \bm{x}) p(a) \propto \int_{0}^{\pi}d\theta_1 \sin^{M-2}\theta_1 \delta(a-(1-\cos \theta_1))\exp(\kappa \cos \theta_1) q(z) = \int_{-\infty}^{\infty}dx\delta(x-b)f(x)=f(b) p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a))
  9. p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a)) p(a) \propto a^{(M-1)/2-1}\exp(-\kappa a)
  10. \bm{x'} \sim \mathcal{M}(\bm{\mu},\kappa) 1-\bm{\mu}^{\top}\bm{x'} \sim \chi ^2\bigg(M-1,\frac{1}{2\kappa}\bigg)
  11. \langle a \rangle = \int_{0}^{\infty} da \ a \chi^2(a|m,s) = ms \langle a^2 \rangle = \int_{0}^{\infty} da \ a^2 \chi^2(a|m,s) = m(m+2)s^2 \langle a \rangle \approx \frac{1}{N}\sum_{n=1}^{N} a^{(n)} \langle a^2 \rangle \approx \frac{1}{N}\sum_{n=1}^{N} (a^{(n)})^2 \hat{m}_{\mbox{mo}} = \frac{2\langle a \rangle ^2}{\langle a^2 \rangle - {\langle a \rangle}^2} \hat{s}_{\mbox{mo}} = \frac{\langle a^2 \rangle - {\langle a \rangle}^2}{2\langle a \rangle ^2}