Suche senden
Hochladen
マハラノビス距離を用いた異常値検知
•
Als PPTX, PDF herunterladen
•
3 gefällt mir
•
3,653 views
Y
Yuto Mori
Folgen
Anomaly detection using Mahalanobis distance
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 46
Jetzt herunterladen
Empfohlen
Sift特徴量について
Sift特徴量について
la_flance
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
Yuto Mori
物体検出の歴史(R-CNNからSSD・YOLOまで)
物体検出の歴史(R-CNNからSSD・YOLOまで)
HironoriKanazawa
Empfohlen
Sift特徴量について
Sift特徴量について
la_flance
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
Yuto Mori
物体検出の歴史(R-CNNからSSD・YOLOまで)
物体検出の歴史(R-CNNからSSD・YOLOまで)
HironoriKanazawa
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
スパースモデリング入門
スパースモデリング入門
Hideo Terada
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
MPRG_Chubu_University
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
動的輪郭モデル
動的輪郭モデル
Arumaziro
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
Toru Tamaki
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
cvpaper. challenge
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
強化学習における好奇心
強化学習における好奇心
Shota Imai
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Weitere ähnliche Inhalte
Was ist angesagt?
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
Deep Learning JP
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
スパースモデリング入門
スパースモデリング入門
Hideo Terada
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
MPRG_Chubu_University
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
動的輪郭モデル
動的輪郭モデル
Arumaziro
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
Toru Tamaki
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
cvpaper. challenge
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
強化学習における好奇心
強化学習における好奇心
Shota Imai
Was ist angesagt?
(20)
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
[DL輪読会]Control as Inferenceと発展
[DL輪読会]Control as Inferenceと発展
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
スパースモデリング入門
スパースモデリング入門
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
動的輪郭モデル
動的輪郭モデル
はじパタ8章 svm
はじパタ8章 svm
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
全力解説!Transformer
全力解説!Transformer
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
【解説】 一般逆行列
【解説】 一般逆行列
強化学習における好奇心
強化学習における好奇心
Kürzlich hochgeladen
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Kürzlich hochgeladen
(9)
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
マハラノビス距離を用いた異常値検知
1.
マハラノビス距離を用いた 異常値検知 Anomaly detection using
Mahalanobis distance 公立はこだて未来大学 森雄斗 1
2.
概要 教師なし学習により、データのパターンを学習させ、パ ターンから外れたデータを異常値として検出する。 検出方法は、マハラノビス距離(Mahalanobis Distance)を 利用する。 2
3.
様々な距離測定 ユークリッド距離 マンハッタン距離
マハラノビス距離 チェビシェフ距離 ミンコフスキー距離 … 3
4.
マハラノビス距離とは データの各方向への散らばり具合まで 考慮した「データ群からの距離」 データに相関関係が強いほど等距離線 が楕円になる http://sky.geocities.jp/rdhdf849/maharanobis.htm 4
5.
ユークリッド距離と マハラノビス距離 ユークリッド距離=等距離線が円 マハラノビス距離=等距離線が楕円 右図のAとCはユークリッド距離を用いると等距 離だが、マハラノビス距離を用いると等距離で ない。 人間から見ても、マハラノビス距離が一番離れ ている点Aが外れ値だと判断できる。 →マハラノビス距離が大きいほど異常度が高い 5
6.
実験環境 Python 3.6.0 Pandas,
Matplotlib, Numpy, Scipy, Axes3D 実際のデータ(全てが正常値) MachineA.csv → 22673個 × 3 (X軸, Y軸, Z軸) MachineB.csv → 18703個 × 3 (X軸, Y軸, Z軸) 6
7.
データ入力(MachineA, X軸)7
8.
データ入力(MachineA, Y軸)8
9.
データ入力(MachineA, Z軸)9
10.
データ入力(MachineA) 特徴 • Y軸は-0.25~0.35と範囲が狭い • Z軸は0以上 •
時系列における定まった分布 (振動など)が存在しない 10
11.
MachineAの相関関係(X-Y)11
12.
MachineAの相関関係(X-Z)12
13.
MachineAの相関関係(Y-Z)13
14.
MachineAの相関関係 特徴 • X-Zグラフは負の相関が強い • 重心に点が集中している 14
15.
MachineAのマハラノビス距離15
16.
正確性の吟味 閾値を0.92に設定 ↓ Mahalanobis
Distance > 0.92 が成り立つ値を異常値と仮定する 右図の赤点が異常値 16 基準に近い閾値を0.03に設定 ↓ Mahalanobis Distance < 0.03 が成り立つ値を基準に近い標本と仮定する 右図の緑点が基準に近い標本
17.
正確性の吟味 赤:異常値 緑:基準に近い標本 17
18.
正確性の吟味(相関)18 赤:異常値 緑:基準に近い標本
19.
正確性の吟味 疑問 Y軸の値はあまり重要視されてない..? 推測 X軸の範囲とZ軸の範囲に対して,
Y軸の範囲 が狭い(X: 1.0, Y: 0.6, Z: 2.0) 19
20.
同様の処理をMachineBに 20
21.
データ入力(MachineB, X軸)21
22.
データ入力(MachineB, Y軸)22
23.
データ入力(MachineB, Z軸)23
24.
データ入力(MachineB) 特徴 • X軸は-0.4~0.4と範囲が狭い • X軸のばらつきが大きい •
Z軸は0以上 24
25.
MachineBの相関関係(X-Y)25
26.
MachineBの相関関係(X-Z)26
27.
MachineBの相関関係(Y-Z)27
28.
MachineBの相関関係 特徴 • X-Yグラフは負の相関が強い • Y-Zグラフは正の相関が強い •
X-Zグラフはばらつきが大きい 28
29.
MachineBのマハラノビス距離29
30.
正確性の吟味 閾値を1.12に設定 ↓ Mahalanobis
Distance > 1.12 が成り立つ値を異常値と仮定する 右図の赤点が異常値 30 基準に近い閾値を0.09に設定 ↓ Mahalanobis Distance < 0.09 が成り立つ値を基準に近い標本と仮定する 右図の緑点が基準に近い標本
31.
正確性の吟味31 赤:異常値 緑:基準に近い標本
32.
正確性の吟味(相関)32 赤:異常値 緑:基準に近い標本
33.
正確性の吟味 結果 MachineAよりも正しく判断されている 推測 X,
Y, Zそれぞれに強い相関関係があるから 33
34.
3D plot(MachineA)34
35.
3D plot(MachineA)35
36.
3D plot(MachineA)+Mahalanobis36 外れ値: Mahalanobis
Distance > 0.87 基準に近い標本: Mahalanobis Distance < 0.04
37.
3D plot(MachineA)+Mahalanobis37 外れ値: Mahalanobis
Distance > 0.87 基準に近い標本: Mahalanobis Distance < 0.04
38.
MD>0.87, MD<0.04 のみ描写38 外れ値:
Mahalanobis Distance > 0.87 基準に近い標本: Mahalanobis Distance < 0.04 MD=Mahalanobis Distance
39.
3D plot(MachineB)39
40.
3D plot(MachineB)40
41.
3D plot(MachineB)+Mahalanobis41 外れ値: Mahalanobis
Distance > 1.00 基準に近い標本: Mahalanobis Distance < 0.13
42.
3D plot(MachineB)+Mahalanobis42 外れ値: Mahalanobis
Distance > 1.00 基準に近い標本: Mahalanobis Distance < 0.13
43.
MD>1.00, MD<0.13 のみ描写43 外れ値:
Mahalanobis Distance > 1.00 基準に近い標本: Mahalanobis Distance < 0.13
44.
ダミーを追加する (成功例)44 MachineAにDummyを追加する。 Dummy(-0.72, 0.52,
0.52) → Mahalanobis Distance: 1.06281239 異常値をMahalanobis Distance >1.06に設定 Dummy
45.
ダミーを追加する (失敗例)45 MachineAにDummyを追加する。 Dummy(-0.62, 0.52,
0.52) → Mahalanobis Distance: 0.99120379 異常値をMahalanobis Distance >1.10に設定 Dummy 2つとも実際の正常データ
46.
まとめ 実際のデータをグラフにして特徴を調べた X,
Y, Z軸のデータをマハラノビス距離に変換して正確性を確かめた 実際のデータからマハラノビス距離を視覚化できた ダミーを追加して異常値として検出するかを確かめた 著しく離れたデータの検出は可能だが、正常値を異常値にする場合がある 46
Jetzt herunterladen