R実践機械学習による異常検知 02

入門機械学習異常検知
－ R 実践－
2
大國

1
題材
• 井手剛 2015 ,
入門機械学習異常検知－ R 実
践－ , コロ社
– 著者記書籍訳者一人
• タン認識機械学習第12章巻
• 統計的学習基礎 ― タマン推論予測―
第6章

2
本書目次
• 1 異常検知基本的考え方
• 2 正規布従うタ異常検知
• 3 非正規タ異常検知
• 4 性能評価方法
• 5 要次元含タ異常検知
• 6 入力出力あタ異常検知
• 7 系列タ異常検知
• 8 くあそ対処法
本資料内容

3
2 正規布従うタ異常検知
内容
• 2章内容 ★ 印部本資料掲載
– 2.1 異常検知手流
– 2.2 1変数正規布基く異常検知
– 2.3 1変数ン理論詳細
– 2.4 多変量正規布基く異常検知
– 2.5 多変数ン理論詳細
– 2.6 マビ = タチ法
– 2.7 t 布異常定
– 2.8 ン理論課題
★
★
★
★
★

4
2章前 1/2
• 2章多くン理論割い
– ン理論そ応用マビタチ法 MT法
日本特製造業現場広く使わいいう現実考慮構成
• ン理論異常検知理論エセン最重要部いうわい
• 筆者ン理論＋MT法限界課題明示強調？い
– 理論く実用役立ばいい実際ン理論うく使
え場面限いう実感 p.57
– ン理論例えば半体プロセ制御実用化い一般的
方法妥当非常く制御値静的一定値う状
況い p.58
– 本書 3章以降考えいう
• 幸い 2000 代半ば統計的機械学習実用的異常検知枠組多
様問題適用うン理論位置変わ
あ p.57
• 次章以降記う課題 ※2.8節念頭機械学習観点異
常検知手法見ゆ p.58

5
2章前 2/2
• 2章方
– ン理論必要以意識
– 3章以降機械学習的部
あ種準備運動 ≠異常検知エセン
くい気持ばい
あく私見

7
2. 正規布従うタ異常検知 1/31
• 2.1 異常検知手流 1/4
– ン理論
• 多変量解析外値検出手法
• いわば異常検知典理論
– 外値検出問題念頭置い異常値検知流
• 0 準備
• 1 プ1 布推定
• 2 プ2 異常度定義
• 3 プ3 閾値設定

8
• 2.1 異常検知手流 2/4
– 0 準備
• タ準備 M次元観測値 N個
• タ中異常観測値含いい
含いそ影響無視仮定
– 1 プ1 布推定
• タ性質応適確率布仮定
• タ θ
• 典型的布推定問題
{ })()2()1(
,,, N
xxxD L=
決問題タ未知)|( Dxp θθ

9
• 2.1 異常検知手流 3/4
– 2 プ2 異常度定義
• 観測値 x 対予測布
– D 変数くタ条件付確率表記使う本来
誤用
– タ D 情報使未知量決後布
いう意味く使わ
• 新観測値 x’ 対異常度
– 異常度定義
» 情報理論的筋通
» 正規布形密接関係
– ⇒付録 A.4.1 理論的議論あ
)|( Dxp
)|'(ln)'( Dxpxa −=

10
• 2.1 異常検知手流 4/4
– 3 プ3 閾値設定
• 異常度決定閾値設定異常検知可能
• 理想的
– 正常異常度確率布明示的求
観測値理論的発生確率異常定行う
– 一般異常度確率布明示的求簡単い
• 経験的
– 正常信タ D 割合位点センタ
使う普通
– 複雑無関係常計算可能実用い便利

12
• 2.2 1変数正規布基く異常検知 1/6
– 2.2.1 プ1 布推定
– 2.2.2 プ2 異常度定義
• 式 2.3 異常度定義
– 対数取整え
表う値確率得うい任意観測値予測布
代入式最尤推定タ
式
)ˆ,ˆ|((2.3)ˆ,ˆ
)(
2
1
exp
)2(
1
),|((2.3)
22
2
22/12
2
x'
xN
xxN
σµσµ
µ
σπσ
σµ
→






−−=
2
2
2
ˆ
)ˆ'(
1
(2.6) 




 −
=−≡
σ
µ
µ
σ
x
xa(x')式
子標本均
母ば正規化

13
– 2.2.3 プ3 閾値設定
• 正規布仮定 a(x’) 確率布明示的出可能
• a(x’) ば原因
– 観測値 x’ 自体ば
– 推定タ D ば標本限性必然
• 正規布仮定基い異常度確率布うく？
統計学外値理論詳細 2.3節
• ン理論ン統計量ン T2 次頁
• 基本的統計的仮検定同手思い

14
– 2.2.3 プ3 閾値設定
{ } ( )
)1,1(~)'((2.8)
11)'(1
)1,1(~)'(
1
1
(2.7)
F)1,1(
)'((2.6)'
,,,1
12.1
2
2)()1(
χ
σµ
xa
xaN
NFxa
N
N
N
xax
NxxD N
式
乗布従う因子そ自由度特
式
布従うわ自由度
定数倍式う同布独立従新観測値
従い布各観測値独立同次元観測タ
変数布ン統計量定理
>>
−
+
−
−
= K
ン統計量 or ン T2

15
– 2.2.4 R 実行例
• 使用 car Davis タ
※ car タ使う目的
• weight 体重 1変数使異常検知
– 後段 2.4 節 weight 体重 height 身長 2変数
即多変数場合異常検知行う

17
• 2.2.4 R 実行例 6/6
プ
– weight 体重布
正規布
タ計算
– 各異常度算出
– 乗布 ※近似
基く閾値設定
そ閾値超い
確認
右

18
2.4 多変量正規布基く異常検知

19
• 2.4 多変量正規布基く異常検知 1/7
• 1変数ン理論 ⇒ 2変数以張
• 独立同布従う M 次元 N 個観測値タ D 想定
• 多次元正規布式(2.30) 化
– ※式複雑そう見え
» 基本的形 1変数正規布同
» ン理論枠組
最終的使う異常度布近似的乗布
– 正規布仮定いう
» タ布山いい安定い
» 淡々生産続工場設備異常定いう






−Σ′−−
Σ
=Σ −
−
)()(
2
1
exp
)2(
),|((2.30) 1
2/
2/1
µµ
π
µ xxxN M
式

20
– 2.4.1 プ1 多次元正規布最尤推定
– 2.4.2 プ2 異常度定義
• 1変数場合同様負対数尤度 2倍式 2.35
• ⇒ 観測タ x’ 標本均 μ い表
• ⇒マビ距 2乗
– ば大応異常度定義
» 正常ばい少見逃い
» 正常ば大い多少ば大目見
• M 次元系全体要約一値計算
– 異常度 a(x’) 高い x’ 変数？
– ン理論そ問題ン理論課題 2.8節
)ˆ'(ˆ)ˆ'()(2.35 1
µµ −Σ′−=′ −
xxxa式
∑
∑
=
=
′−−≡Σ=Σ
=
N
n
nn
N
n
n
xx
N
x
N
1
)()(
1
)(
)ˆ)(ˆ(
1ˆ(2.34)
1
ˆ(2.32)
µµ
µ
式
式

21
– 2.4.3 プ3 閾値設定ン T2 理論
( ) { }
( )
乗布従う因子近似的自由度場合
布従う自由度量く統計式
従う次元ウ布行列由度統計的独立自
次元正規布従う共散均
以成立新観測独立標本
定義式標本共散式標本均
基個独立標本次元正規布
理論多変数ン定理
1)(4.
),()(
)1(
2.353.
1ˆ2.
1
01.
,
2.34ˆ2.32ˆ
,,,
T2.6
)()1(
2
MxaMN
FMNMxa
MN
MN
MNxN
M
N
N
x
xN
xxNNM N
′>>
−′
+
−
Σ−−′Σ
Σ
+
−′
′Σ
Σ
Σ
µ
µ
µ
µ
µ K
)ˆ(ˆ)ˆ(
)1(
2.36 12
µµ −′Σ−′
+
−
≡ −
xx
MN
MN
T T
式ン統計量ン T2

23
– 2.4.4 R 実行例
• 使用 car Davis タ
• weight 体重 height 身長 2変数使う
• 流同 ※言葉 1変数場合微妙変えあ
– タ準備閾値確率値設定
– プ1 標本均標本散計算
– プ2 異常度計算
– プ3 異常定

24
• 2.4.4 R 実行例 6/7
#出力用P）Fファイルに関設定
じmg.name <- paste("じmg_eで_「.4-5", ".p”f", sep="")
p”f(fじle = じmg.name, famじlと = "Japan1Gotしじ“BBB")
# ッー読み込み
#じnstall.pa“kages("“ar") #インール未済場合実行
lじbrarと(“ar)
#================================================================
# ータ確認
#================================================================
# てeじgしt しeじgしt 「変数ータ行列作成
で <- “bじn”(）aづじs$てeじgしt, ）aづじs$しeじgしt)
str(で)
# 散布図
plot(で[, 1], で[, 「],
p“し = 16,
maじn = "図「.5 ）aづじs ータ体重身長に関散布図",
でlab = "てeじgしt", とlab = "しeじgしt"
)
#================================================================
# 多変量正規分布に基く異常検知実行例
#================================================================
#------------------------------
# ップ0：閾値設定
#------------------------------
# カイ二乗分布を基にた閾値設定
(tし <- q“しじsq(0.99, 「)) #1%基準、自由度「
#------------------------------
# ップ1：分布推定
#------------------------------
# 標本平均(ベル)
(mつ <- applと(で, 「, mean))
# で - μ 算出(中心化)
で“ <- で - matrじで(1, nroて(で), 1) %*% mつ
# 標本分散(共分散行列)
(“oづ <- t(で“) %*% で“ / nroて(で))
#------------------------------
# ップ「：異常度計算
#------------------------------
# 式(「.」5)によ異常度定義 --> マラ距離( 「乗)
a <- applと((で“ %*% solづe(“oづ)) * で“, 1, sつm)
str(a)
#------------------------------
# ップ」：閾値設定
#------------------------------
# 異常度判定作図
plot(a,
maじn = "図「.」）aづじs ータ体重身長「変数に関異常度",
でlab = "標本番号", とlab = "異常度"
)
lじnes(0:「00, rep(tし, lengtし(0:「00)), “ol = "re”", ltと = 「) #閾値
#================================================================
# 出力
#================================================================
# イを閉
”eづ.off()

25
• 2.4.4 R 実行例 7/7

27
• 2.6 マビタチ法
– 2.6.1 手法概要
• ン理論多変量
– 全系総合的異常度あ
– 個変数異常度い
• マビタチ法 MT法 MT MTS
– ン統計量 or マビ距基く
外値検出手法加え
– 異常変数選択手法組入

29
– 手 2.3 マビタチ法
• 経験的指標 SNq 入
– 変数集合 q 対 SN 比
– aq タン q 対応 Mq × Mq 次元共散行列
使異常度
– SN 比部
» 子 =1 正常状態 1変数当異常度期待値
» 母異常状態 1変数当異常度
• SNq 見方
– 1変数見場合
» q M 通 Mq = 1
» 第 q 変数 N’個異常例大半大く寄い
1変数当異常度大変大く
⇒ SNq 大く
⇒ SNq 見ば変数 q 異常定用性
– 複数変数考え場合実験計画法直交表利用

30
– 2.6.2 R 実行例
• MASS road タ
• road タ内容
– 26州
– deaths 交通死亡故者数
– drivers 運転者数
– popden 人密度
– rural 郊外地区道路延長距
– temp 1 1日最高気温均値
– fuel 1 燃料消費量
• プロやい
– 26州い州比異常 ※あく取
いタ限定州いそ原因い考
え変数マビタチ法 MT法特定
– temp drivers 割奇異計算

31
• 2.6.2 R 実行例 ※一部省略
※前略
> #================================================================
> # ータ確認準備
> #================================================================
> #------------------------------
> # ータ確認
> #------------------------------
> ”ata(roa”)
> str(roa”)
'”ata.frame': 「6 obs. of 6 づarじables:
$ ”eatしs : じnt 968 4」 588 640 474」 566 」「5 118 115 1545 ...
$ ”rじづers: じnt 158 11 91 9「 95「 109 167 」0 」5 「98 ...
$ pop”en : nつm 64 0.4 1「」4 100 ...
$ rつral : nつm 66 5.9 」」 7」 118 7」 5.1 」.4 0 57 ...
$ temp : じnt 6「」0 64 51 65 4「」7 41 44 67 ...
$ fつel : nつm 119 6.「 65 74 105 78 95 「0 「」「16 ...
> しea”(roa”)
”eatしs ”rじづers pop”en rつral temp fつel
Alabama 968 158 64.0 66.0 6「 119.0
Alaska 4」 11 0.4 5.9 」0 6.「
Arじzona 588 91 1「.0 」」.0 64 65.0
Arkanas 640 9「」4.0 7」.0 51 74.0
（alじf 474」 95「 100.0 118.0 65 105.0
（olo 566 109 17.0 7」.0 4「 78.0

32
> sつmmarと(roa”)
”eatしs ”rじづers pop”en rつral
Mじn. : 4」.0 Mじn. : 11.0 Mじn. : 0.40 Mじn. : 0.00
1st Qつ.: 571.5 1st Qつ.: 86.5 1st Qつ.: 」1.75 1st Qつ.: 」0.00
Me”じan : 799.5 Me”じan :148.5 Me”じan : 66.00 Me”じan : 65.50
Mean :1000.7 Mean :191.「 Mean : 595.74 Mean : 60.71
」r” Qつ.:1「65.8 」r” Qつ.:「「6.「」r” Qつ.: 1」5.00 」r” Qつ.: 9」.50
Maで. :474」.0 Maで. :95「.0 Maで. :1「5「4.00 Maで. :1「4.00
temp fつel
Mじn. :「「.00 Mじn. : 6.「0
1st Qつ.:」」.75 1st Qつ.: 67.「5
Me”じan :41.50 Me”じan :104.50
Mean :4」.69 Mean :115.「4
」r” Qつ.:5」.「5 」r” Qつ.:154.50
Maで. :67.00 Maで. :」50.00
> plot(roa”)
>
plot 散布出力

34
> #================================================================
> # MT法によ異常検知実行例
> #================================================================
> #------------------------------
> # ップ1：標本平均、標本分散計算
> #------------------------------
> # 標本平均(ベル)
> (mつ <- applと(で, 「, mean))
[1] 1.8585916 0.668448」 0.」48965」 0.」671115 0.5「64756
>
> # で - μ 算出(中心化)
> で“ <- で - matrじで(1, nroて(で), 1) %*% mつ
>
> # 標本分散(共分散行列)
> (“oづ <- t(で“) %*% で“ / nroて(で))
[,1] [,「] [,」] [,4] [,5]
[1,] 0.14157「989 -0.147619580 0.0」4」1「5「8 0.00669「856 0.01「110」56
[「,] -0.147619580 1.」154」」86」 -0.1「9「75「78 0.10」6」」5「7 -0.004655647
[」,] 0.0」4」1「5「8 -0.1「9「75「78 0.054」4「「46 0.01「1「6「」6 0.008」17778
[4,] 0.00669「856 0.10」6」」5「7 0.01「1「6「」6 0.08「911「」6 0.00「」1685」
[5,] 0.01「110」56 -0.004655647 0.008」17778 0.00「」1685」 0.0089「776「
>

35
> #------------------------------
> # ップ「：異常度計算
> #------------------------------
> # マラ距離( 「乗) 異常度 a1 を変数数割
> # -->1変数当た異常度算出
> a <- applと((で“ %*% solづe(“oづ)) * で“, 1, sつm) / n“ol(で)
>
> #------------------------------
> # ップ」：異常判定1
> #------------------------------
> # 異常度判定作図(※閾値を1 い )
> plot(a,
+ maじn = "図「.7(a) roa” ータ各標本 1変数当た異常度",
+ でlab = "標本番号", とlab = "異常度"
+ )
> lじnes(0:」0, rep(1, lengtし(0:」0)), “ol = "re”", ltと = 「)
>
5 異常標本存伺え
標本番号 2, 5, 9, 19, 26 5 最異常

36
> #------------------------------
> # ップ4：異常判定「
> #------------------------------
> # 行列に列名、行名を入 (復活させ )
> “olnames(で“) <- “("”eatしs", "pop”en", "rつral", "temp", "fつel")
> roてnames(で“) <- “(
+ "Alabama",
中略
+ "Mont"
+ )
>
> #+++++++++++++++
> # 異常標本
> #+++++++++++++++
> # 5番目標本("（alじf")におけ SN比算出作図
> samp.no = 5
> で“「 <- で“[samp.no, ]
> sn <- 10 * log10(で“「^「 / ”じag(“oづ))
> str(sn)
Name” nつm [1:5] -14.6」11 -6.0951 -0.0」7」 0.」87 1「.9957
- attr(*, "names")= “しr [1:5] "”eatしs" "pop”en" "rつral" "temp" ...
> barplot(sn, maじn = paste(samp.no, "_", roてnames(で“)[samp.no], sep = ""))
fuel 飛抜高い値
そ 0 近傍以
※負 SN比偏差標準偏差表
⇒ 異常 fuel 帰う
解釈

37
– そ州 SN比フ抜粋
• 異常正常
• いく州い出力出力PDF参照
異常標本番号 9 正常標本番号 1 標本番号 8

40
• 2.8 ン理論課題
– 実用課題
• 1 タ生成単一正規布従ういう仮定限界
– いくあう場合変化追従
誤報頻発
• 2 少数変数生異常捉えい
– ン統計量 M 次元系異常度単一指標表
– 変数多数異常捉えく
• 3 動的系適用い
– 異常度定義一定均値基く
– 値動的変化系適用困

41
• 2.8 ン理論課題
– 一般的方法妥当非常く制
御値静的一定値う状況
工程管理プロセ制御等
– 記う課題念頭次章 3章以降
機械学習観点異常検知手法
見ゆく

42
参考著者
• 本書最大目的異常検知基本技術完全理解
完全いうタ表方始異常度計算方
曖昧く理解いう一般異常検知行う対象
違う前処理機械学習的タ使流
作業的行え解析や画像解析状況違う思いそ
う場合異常検知基礎理論そ自体理解避通い
思いそ伝え第1 目的
• 一方現場問題解決そ実装必要あ
実本書主想定い者機械電気材料制御非計算
機系学科卒業実務携わいエンそういう人
機械学習群通いい思わ最初一
歩壁取除く注力そ第2 目的
• 目的最適ン R 実行例数行書
実装い主
そ同種本い現状十日本エン
実践思い
• http://ide-research.net/book/support.html

R実践機械学習による異常検知 02

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to R実践機械学習による異常検知 02

Similar to R実践機械学習による異常検知 02 (20)