14. 事例例 5/5
⼯工場・インフラ
l NY市の既存の配電網の予防的メンテナンスに機械学習を利利⽤用
l 1500万⼈人が利利⽤用している配電網での実際のデータで実証実験
l 様々な情報から、どの順番にメンテナンスを⾏行行う必要かを決定する
l 300種類の特徴情報(realtime/semi-‐‑‒realtime/static)
l 各種センサデータから挙げられる数百種類のデータ
l 過去のトラブルが記述されたトラブルチケット集記録
(⾃自然⾔言語処理理を⾏行行い、特徴・訓練例例を抽出)
l MTBF (Mean time between failures)をランキング学習で推定
“Machine Learning for the New York City Power Grid”,
J. IEEE Trans. PAMI, to appear,
Con Edison社とコロンビア⼤大の共同研究
14
26. Passive Aggressive (続)
wi+1 := wi + y l(x, y, w)/(|x|2 + 1/C) x
l PAの最適化問題は閉じた解を持ち、次のように更新可能
l E
=
1
更更新式
l α=
L(x,
y,
w)
/
(|x|2
+
1/C)
wi+1 := wi + αAx
l A
=
I
l α∝L(x, y, w)であり、誤った割合に比例した更新幅を使う
42. 問題:分散とオンラインの融合は困難
バッチ学習
オンライン学習
モデル更更新時で Learn
Learn
同期をとり
Model
update
並列列化は容易易
Learn
Model
Update Model
update
Learn
Learn 更更新が頻繁なので Model
update
並列列化は困難
Learn
Time
Model
Update Model
update
l オンライン学習は頻繁に更更新する
l オンライン学習をそのまま分散化した場合、モデルの同期コストが
⾮非常に⼤大きくなってしまう
42
54. UPDATE
l データは任意のサーバーに送られる
l データに基づきローカルモデルがアップデートされる
l データは共有しない
Distributed
randomly
Local
or consistently
Initial
model
model
1
Local
model Initial
model
2
54
55. MIX
l 各サーバーはローカルモデルの差分を送る
l モデルの差分はマージされ、再度度配布される
l モデルの差分はモデル⾃自⾝身と⽐比べ⾮非常に⼩小さく転送コストは⼩小さい
Local Model Model
Initial Merged Initial Mixed
model -
model =
diff diff
diff +
model =
model
1 1 1 Merged
+
=
diff
Local Model Model
Initial Merged Initial Mixed
model -
2
model =
diff diff
diff +
model =
model
2 2
55
56. UPDATE
(iteration)
l 各サーバーはMIX後のモデルから学習を⾏行行う
l MIX後のモデルは全サーバーの情報を持っており徐々に改善される
Distributed
randomly
Local
or consistently
Mixed
model
model
1
Local
model Mixed
model
2
56