2018/7/27にDevelopers Summit Summer 2018にて発表させていただいたものです。 ※一部、PDF化する時にレイアウトに崩れている場所がございます。

1. 1⽇10TB以上の店舗映像を解析する
サービスの仕組みとノウハウ
A-8 17:00〜17:45 #devsumiA
ABEJA Inc. Development Division
⼤⽥黒 紘之

2. 大田黒 紘之 @xecus
ABEJA, Inc.
Development Division
Engineer
2015年新卒入社
• Device Development
• Infrastructure
• Video Analysis Application
• DeepLearning

3. https://qiita.com/xecus/items/b7350111024b5fc2d9ae https://tech-blog.abeja.asia/entry/making-flu-warning-iot-device

4. SORACOM-UG JAWS IoT⽀部

5. AGENDA
1. 会社・サービス紹介
2. ABEJA Insight for Retailの仕組み
3. サービス拡⼤時に困ったこと
4. ABEJAでの取り組み
5. まとめ

6. ゆたかな世界を、実装する ― Implement a Fruitful World ―
社名 株式会社ABEJA (ABEJA Inc.)
本社 東京都港区⽩⾦1-17-3 NBFプラチナタワー
代表者 代表取締役社⻑CEO 岡⽥ 陽介
設⽴ 2012年9⽉10⽇
Vision イノベーションで世界を変える
出資企業
NVIDIA 三菱UFJキャピタル株式会社
株式会社産業⾰新機構 みずほキャピタル株式会社
伊藤忠商事株式会社 株式会社インスパイア
東芝テック株式会社 ダイキン⼯業株式会社
株式会社セールスフォース・ドットコム
株式会社トプコン 株式会社NTTドコモベンチャーズ
武蔵精密⼯業株式会社
代表取締役社⻑ CEO 兼 CTO
岡⽥ 陽介
取締役 CRO（最⾼研究責任者）
緒⽅ 貴紀
取締役 COO 兼 CFO
外⽊ 直樹
取締役 ファウンダー
富松 圭介

7. 2012

8. ABEJA Platform
取得 蓄積 学習 デプロイ 推論・再学習

10. ABEJA Platform 利用事例

11. ①不良ポイントマーキング
②不良内容選択
不良ポイントのアノテーション

15. ⾃動検品 異常検知 危険予測 商品仕分け

16. 異常診断 故障予測 需要予測

18. ABEJA Insight for Retail

19. Copyright © 2018 ABEJA, Inc. All rights reserved.

20. Copyright © 2018 ABEJA, Inc. All rights reserved.

21. (New) リピーター推定機能
顔画像から特徴量（個⼈識別符号）
を抽出し、特徴量がマッチした⼈物
をリピート客と判断(⾃社で研究開発
したアルゴリズムを利⽤）
⇢新規客・リピート客の割合計測が
可能に
※経済産業省から3⽉30⽇にリリー
スされた「カメラ画像利活⽤ガイド
ブックver2.0」に準拠

22. Insight for Retail
導入規模の変化
0
500
1000
1500
2000
2015年 2016年 2017年
100台
(10社50店舗)
800台
(30社200店舗)
1900台
(100社480店舗)
導入デバイス数

23. 導入企業様

24. サービス提供の仕組み
⾃社開発カメラ
汎⽤ネットワーク
カメラ
POS・IoTデバイス
サービス基盤（国内）

25. ⾃社開発カメラ
汎⽤ネットワーク
カメラ
POS・IoTデバイス
映像録画
システム
ダッシュボード
システム
メール配信
システム
データ変換システム
可視化＆配信系
各種運⽤ツール群
映像解析システム
Powered By
Support Members
ABEJA Insight For Retail サービス基盤全体像

26. 店舗サイドとサービス基盤サイドの接続 (例)
店舗サイド
カメラカメラカメラ
PoE
Switch
その他IoT
デバイス
ABEJA
Router
ABEJA
ISP
Backend
国内外 数百拠点以上
映像解析
システム
サービス基盤サイド
暗号化
通信
映像録画
システム
（⼀部省略）

27. 映像
FaceDetector
(顔検出)
Feature Extractor
(特徴量抽出器)
ABEJA Platform上のサービス実装
FaceIdentifier
(顔識別器)
ダッシュ
ボード
特徴量データベース
Demographic Estimator
(年齢・性別推定器)
年齢性別・リピーター判定部顔画像・特徴量抽出部
※解析後の動画は即時破棄
※ガイドブックに準拠したデータ管理

28. サービス規模
Video Traffic
10TB / Day
Containers
7,000+

29. サービス拡大時に困ったこと

30. IoT AI
サービス拡⼤の阻害要因
※もちろん、⼀般的なWebサービスと同様なツラミもある

31. サービス拡⼤の阻害要因:IoT側
デバイスの故障対応
デバイスの導入設置コスト

32. デバイスの導⼊設置コスト
・データ供給にはデバイス導⼊作業（設置⼯事等）が必須
・デバイス導⼊作業の例
(1)事前調査・導⼊計画⽴案
(2)電源・ネットワークの確保
(3)デバイスの設置作業・設定作業
※基本的に現地作業が発⽣。専⾨知識必須。
サービス拡⼤の阻害要因:IoT側
カメラ設置の様⼦

33. デバイス故障との戦い
・デバイス故障は、サービス品質に悪影響を及ぼす
⇢良好な設置条件でも故障は発⽣する
⇢故障にはパターンがあり
・サービス拡⼤時に故障が増える
⇢想定していない環境が増えた結果
⇢現地対応が何度も発⽣
サービス拡⼤の阻害要因:IoT側

34. デバイス故障パターンの種類と例
・故障のパターン例
⇢初期不良
例：FWキッティングミス
⇢群発故障
例：環境要因が多い
⇢寿命による故障
例：SDカード書き換え寿命
熱によるハード故障
故障率曲線（バスタブ曲線）

35. デバイス故障要因の例
•電源トラブル
•計画停電 / 絶縁試験 / ブレーカー / 断線 / 電圧不足
•ネットワークトラブル
•ISP帯域制限 / ISP障害 / IP重複 / 特定NW機器の組み合わせ
•無線LANチャンネル干渉 / 断線(人為的)
•ネットワーク帯域不足
•物理的破損
•ファームウェア不良

36. サービス拡⼤の阻害要因:AI側
多様化するデバイス・アルゴリズムの対応
大量のパラメータ管理
常に変化する実環境への対応
スケールするインフラ確保

37. 多様化するデバイス・アルゴリズムの対応
・サービス拡⼤時に機能拡張ラッシュが発⽣!!
⇢要因：連携するデバイス・アルゴリズムの種類が増えた為
・実際に発⽣した対応例
⇢新デバイスの登場
特殊環境⽤カメラ / 距離画像⽤カメラ
⇢新アルゴリズムの登場
⇢新サービスの登場
サービス拡⼤の阻害要因:AI側

38. 常に変化する実環境への対応
・設置環境（店舗内）は常に変化している
⇢弊社ダッシュボードを⾒ながら店舗内の改善活動を実施
・AIの品質を保つ為には環境変化への追従が必要
(1)映像解析のパラメータ調節
(2)デバイスのリモート設定変更
サービス拡⼤の阻害要因:AI側

39. AIの品質に悪影響を与える要素
オクルージョン発⽣の例 逆光の例
（七⼣などのイベントが地味に要注意）

40. ⼤量のパラメータ管理
・サービス導⼊と運⽤にはIoT・AIの両サイドのパラメータ管理が必須
・サービス拡⼤時には管理すべきパラメータが⼀気に増加する
⇢クライアント数・カメラ台数が増加する為
サービス拡⼤の阻害要因:AI側
IoTデバイス関連設定
(カメラ関連設定)
AI関連設定
(映像解析設定)

41. IoTデバイス関連パラメータ例
ネットワーク関連
パラメータ
デバイス関連
パラメーター
IPアドレス
デバイスホスト名
ネットワーク認証情報
SIMカード関連
データ出⼒設定
・圧縮⽅法
・FPS
・ビットレート
設置位置・画⾓・⾼さ
MACアドレス DDNS
デバイス認証情報
ファームウェアバージョン
NW機器 F/Wバージョン

42. AI関連パラメータ例
その他
解析設定関連
顔・⼈物検出⽤パラメータ
データ提供開始⽇時 データ提供終了⽇時
ダッシュボード表⽰名 解析する時間幅
誤検知防⽌⽤パラメータ
リピート判断閾値
DWH認証情報
モデルバージョン
ネットワークモデル

43. ABEJAでの取り組みご紹介

44. デバイスの
安定性改善
拡張・スケール可能な
サービス基盤
サービス拡大の取り組み
チームでサービス導入・
運用できる体制構築

45. Design for Device failure

46. デバイスの
安定性改善
拡張・スケール可能な
サービス基盤
サービス拡⼤の取り組み
チームでサービス導入・
運用できる体制構築
1. ABEJA Platformの
利⽤
2. Plugableな映像解析
パイプライン
3.品質の⾒える化
4.徹底的なツール開発
5.導⼊・運⽤プロセス
の整備
※ある程度は実施※

47. 取り組み① ABEJA Platformの利⽤
⽬的：サービス展開・拡張に集中する為

48. IoT運⽤
モデルの管理
推論⽤インフラの調達・運⽤学習⽤インフラの調達・運⽤
AI運⽤
設定の管理
蓄積データの管理 精度確認
IoT x AI活⽤サービスの展開・拡⼤に必要な要素

49. IoT運⽤ AI運⽤
IoT x AI活⽤サービスの展開・拡⼤に必要な要素

50. 取り組み② Plugableな映像解析パイプラインの構築
⽬的：新種デバイス・アルゴリズムの対応を
柔軟にする

51. 機能拡張の難しい構成
(Monolithicな構成)
デバイス
(カメラ)
解析システム ダッシュボード
Monolithic Core
• 開発環境の構築が⼤変(当時)
• 機能追加によってコアサイズが肥⼤化
• ⼩さな機能追加をする度に時間のかかるCI
• 依存関係が複雑に⼊り乱れる

52. 機能拡張のしやすい構成
(Pluggableなコンポーネントの活⽤)
解析システム ダッシュボード
コンポーネント群
録画部 変換部
アルゴリズム
部分
結果
転送部
デバイス
(カメラ)

53. データの流れ
ダッシュ
ボード
録画部 変換部
アルゴリズム
部
結果
転送部
カメラ

54. 構成例：新カメラ対応が必要な時
ダッシュ
ボード
録画部
(カメラA⽤)
アルゴリズム
部
結果
転送部
カメラ
A
ダッシュ
ボード
アルゴリズム
部
結果
転送部
カメラ
B
変換部
(カメラA⽤)
録画部
(カメラB
変換部
(カメラB⽤)

55. 構成例：新アルゴリズム対応が必要な時
(新サービス登場含む)
ダッシュ
ボード
録画部
アルゴリズム
A
結果
転送部
カメラ
ダッシュ
ボード
アルゴリズム
B
結果
転送部
変換部
カメラ 録画部 変換部

56. Pluggableなモジュール活⽤のメリット
・いわゆるSeparate of Concern
・機能の拡張性が向上、開発が加速
⇢新カメラデバイス対応
⇢新アルゴリズム対応
・様々なデバイス・アルゴリズムを組み合わせた
サービス提供が可能になった
社内研究
チーム
録画 変換
アルゴ
リズム
転送
開発チームA 開発チームB
機能改良
アルゴリズム改良

57. デバイスの
安定性改善
拡張・スケール可能な
サービス基盤
サービス拡⼤の取り組み
チームでサービス導入・
運用できる体制構築
1. ABEJA Platformの
利⽤
2. Plugableな映像解析
パイプライン
3.品質の⾒える化
4.徹底的なツール開発
5.導⼊・運⽤プロセス
の整備
※ある程度は実施※

58. 取り組み③ 「品質」の⾒える化
⽬的：デバイス・映像解析の状況を正しく把握し
トラブル対応をする⼟壌を作る

59. ⾒るべき「品質」は・・？
・データ提供に関わる全てのシステム ・⼊出⼒データ(理想)
⇢ デバイス/ネットワーク/映像/映像解析/解析結果/Dashboard/etc..
・デバイスまわりの品質⾒える化も重要
⇢サービス拡⼤時に予期せぬデバイストラブルが頻発する！
・そしてデバイストラブルの対応は⾮常に⾟い…
⇢度重なる現地対応
⇢複合的な要因が多く、原因究明が⼤変

60. デバイス故障要因の例 (再掲)
•電源トラブル
•計画停電 / 絶縁試験 / ブレーカー / 断線 / 電圧不足
•ネットワークトラブル
•ISP帯域制限 / ISP障害 / IP重複 / 特定NW機器の組み合わせ
•無線LANチャンネル干渉 / 断線(人為的)
•物理的破損
•ファームウェア不良

61. 取得しているデバイス情報
•メトリクス
•デバイスファームウェアの安定性
• CPU / メモリ使⽤率
•店舗側ネットワーク環境の安定性
• デバイスの通信量
• RSSI（無線LAN電波強度)
•店舗電源環境の安定性
• デバイスの起動回数
•ログ
•デバイス上ロジックの安定性
• 正常系イベントログ（正常
系）
•原因究明⽤の情報
• エラーレポート
• システム・ネットワークのイ
ベントログ

62. 実装例
デバイスA
デバイスB
デバイスC
Devices Aggregator Database Visualizer

63. デバイスまわりの品質が⾒えると…
・デバイスのトラブル要因切り分けが
円滑になった
⇢エンジニアの対応⼯数が減少
⇢現地に⾏く回数が激減
・トラブルの起きやすい環境が⾒えてくる
⇢定量的な安定性評価
・デバイス・店舗ネットワークへの反映

64. 取り組み④ 徹底的なツール開発
⽬的：IoT・AI活⽤サービスの導⼊・運⽤を
チーム全員でやる体制をつくる

65. ツールがなかった時代
• サービス導⼊
• デバイス準備・映像解析の設定・アカウント発⾏の各業務が属⼈化
• ⼤規模導⼊に時間がかかる。⼤規模導⼊がストレス
• サービス運⽤
• ⽇々環境が変わる店舗に対して、エンジニアが映像解析設定業務（チュー
ニング・学習モデルのアップデート）に追われる
• 故障したデバイス対応・解析再設定が割り込む

66. 開発した社内ツール達（⼀部）
• サービス導⼊・運⽤⽀援
• デバイス⾃動設定ツール（キッティング、出荷チェック）
• 施⼯⽀援ツール群（在庫管理、施⼯後のシステム連携確認）
• 映像解析管理ツール
• アカウント管理ツール
• デバイス設定管理ツール

67. 映像解析管理ツールのご紹介
• 解析に必要な情報管理
• 映像解析の制御
• デバイス設置後の解析⽴ち上げ
• 設定変更（パラメータチューニン
グ・学習モデル変更）
• 設定状況確認
• 解析破棄
• インフラの⼿動スケール 映像解析ツール（画⾯イメージ）

68. 取り組み⑤ 導⼊・運⽤プロセスの継続的改善
⽬的：⾃⾛可能なチームの⼟台をつくる為
(ツール中⼼の導⼊・運⽤体制の仕上げ)

69. 効率的なサービス導⼊・運⽤には
ツール＋OneMoreThingが必要
• よいツールがあっても意思決定がノウハウを持っている⼈に集中
• この⼈がボトルネックになる
• 事業拡⼤フェーズに導⼊・運⽤が追いつかなくなる
• ベストプラクティスが追求できない
• ツール/ドキュメントが陳腐化する

70. プロセス構築と⽂化確⽴
ツール・ドキュメント中⼼
の導⼊・運⽤プロセス
プロセス改善をする
⽂化の確⽴
×

71. ドキュメント例
• 作成したマニュアル（⼀部）
• デバイス準備マニュアル
• デバイス設置マニュアル
• 映像解析設定マニュアル
• デバイス交換マニュアル
• アカウント発⾏マニュアル
• ドキュメントリンク集
ポータルサイトでチーム内の誰もが参照可能

72. プロセスを改善する⽂化の確⽴
1.⾮エンジニアを含むDevOps
• 開発と運⽤を分離しない体制
• 運⽤を前提とした開発が可能
2.常により良いプラクティスをチームで追いかけるTRY
• 様々なメンバーにドキュメントだけでプロセスを回してもらう
• 良いプラクティスを⾒つけたらプロセス改良＆ドキュメント更新

73. 取り組みのまとめ
デバイスの
安定性改善
拡張・スケール可能な
サービス基盤
チームでサービス導入・
運用できる体制構築
1. ABEJA Platformの
利⽤
2. Plugableな映像解析
パイプライン
3.品質の⾒える化
4.徹底的なツール開発
5.導⼊・運⽤プロセス
の整備

74. Conclusion
• AI×IoTには、⼀般的なWebサービスと異なるツラミがある
• デバイス故障 / 実環境の変化対応 / …
• AI×IoTを活⽤したサービスの展開・拡⼤には準備が必要
• サービス拡⼤に集中する為にABEJA Platformを利⽤
• 新しいデバイス・アルゴリズムに対して柔軟な機能拡張ができるアーキテクチャ
• デバイスを含めたシステム・データの品質を⾒る仕組み
• 導⼊・運⽤を円滑に進めるためのツール・体制・⽂化づくり

75. We’re Hiring!
https://www.wantedly.com/companies/abeja

76. Thank you !!