物体認識 IoT サービスを支える技術〜クラウドアーキテクチャから組込み深層学習まで〜

1. Chief Analytics Officer 金田卓士物体認識 IoT サービスを支える技術〜クラウドアーキテクチャから組込み深層学習まで〜 #TokyoWebmining 55th

2. 自己紹介慶應義塾大学大学院で計量経済学を専攻後、一休.com、ソフトバンク・テクノロジー、VASILY において分析からアルゴリズムの実装までデータ関連業務全般に従事。2016年6月よりフューチャースンダードへ参画。金田卓士 @kndt84 2

4. 1. 事業概要 2. サービスアーキテクチャの解説  システム概要とアーキテクチャの設計方針  デバイス構成  サーバー構成 3. 深層学習を利用した組込み物体検出の取り組み目次 4

5. 事業概要

6. 世界の「見える化」を加速させるどれくらい混んでるのだろう？どれくらい、見られているのかな？上手い人との差ってどこだろう？見えているようで見えていない世界をリアルタイムに認知し、理解する 6

7. リアルタイム画像解析でできること店舗の場合来店分析行列人数顧客・店員動線 7

8. リアルタイム画像解析でできること: 街の場合通行人数通行車両数移動方向 8

9. 早く・簡単に集めた画像を解析できる画像解析プラットフォーム 9

10. ビジネスモデル 10 インフラ設置済みカメラ既存監視カメラスマートフォン解析データ飲食店待ち時間データ映像データ（1）カメラ網（2）画像解析（3）新しいソリューション交通量・流動データ店舗1 56人 50台現在8人待ち

11. カメラソリューションにおける課題 11 現状 FSが目指す市場開発ユーザー解析技術（ソフト）ハードメーカー専用カメラ（ハード）ソフトメーカーカメラ（ハード）解析技術（ソフト）ソフトメーカーハードメーカーカメラ（ハード）解析技術（ソフト）監視カメラヒートマップ動線分析 + + + 監視カメラヒートマップ動線分析・・・ • 同じ様な技術、同じような製品の再発明が繰り返されている状態 • 技術（ソリューション）ごとに製品が販売されており、ユーザーにとっても負担

12. 届けたい体験・・・ 12 お店の前って、どれくらい人が通っているのかしら？クライアントの屋外広告測定をしてみたいな。  簡単な機能追加  インフラ設計不要  欲しいアプリ、解析サービスを探せるアプリマーケット

13. サービスアーキテクチャの解説

14. システム概要 全時間帯の映像を、リアルタイムでタグ付けして保存 タグ付けの画像処理は、ニーズにより柔軟な構成が可能 IPカメラオンプレミス中間サーバクラウド画像処理 S3 バケットタグ映像映像映像映像保存エッジでタグ付け中間でタグ付けクラウドでタグ付けニーズで選択 Dynamo DB NoSQL DB 保存 14

15. アーキテクチャの設計方針下記の方針に基づいて動画解析プラットフォームの設計を行っています。  主に安価な画像センサと小型コンピュータ（Raspberry Pi2 等）を組み合わせ “スマートカメラネットワーク”を簡単・迅速・安価に構築  OS / HWを問わないマルチプラットフォーム環境で、カメラ数台～数百万台までカバーするスケーラブルかつ柔軟なシステム  撮影画像のタイムリーな蓄積・検索・分析に必要なミドルウェア群を完備し、独自ビジネスロジックの構築や、先端研究を簡単に組み込める導入が楽学習が楽運用が楽 15

16. 簡単・安価なネットワーク構築を実現するデバイス • 汎用品である Raspberry Pi と市販のUSBカメラを繋げることで安価にスマートカメラネットワークシステムを構築可能 • 独自イメージを書き込むだけで、ドライバ導入やネットワーク設定は全て行われる • 機能のオンオフを設定ファイルで簡単に変更可能 • エッジで解析を行う場合は、OpenCV の動体検知と HOG特徴量フィルターを組み合わせて、顔検出や通行人検知が可能 16

17. マルチプラットフォームかつスケーラブルな設計コンポーネント間のインタフェースとなるプロトコルを規定し、サービスを疎結合とすることで、異種 HW・異種OS・異Version混在しても、全体の整合性を保てる構造にする。この方針により、様々な形態での運用が可能となる • リアルタイムのカメラ映像の代わりに、録画済みのビデオ映像をPC上に送り、 PC上で動作させた画像解析サービスで処理 • IaaS クラウド上に、個別ニーズに最適化した、画像解析サービスを構築 • クラウド上の画像解析サービスを、一般向けに PaaS 提供 • 典型的な画像処理プラグインとパッケージング化して、一般向けに SaaS 提供 • ユーザのハードウェア上に、オンプレミスでシステム構築 17

18. デバイスのソフトウェア構成ログと動画はストリーミングとバッチを併用することで冗長性を確保 FluentdのプラグインがMQTT3.1に対応していないためMosquittoを利用 18

19. アドバタイズ／プロパティ提供サーバーのコンポーネント構成カメラ管理サブシステム (CMS) カメラネットワーク (CN) 画像処理サブシステム (IPS) UI サブシステム (UIS) 画像／メタ情報処理デリゲート処理指示操作サーチ／カメラ制御情報提供ユーザ管理サブシステム (UMS) 認証 Token ログイン DB ユーザID 認証Token 登録 19

20. 《MQTT》アドバタイズ／プロパティ提供 AWSマネージドサービスの活用カメラネットワーク (CN) 《MQTT》画像／メタ情報処理デリゲート操作《MQTT》サーチ／カメラ制御情報提供認証 Token ログイン DB ユーザID 認証Token 登録 API Gateway Cognito AWS IoT AWS IoT S3 Dynamo DB タグ映像 Lambda Lambda Elastic Beanstalk 20

21. クラウドアーキテクチャの解説深層学習を利用した組込み一般物体認識の取り組み

22. 現状の問題点とエッジ側での物体認識のニーズ • OpenCV を使って動体検知+HOG特徴量では認識精度が低い • 個人情報保護の観点からクラウドへ映像や画像を出したくないエッジ側でディープラーニングを使った精度の高い一般物体認識ができないか検証を実施 22

23. 一般物体認識 • 制約のない実世界シーンの画像に対して計算機がその中に含まれる物体を一般的な名称で認識すること • 画像のどこに何が写っているかを知りたい • 一般物体認識ができれば個別の認識タスクは識別層を変更したりファインチューニングすることであらかた実現可能？ Faster R-CNN の論文より引用 23

24. • クレジットサイズの組込み用コンピューター • 64bit の 4コアCPUを搭載 • 256 CUDA コアを搭載（GTX 1080 は 2560コア） • メモリは4GBでGPUと共有（TK1は2GB） • OSはUbuntu 14.04 LTS をベース • 実際の開発は、開発キットを使って行う NVIDIA Jetson TX1 開発キット 24

25. • 高速でほぼリアルタイムに近い物体認識が可能なアルゴリズム • 物体候補領域の検出と、物体の判定を一つのネットワークで行うため計算が速い • 詳しくは、スライドと元論文読んでください！ Faster R-CNN Faster R-CNN の論文より引用 25

26. PVCR2015 Tutorial: Convolutional Feature Maps論文紹介 Fast R-CNN & Faster R-CNN 26

27. R-CNN（参考） • Selective Search で領域の候補を検出 • それぞれの画像を規定のサイズに変換 • 特徴量から分類を行う • 矩形の座標を回帰 27

28. • 本家のMatlab実装でなくGitHubで公開されているPython実装を利用 • 使用したモデル  VGG16: 13層の畳み込み層  ZF: 5層の畳み込み層 • 学習は行わず、Forward propagation のみ実施 • 候補領域数は最大300 に設定 • Jetsonの設定に関しては、別途 Qiita の記事にまとめておきました Jetson TX1 で Faster R-CNN を動かす検証について 28

29. 検証結果 29 モデル平均処理時間（秒）平均領域候補数 VGG 16 3.01 230 ZF 0.91 233 TK1ではメモリ容量の関係で計算ができなかったが、TX1では特に調整することなく動いた。各モデルの平均処理時間は下記の通り。

30. 今後の課題 • ZFでは約0.9秒で処理できたが、更に高速化が求められるタスクに対応するのにはどうしたらよいか • 特定の物体認識タスクへ応用するのにどうするのがよいか判別層の置き換え、ファインチューニング • 時系列フィルタリングをどうしたらよいか 30

物体認識 IoT サービスを支える技術〜クラウドアーキテクチャから組込み深層学習まで〜

物体認識 IoT サービスを支える技術〜クラウドアーキテクチャから組込み深層学習まで〜

Recomendados

Más contenido relacionado

Was ist angesagt?

Was ist angesagt?(20)

Destacado

Destacado(20)

Similar a 物体認識 IoT サービスを支える技術〜クラウドアーキテクチャから組込み深層学習まで〜

Similar a 物体認識 IoT サービスを支える技術〜クラウドアーキテクチャから組込み深層学習まで〜(20)

Último

Último(12)