Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie GDG2018 vision kit mahjong
Ähnlich wie GDG2018 vision kit mahjong (20)
GDG2018 vision kit mahjong
- 1. Vision Kit で遊んでみた ー麻雀牌のリアルタイム検出ー #エッジ推論 #MLEngine #物体検出 Rio Kurihara
- 3. 3 Ajenda 1. 麻雀点数計算チャットボット開発奮闘記 2. その中で注目したAYI Vision Kitでのエッジ推論について 3. まとめ
- 4. 4 栗原 理央（Rio Kurihara） • 株式会社ブレインパッド • アナリティクスサービス部 データサイエンティスト • 2016年入社（新卒3年目） • 経験分野 • 自然言語処理 • 画像処理 • 需要予測 • 統計モデリング／機械学習／深層学習 • Not エンジニアリング http://free-illustrations.gatag.net/ https://www.pakutaso.com/ https://free-materials.com/ 好きなこと 普段使っている主な言語・ツール
- 5. 5 突然ですが
- 6. 6 麻雀が好きです
- 10. 10 麻雀点数計算チャットボット開発概要 ※お遊びで始まり、未だお遊びの域を出ていない Who? ただの麻雀好き1名＋心優しい助っ人の方々（完全非業務） What? 麻雀の点数計算を自動化する Why? 点数計算ができない・覚えるの面倒くさい・初心者のハードル下げたい How? 画像つかう ※詳細は後述 Input(画像) ※Sample 牌の識別 役名 1p 2p 3p … 8m 9m p f c 平和 1 1 1 … 0 0 0 0 0 断ヤオ 0 1 1 … 1 0 0 0 0 混一 0 0 0 … 1 1 3 0 0 点数計算 ルールベース
- 11. 11 PJ開始時のリサーチ（2017/2時点） • 需要はあるのか？ → 無くはなさそう • 既存サービスは？ → 1つ見つけたがリリース前 • 役自動計算アプリ①（非画像認識） • 役自動計算アプリ②（画像認識・開発途中） • 役自動計算アプリ②を作った人っぽい人のブログ
- 14. 14 テンプレートマッチングによる検出結果(1) output (閾値0.55) output (閾値0.6) テンプレート 画像 入力画像 (探索用) Before After 牌 max_val e 0.763 c 0.534 9s 0.740 9p 0.529 9m 0.749 8s 0.656 7s 0.732 6s 0.601 4p 0.639 3p 0.694 3m 0.577 2p 0.796 1p 0.546 1m 0.721 8m 0.478 6m 0.470 7p 0.466 1s 0.456 2s 0.438
- 20. 20 SSDによる検出結果
- 31. 31 LINEbotのシステム構成図 ユーザー LINE bot サーバ 画像 送信受信 RestAPI 画像送信 herokuサーバ 学習 推論 社内GPU サーバ
- 32. 32
- 36. 36 目をつけたのが
- 37. 37
- 39. 39 Vision Kitとは • Google AIY 製品のひとつ。スマート カメラ自作キット • 何ができる？ クラウドに接続することなくVision Kit上で、ニューラルネットワークモデルを動 かし、モノを認識可能 付属SDにいくつかのモデルが用意されており、カスタムモデル作成も可 • チュートリアルに沿って組み立てていけばカメラ・ボタン・LED等との接続は簡単で、 Raspiの知識ほぼいらなかった • 動作環境 Raspberry Pi Zero WH で動作 Vision Bonnet ※今回使用したのは第二作目のV1.1（2018年7月24日発売）
- 41. • ニューラル ネットワークを実行できる低電力視覚処理ユニット Intel® Movidius™ MA2450チップ搭載 • 毎秒最大30フレームのスピードで実行可能 • （Pi Zero Wの処理を60倍高速にするらしい） 41 Vision bonnetについて https://www.movidius.com/myriadx
- 44. エッジ推論であること
- 45. 45 エッジ推論とは • IoT時代の到来により、膨大なデータがエッジ側で生成されるようになっている • 機械学習モデルを作るハードルは下がり、次にモバイル・エッジデバイス上で機械 学習を動かすニーズが増えている • 遅延が少ない • オフライン環境でも動く • データがデバイス上に留まる • 電力効率が良い • センサーデータを直接扱える
- 46. 46 モバイル・エッジデバイス上でML動かすのはキツイ • 計算リソースが限られている • メモリも潤沢ではない • バッテリーを気にしなければならない http://codecrafthouse.jp/p/2018/01/knowledge-distillation/ • 強力なマシンで動作する複雑なモデルと比べると精度が低くなりがち • 実装の難易度が高い 当然良いところばかりではなく使うには制約がある
- 47. 47 エッジ推論のためのテクノロジー • モデルの圧縮 • Quantization(量子化) • Distillation(蒸留) • Pruning(枝刈り) • ・・・ • エッジへの機械学習モデルのデプロイを実現してくれるサービス • TensorFlow Lite • ML kit for Firebase • TensorFlow.js • ・・・
- 48. 48 実際にやってみた
- 49. 制作手順 49
- 50. 50 全体フロー • Vision Kitの組み立て・チュートリアル • Tensor Flow Object Detection APIのカスタムモデル作成 • データの準備 • 簡単な前処理 • 学習（MLEngine） • Vision Bonnetへのコンパイル • 推論
- 51. 51 【再掲】 LINEbotのシステム構成図 推論時に通信のオーバーヘッドがかかる ユーザー LINE bot サーバ 画像 送信受信 RestAPI? Call back URL 画像送信 herokuサーバ 学習 推論 社内GPU サーバ
- 52. 52 システム構成図の比較 推論の際に、都度通信する必要がなくなる ユーザー LINE bot サーバ 画像 送信受信 RestAPI 画像送信 herokuサーバ LINEbotのシステム構成図 画像撮影・物体検出・結果出力 Vision Kit Vision Kitのシステム構成図 学習 推論 社内GPU サーバ GCP MLEngine 推論
- 53. モデルについて 53
- 54. 54 モデルについて • 使用したモデル：embedded_ssd_mobilenet_v1 • MobileNet? • モバイルアプリケーションなどのように制約された環境でも耐久して機能することに特化 したニューラルネットワーク • 必要な作動数やメモリの削減を可能にする • Vision bonnetで実行する際は、入力サイズは256×256という制約がある • （以前のSSDkerasモデルでは512×512で学習させた）
- 56. まとめ 56
- 57. 57 まとめ • 麻雀点数計算アプリ（現状ただの物体検出）を作ってみた • 動作のもっさり感をきっかけにエッジ推論にチャレンジしてみた。リアルタイム物体検 出動いた • 難しい技術だと思っていたがツールの発展もあり手軽に試せるようになっていた • とはいえ融通が効かない部分があり検出精度は低いものの、今後発展していくの では • シンプルで高精度なモデル／複雑なモデルも推論できるよう（安い）基盤 • （いろいろ試す時間がなかったので精度向上の余地あり） • LINEチャットボットにもまだ改善の余地はありますし、bonnetが載っていないRaspi だともっともっさりするかもしれない • vision kit楽しいです！みなさんも遊んでみてください！
- 58. ありがとうございました 58