Azure Custom VisionサービスにあるObject Detectionがオフライン推論をサポートしたので、「Mixed Reality Academy」 の「MR And Azure 130 - Object Detection」を改造してオフラインで物体検知をできるようにした話

1. HoloLensでONNXを使って推論
～Custom Vision - Object Detection編～
Miyaura – 大阪駆動開発
2019/01/16

2. こんな人が話します
Miyaura Takahiro(@takabrz1)
◦ 某会社でシステムエンジニアしています。
◦ コミュニティ：
大阪駆動開発
◦HoloLens含むXR技術は趣味！
◦Microsoft MVP for Windows Development(2018-2019)
◦https://qiita.com/miyauraでMixed Reality開発Tips公開中！

3. 今日のテーマ
「オフライン推論シリーズ「物体検知」」
Custom Vision
の物体検知サービスも
オフラインで利用できる

4. 今回の成果
Custom VisionサービスのObject Detectionを利用。
好みの物体検知が出来るようにモデルを作成。
オフライン推論が可能なようにONNX形式でダウンロードしてWindows MLにより動作
エンゼルパイとチョコパイが混
在するパーティ会場でもチョコ
パイを積極的に選別できる。

5. 必要な開発環境
• 実行環境
• HoloLens
• OSバージョン 1809(1803でも行ける）
• 開発環境
• Unity 2017.4.17f1
• Windows 10 Pro OSバージョン 1809
• Windows SDK 10.0.17763.0

6. 作り方
1. Mixed Reality Academy : 「MR And Azure 310 :Object
Detection 」の通りアプリを作る
2. 上記の手順で作ったCustom Visionサービスのプロジェクトを
ONNXでエクスポートする
3. 上記の手順で作ったUnityプロジェクトをONNX版に直す。
4. UWPにビルド＆デプロイ

7. プチネタ（脱線）
• MR And Azure 310は画像とるのに割と回りくどいことしてる。
カメラで撮る ファイルの保存する
ファイルを読み込む Custom visionに送る

8. Custom Visionの話
ONNXでのエクスポート
Domainsは「General(compact)」に設定

9. Custom Visionの話
ONNXでのエクスポート
エクスポートは「Peformance」タブの中の「Export」を選択

10. Custom Visionの話
ONNXでのエクスポート
ONNXは「1.2」で出力（HoloLensのOSバージョンが1809の場合）

11. Custom Visionの話
ONNXでのエクスポート
Object DetectionではONNXではなくZipでダウンロードされる

12. MR And Azure 310の修正
Unityでの修正ーONNXの推論部品の追加と見直し
Zip内のObjectDetection.csをUnity上でプロジェクトに含める → エラーが出るので修正
※コードの修正は巻末Qiitaの記事を見てね。

13. MR And Azure 310の修正
Unityでの修正ーオンラインでの推論をオフラインに変更
CustomVisionAnalyser.csの修正
ImageCapture.csの修正
• StartメソッドでObjectDetectionの初期化
• UpdateメソッドでONNXで推論した結果からラベルを描画
• ObjectDetectionを使ったオフライン推論を実行
• タップ時にCustomVisionAnalyserに実装したオフライン
推論を実施
※コードの修正は巻末Qiitaの記事を見てね。

14. MR And Azure 310の修正
UWPアプリにONNXを導入する
• UnityからUWPとしてビルド
• Unity C# Projectにチェックを入れる
• 「Assembly-CSharp」プロジェクトに以下のライブラリをインポート
• System.ValueTuple
• メインのUWPプロジェクトの、Assetフォルダ内にONNXを
「LearningModel.onnx」にリネームしてコピー

15. 完成！

16. 詳細はQiitaにも記載。
「HoloLensでAzure Custom Vision Service - ObjectDetectionをWindows MLを使ってオフライン推論してみた。」
https://qiita.com/miyaura/items/1b9210b5c5f75d8722a3

17. まとめ
• Custom Vision で提供されるサービスはすべてONNXでだせる
→Classification,Object Detection
• 自分でカスタマイズした画像分析や物体検知をオフラインで簡
単に導入できるのはかなり魅力的
• HoloLensで物体検知のオフライン推論が荷が重い
画像処理に無駄がある分を考えても推論時間はかかる(2-3s?)

18. 大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ