AWE USA 2019 Recap at Mercari #mercariAWE https://mercaridev.connpass.com/event/129550/

1. @ash_yanagisawa
AR/スマートグラスアプリ
開発や展示における苦労と今後について
#mercariAWE

2. 特別講師
XR Research Engineer
前職
栁澤 慧 @ash_yanagisawa
at
at
at

3. Mercari Lensのβ版を公開！

4. Mercari Lens BETA v.0.1.2
動画出典 (YouTube) : https://youtu.be/mQ44DZBaumE

5. AR/スマートグラスアプリ
1. 開発について

6. ● Google開発者サービスが利用できない
● Androidのバージョンが古い
● カメラを搭載している場合は、常に動画を録画できてしまう
AR/スマートグラスアプリの開発で気をつけるべき点

7. ● Google開発者サービスが利用できない
● Androidのバージョンが古い
● カメラを搭載している場合は、常に動画を録画できてしまう
AR/スマートグラスアプリの開発で気をつけるべき点

8. 画像検索の仕組み 1/5 - 検索したい対象物を人差し指で指す

9. スニーカー
指差し
画像検索の仕組み 2/5 - TensorFlow Liteでカテゴリーを検出

10. スニーカー
画像検索の仕組み 3/5 - 指に最も近い物体の検出領域を切り取る

11. スニーカー
+
写真検索API
カテゴリー
画像
アップロード
画像検索の仕組み 4/5 - 画像とカテゴリーの情報を元に物体認識

12. 画像検索の仕組み 5/5 - 類似商品の名称と価格を表示

13. AR/スマートグラスアプリ
2. 展示について

14. ● Wi-Fiの対応帯域幅が2.4GHzのみの場合、動作しない可
能性がある
● Bluetoothも2.4GHzなので、同様の現象が起こる
● Wi-Fiテザリングを使用する場合は対象端末と物理的な距
離を近づける
● 長時間の運用に耐えられない
● カメラのプレビューを共有できるアプリがないので、展示の
見栄えが悪い
AR/スマートグラスアプリの展示の際に気をつけるべき点

15. ● Wi-Fiの対応帯域幅が2.4GHzのみの場合、動作しない可
能性がある
● Bluetoothも2.4GHzなので、同様の現象が起こる
● Wi-Fiテザリングを使用する場合は対象端末と物理的な距
離を近づける
● 長時間の運用に耐えられない
● カメラのプレビューを共有できるアプリがないので、展示の
見栄えが悪い
AR/スマートグラスアプリの展示の際に気をつけるべき点

16. スマートグラスの画面共有 - Vysor

17. HoloLensの画面共有 - Device Portal
動画出典 (YouTube) : https://youtu.be/tb2na8mwpDk?t=16

18. AR/スマートグラスアプリ
3. 今後について

19. ● 端末内で動作するカテゴリ認識の精度を向上
● 物体認識の精度を向上
● ユーザーに負担のないログイン機能を実装
● 画像検索時に人の顔が写っていた場合、顔を塗りつぶして
からアップロード
● 音声認識に対応
今後のMercari Lensについて

20. ● 端末内で動作するカテゴリ認識の精度を向上
● 物体認識の精度を向上
● ユーザーに負担のないログイン機能を実装
● 画像検索時に人の顔が写っていた場合、顔を塗りつぶして
からアップロード
● 音声認識に対応
今後のMercari Lensについて

21. Google I/O 2019
動画出典 (YouTube) : https://youtu.be/uBP9K2QJSSs?t=224

22. "It's no longer about being
device first, it's about
putting the human first,
and it includes all the
devices in their lives."
Microsoft CEO - Satya Nadella said,
記事出典 : https://www.cnet.com/news/microsoft-hololens-2-announced-for-3500-available-to-preorder-now-ships-later-this-year/

23. Hey Google, これいくら？
画像引用 (YouTube) : https://youtu.be/F5o1RSVSLSc

24. Vuzix Blade
動画出典 (YouTube) : https://youtu.be/V-OxzjsB2s0?t=16

25. RealWear HMT-1
動画出典 (YouTube) : https://youtu.be/kGBgBFkQuFE?t=175

26. 重大発表

27. 画像引用 (YouTube) : https://youtu.be/F5o1RSVSLSc

29. nreal lightに最適化した
Mercari Lensを開発中！

30. 画像出典 : https://biz.kddi.com/5g/summit2019/