2018/7/27(金)に開催された xRLT vol.2 でのLT資料です。

1. HoloLens + Azure
（HoloLensコンテスト応募アプリ概要）
2018年7月27日
株式会社ホロラボ
加藤 広務
xRLT vol.2

2. 自己紹介
氏名 ：
職歴 ：
備考 ：
2
加藤 広務（Hiromu Kato）
NEC
• ミドルウェア開発
• ソフトウェア戦略・企画
• 携帯電話/携帯コンテンツ企画
サイバーエージェントグループ
• スマホゲームのネイティブエンジニア
ホロラボ
• MRエンジニア
趣味でアプリをリリースしたりしていました
Twitter @hi_rom_

3. アプリ概要（動画）
https://www.youtube.com/watch?v=rzL5ZOutTA0

4. アプリ概要
 日本語で検索を行うのか英語で検索を行うかボタンをエアタップし選択
 RECボタンをエアタップし録音を開始する
 再度RECボタンをタップすることで録音を終了する（自動終了することも考え
ましたが雑音など周りの環境の影響を大きく受けるので見送りました）
 文章、キーワードがうまく認識されるとそれぞれテキストとして表示される
 キーワードをもとに画像検索を自動的に開始
 この際どのようなキーワードで検索しているのか音声ガイダンスが流れる
 画像のダウンロードが終了したら周りに囲むように表示される
 タップ・ホールドジェスチャにより画像を左右に操作することができる
 詳細を確認した画像はゲイズ・タップにより別ウィンドウで表示される
 検索ウィンドウ、詳細ウィンドウについてはユーザの向く方向に追従するがピ
ン止めすることで位置を固定することも可能

5. 利用したAzureの技術

6. 利用したAzureの技術
 Speech To Text
 音声→テキスト変換
 Text To Speech
 テキスト→音声変換
 Language Understanding(LUIS)
 あいまいな文章から検索キーワード抽出（日/英対応）
 Bing Search API
 画像検索
音声
言語
検索

7. Azure
フロー
Speech To Text Text To SpeechLUIS Bing Image Search
「猫の画像を検索」
（ 音声データ）
「猫の画像を検索」
（ テキストデータ）
「猫」（ テキストデータ）
「猫の画像を検索します」（ 音声データ）
「猫の画像を検索」（ テキストデータ）
「猫」（ テキストデータ）
「猫」（ テキストデータ）
（画像に関するメタデータ）
日/英のエンドポイントを用意

8. 詳細
 Microsoft HoloLens アプリケーション開発コンテスト
http://www.hiromukato.com/entry/2018/04/30/192107
 Azureを利用したHoloLensでの日本語音声入力
http://www.hiromukato.com/entry/2018/05/02/172356
 Bing Speech APIによるテキストの音声変換
http://www.hiromukato.com/entry/2018/05/04/231529
 LUISによる自然言語認識
http://www.hiromukato.com/entry/2018/05/05/231857
 Bing Image Search による画像検索
http://www.hiromukato.com/entry/2018/05/06/160808
 GitHub(HiromuKato/HoloAzureSample)
https://github.com/HiromuKato/HoloAzureSample

9. ご清聴ありがとうございました