・Unity と SteamVR を使ったVRコンテンツの作り方 ・IBM Watson SDK for Unity を使った日本語音声認識の使い方 を説明した資料です。みなさん、やってみてね。

1. VRで 日本語音声認識 の作り方
2018/11
大熊 元気

2. 必要なもの
1. PC
⚫SteamVRが動作するGPU搭載のゲームマシン
⚫GTX1060以上推奨
⚫参考→ https://qiita.com/GenkiOkuma/items/62d1c7f20f8e75d0662e3D
2. Head Mounted Display(HMD)
⚫HTC VIVE, Windows Mixed Reality → SteamVR対応なのでやりやすい
⚫OculusGo → ALVR でSteamVR対応できる
⚫ALVRとは → https://github.com/polygraphene/ALVR/blob/master/README-ja.md
⚫HMDが無くてもモニターとキーボードで動かすことはできる

3. Index
1. VRコンテンツの作り方
1. Unityセットアップ
2. SteamVRセットアップ
3. Steamのサンプルプロジェクトを起動
4. 3D AssetをVR化
2. 日本語音声認識の作り方
1. IBM cloudのセットアップ
2. Watson Asset のインポート
3. サンプルプロジェクトを起動
4. VR空間で使う
5. 音声認識からイベント起動

4. 1.VRコンテンツの作り方
2.日本語音声認識の作り方

5. 1-1 Unityセットアップ
⚫ UnityのVersionはすぐに上がるので、
管理しやすくするためのツール「Unity
Hub」(公式)がある。
⚫ Unity Hub で検索
⚫ ダウンロード＆インストール

6. 1-1 Unityセットアップ
⚫ Unity Hubを起動
⚫ Installs
⚫ Official Releases
⚫ 最新版（今回は 2018.2.14f1)
をダウンロード、インストール
⚫ 魅力的なBeta Releasesもあるが、
SteamVR Plugin を使うときに、dllが無
い、BuildMethodsがエラーなど安定しな
いのでオススメしない（やってみて断念した）
Unityロードマップ

7. 1-1 Unityセットアップ
⚫ 新規
⚫ Project name → 好きなように
⚫ Unity Version → Official 最新版
⚫ Location → 好きな場所へ
⚫ Template → 3D(VRは3Dで)
⚫ Create project

8. 1-1 Unityセットアップ
⚫ 画面のレイアウトは自由に変えられる。
⚫ 無料版は背景が白、有料版は黒
⚫ Asset Storeへ行く
（ブラウザの方が見やすい。アカウン
トでリンクしている。）

9. 1-2 SteamVRセットアップ
⚫ SteamVR で検索
⚫ このAssetをインポートする
⚫ Current ver.2.0.1

10. 1-2 SteamVRセットアップ
⚫ 全部インポートする
⚫ 変更しちゃって戻したい時など、差分だけ探し
てくれるので、そこだけインポートしてもOK
⚫ 推奨設定にしますか？とポップアップが来るの
で、「Accept All」にする
⚫ するとVR用の設定にしてくれる

11. 1-3 Steamのサンプルプロジェクトを起動
⚫ Projectタブの Asset → SteamVR → InteractionSystem → Samples と辿って、
シーンInteraction_Example を開く

12. 1-3 Steamのサンプルプロジェクトを起動
⚫ Gizmos → 3D Icons でアイコンの表
示を小さくする
⚫ ▶のデバッグ実行で動かしてみる
⚫ SteamVR input がありませんよ？
と来るのでYesでWindowを開いて、
default のまま Save and generate

13. 1-3 Steamのサンプルプロジェクトを起動
⚫ ▶を押してデバッグ実行
⚫ HMDがあればVRモードで実行可能。なくても2D Debugモードで実行可能。
⚫ Scene下部のボタンで切換
https://twitter.com/JNTEST23/status/1057812513071362048
VRモード 2Dモード 動画

14. 1-4 3D AssetをVR化
⚫ Asset Storeから適当に3D
Assetを選んでVR化
⚫ 最近無料化した「Citizen Of The
Forest – Avangard House」を
選んでみた
⚫ Download, Import

15. 1-4 3D AssetをVR化
⚫ Citizen_of_The_Forest という
サンプルシーンがあった
⚫ 名前を変えてシーンのコピーを保存。
これをVR化の舞台とする

16. 1-4 3D AssetをVR化
⚫ SteamVRのサンプルシーン
Interactions_Exampleから下記の3
個をコピーする
⚫Player
⚫Teleporting
⚫TeleportArea
⚫ VR化したいシーンにペースト
⚫ もとのシーンにプレイヤーやカメラがある場
合は重複してしまうため、もとのやつを削除
か無効化する
無効化

17. 1-4 3D AssetをVR化
⚫ TeleportArea を敷く。Mesh Rendererのチェックを外して見えなくする

18. 1-4 3D AssetをVR化
⚫ 素通りしたいものはColliderのチェックを外す
（今回はterrain、建物、ドア を外した）
⚫ プレイヤーの初期位置を調整する
⚫ 実行してみる
⚫ 動画はツイート見てください →→
https://twitter.com/JNTEST23/status/1060155064738705408

19. 1.VRコンテンツの作り方
2.日本語音声認識の作り方

20. 2-1 IBM cloudのセットアップ
⚫ IBM クラウド(bluemix)のアカウント作成
⚫ https://console.bluemix.net/
⚫ ちょっとだけ使えるフリーアカウントはメールア
ドレスだけで作れる
⚫ クレジットカードを登録するとフリーミアムのス
タンダードプランが使える

21. 2-1 IBM cloudのセットアップ
⚫ IBM Cloud にログインしたら、左上の
三本線からメニューを開き、Watsonを
選択
⚫ すべてのWatsonサービスを参照

22. 2-1 IBM cloudのセットアップ
⚫ いろいろあるけど、Speech to Text が使いやすい
⚫ Speech to Text を選択する
⚫ プランと料金を確認する
⚫ メールアドレスだけの「ライト」だと1か月100分まで無料。 ※
デモあるあるで急に使えなくなって焦る
⚫ 標準だと累計1,000分無料でその後2円/分
※とても安いと感じる
⚫ 説明だと分かりにくいけど、英語でも日本語でも料金は同じ
⚫ (インスタンスの)「作成」ボタンをおす

23. 2-1 IBM cloudのセットアップ
⚫ めでたくインスタンスが生成されたので、
下記が発行される。
⚫Url
⚫Username
⚫Password
⚫ 後でUnityで使います。

24. 2-2 Watson Asset のインポート
⚫ IBM Watson SDK for Unity
をインポート
⚫ Watsonと検索してトップに出てくるの
はこれ ↓ なので注意www

25. 2-3 サンプルプロジェクトを起動
⚫ シーンExampleStreamingの ExampleStreamingに Url,Username,Password を入れる。
⚫ 実行すると、英語でしゃべったことをテキスト化してくれる。（高速、高精度）
⚫ Recognize Model に 「ja-JP_BroadbandModel」と入れると日本語対応になる。((重要))

26. 2-4 VR空間で使う
⚫ オブジェクト ExampleStreaming をVR化したシーンにコピペする
⚫ VRCameraの下にテキストをつくる。常に視界に入るようにするなら設定値はこれくらい

27. 2-4 VR空間で使う
⚫ 用意したテキストを
ExampleStreaming の
Result Field にドラッグ＆ドロップ

28. 2-4 VR空間で使う
⚫ 実行してみる
⚫ 字幕みたいになった
⚫ 動画はツイート見てください →→
https://twitter.com/JNTEST23/status/1060168367208718336

29. 2-5 音声認識からイベント起動
⚫ 特定のキーワードを拾っていろいろできます！
⚫アニメーションの再生、物理空間でのLチカ、Prefab召喚 などなど
https://youtu.be/3xZCO1je8FM