#MRDevDaysJP HoloLens 2 アプリ開発入門

#MRDevDaysJP
HoloLens 2
アプリ開発入門
#MRDevDaysJP Madoka Chiyoda 12.16.2020
このセッションの目標：
• HoloLens 2 アプリ開発のおおまかな
全体像をざっくり把握
• 何を見て学んだら良いのか分かる

HoloLens
が好き
自己紹介：千代田まどか (ちょまど)
描いた絵
#MRDevDaysJP
• Microsoft 社で
Developer Relations (DevRel) のチームで働く
Cloud Developer Advocate
• ゲームと漫画とプログラミング好き
• Twitter: @chomado (フォロワー8万人)
• 前職はスマホアプリを開発していたプログラマ

#MRDevDaysJP
このセッションの内容は
記事にすべてまとめました！
https://aka.ms/MRDevDaysJP-Qiita

#MRDevDaysJP
01: 開発の全体像HoloLens 2 アプリ開発の全体像について
04: 環境構築 (UE4)Unreal Engine 4 を使った 3D アプリ開発のための環境構築
02: MRTKマイクロソフトがオープンソースで開発している、クロスプラットフォーム向け
MR アプリ開発用の公式 SDK である MRTK (Mixed Reality Toolkit) について
05: HL2 アプリ開発デモUnity のプロジェクト。MRTK を使った HoloLens 2 アプリで、どのように開発し
ているのかを **簡単に** 動画でお見せします
03: 環境構築 (Unity)Unity を使った 3D アプリ開発のための環境構築
06: 自主学習リソース自主学習のためのコンテンツ集。Microsoft Learn の MR モジュールや docs の
チュートリアルなど
Agenda
#MRDevDaysJP

#MRDevDaysJP#MRDevDaysJP
HoloLens の OS
Windows 10 Holographic が載っている

HoloLens で動くアプリ：UWP アプリ
UWP: Windows 10 で提供される、アプリ実行環境。
マルチデバイスで動作する、統合されたプラットフォーム

HoloLens アプリの形態は大きくわけて2種類

2D アプリ → 通常の UWP アプリ開発
Visual Studio 2019
C# (or VB) + XAML
XAML (Extensible Application Markup Language):
主にアプリの UI を記述するときに使うマークアップ言語。
XAML で画面 UI を定義して、その裏の挙動を C# で書いていく (コードビハインド)

2D アプリ：UWP 公式ドキュメント
https://aka.ms/uwp-jp

3D アプリ

主な 3D アプリ開発ツール・環境
HoloLens 1 から
使われてきている
ゲームエンジン
HoloLens 2 から
開発に利用できる
ようになった
ゲームエンジン

Unity プロジェクト
ビルド
UWP プロジェクト UWP アプリ
ビルドインストール
HoloLens 上で
実行可能
3D のシーンの開発
C# スクリプトの開発
UWP アプリビルド用配布用パッケージ
HoloLens アプリ開発の全体像 (Unity の場合)

UE4 プロジェクト
ビルド
UWP アプリ
インストール
HoloLens 上で
実行可能
3D のレベルの開発
Blueprint/C++ の開発
配布用パッケージ
HoloLens アプリ開発の全体像 (UE4 の場合)
(バックグラウンドで Visual Studio と連携)

HoloLens アプリ開発の全体像
Unity
UE4

ぜひ利用したい公式 SDK :
MRTK (Mixed Reality Toolkit)
https://github.com/microsoft/MixedRealityToolkit-Unity
https://github.com/microsoft/MixedRealityToolkit-Unreal
Unity, UE それぞれ向けに
Microsoft が
オープンソースで開発している
Mixed Reality 対応の
クロスプラットフォーム開発キット。
(HoloLens アプリ開発ならほぼ必須だと思う)

#MRDevDaysJP
01: 開発の全体像HoloLens 2 アプリ開発の全体像について
04: 環境構築 (UE4)Unreal Engine 4 を使った 3D アプリ開発のための環境構築
02: MRTKマイクロソフトがオープンソースで開発している、クロスプラットフォーム向け
MR アプリ開発用の公式 SDK である MRTK (Mixed Reality Toolkit) について
05: HL2 アプリ開発デモUnity のプロジェクト。MRTK を使った HoloLens 2 アプリで、どのように開発し
ているのかを **簡単に** 動画でお見せします
03: 環境構築 (Unity)Unity を使った 3D アプリ開発のための環境構築
06: 自主学習リソース自主学習のためのコンテンツ集。Microsoft Learn の MR モジュールや docs の
チュートリアルなど
Agenda
#MRDevDaysJP
MRTK については私の後のセッションで
詳しく解説されているので、
私のパートでは「おおまかな概要」のみの説明とします

MRTK (Mixed Reality Toolkit) とは
Mixed Reality アプリケーション向けの
オープンソースの
クロスプラットフォーム開発キット(SDK) です。
(引用元：MS 公式ドキュメント https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-getting-started )
とくに HoloLens アプリ開発するならほぼほぼ必須だと思う

MRTK の色々な UI/インタラクションの部品

MRTK 公式ドキュメント
https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/WelcomeToMRTK.html

ホロラボさんが翻訳してくれてる
日本語版ドキュメント
https://hololabinc.github.io/MixedRealityToolkit-Unity/Documentation.ja/WelcomeToMRTK.html

公式ドキュメントに書いてある
https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Installation.html

Unity での HoloLens 2 アプリ開発に必要な環境
2019
開発 PC の OS は
Windows 10
Unity の
バージョンは
2019.4 LTS
(Long-Term
Support)
ゲームエンジンOS IDE Windows SDK
VS2019 に追加インストール
するモジュール：
• UWP の開発
• USB デバイスの接続
Windows 10 SDK
(ビルド 18362 以降)

開発 PC (Windows 10) に Visual Studio 2019
- 個人の場合、無料の「コミュニティ版」で OK

Visual Studio の追加インストール
USB デバイスの接続

Unity Hub からのインストール

- 入れる Unity のバージョン選択

- 必要なモジュールをチェック

- 2019.4 LTS 版が入ったことを確認
2019.4 LTS
(Long-Term Support)

MRTK インポート
今まで：
GitHub の Releases から
直接 .unitypackage ダウンロード
MRTK 2.5 から：
Unity Package Manager が
使える
今回はコチラを説明します

MRTK インポート (1)
- GitHub からダウンロードしてくる
Assets から .unitypackage をダウンロード。
必須なのは Foundation
スクロール

MRTK インポート (2)
- Unity のプロジェクトにインポートする
Foundation から先にインポート。
他は必要によって追加で入れる
（サンプルシーンが欲しいときとか）

MRTK がちゃんと入ると出て来る ①
MRTK (の Foundation) パッ
ケージが入ると、
MRTK Project Configurator
ダイアログが上がってくる
MRTK 用に Unity プロジェクトの
設定をよしなにやってくれる人

MRTK がちゃんと入ると出て来る ②
Unity エディタのメニューバーに
『Mixed Reality Toolkit』が
追加される

ビルド対象プラットフォームを UWP に切り替え
HoloLens 上で動くアプリは
UWP (Universal Windows
Platform) アプリ

シーンとコンフィグレーションの設定
• MixedRealityToolkit : MRTK 本体
• MixedRealityPlayspace : ヘッドセットの親オブジェクト
• Main Camera : もともとあったメインカメラが子オブジェクトとして移動してきた

HoloLens 2 用のプロファイル選択
MixedRealityToolkit オブジェク
トの inspector ビュー
HoloLens 2 向けに
最適化されたプロファイル

プロジェクト名をデフォルト (“Template3D”) から変更
ここを変えないと、
インストール時に同名のアプリが
上書きされてしまう。
(デフォルト “Template3D”)

さらなる学習へ：1:30pm からの MRTK-Unity セッション
MRTK-Unity 製品チーム
ユンさん

環境構築について
- 公式ドキュメントに書いてあります
https://aka.ms/start-MRTK-Unreal-jp

UE4 での HoloLens 2 アプリ開発に必要な環境
2019
開発 PC の OS は
Windows 10
UE4 のバージョンは
4.25 以降
ゲームエンジンOS IDE Windows SDK
VS2019 に追加インストール
するモジュール：
• C++ によるデスクトップ開発
• UWP の開発
• USB デバイスの接続
Windows 10 SDK
(ビルド 18362 以降)

開発環境設定
Epic Games Launcher のインストールオプションの、
対応プラットフォームの「HoloLens 2」にチェック

プロジェクトに 2 つプラグインを追加
Build-In > Augmented Reality
> HoloLens
Build-In > Virtual Reality
> Microsoft Windows Mixed Reality

プロジェクトに MRTK-Unreal の UX Tools を入れる
https://github.com/microsoft/MixedReality-UXTools-Unreal/releases/

プロジェクトに MRTK-Unreal の UX Tools を入れる
(1) プロジェクトのルート階層に
『Plugins』フォルダを作る
(2) そこに、解凍した
UX Tools フォルダをコピペする
(3) エディタ再起動後、プラグイン一覧で
UX Tools が有効になっていることを確認する

さらなる学習へ：
UNREAL FEST 2020 で発表されたセッション動画
https://youtu.be/vGMVi8Fu_pU
環境構築後に
何をすればいいの？
UX Tools の使い方を
動画で詳しく知りたい

さらなる学習へ：2pm からのセッション
『Unreal Engine 4 で HoloLens 2 アプリ開発 (MRTK-Unreal)』
MRTK-Unreal「を」作ってる人
Cameron さん

手乗りキャラ HL2 アプリ (Unity + MRTK)
床や机も
認識して置ける
この (*ﾟ▽ﾟ* っ)З ちょまぎょ 3D モデルは
モンさん (@HoloAdventure) に
モデリングしていただきました！感謝

HoloLens 2 実機での動作

Unity エディタ上での実行

さっきのデモのおさらい
プロジェクトに
MRTK 入れてる Unity エディタ上で
手の動きなど
シミュレート可能
(MRTK のおかげ)
実機の時のように
手に載った！
現時点ではまだ
「掴む」ということが
できていない
→ 対応してみる

ちょまぎょを「掴める」
ようにする
MRTK の
Object Manipulator を
アタッチ

ちょまぎょを「掴める」
ようにしたのでテスト中
それぞれの手で
掴めることを確認
両手で「拡大縮小」が
できることを確認
ちゃんと手に載ることも
確認

さっきのデモのおさらい
MRTK の
Object Manipulator を
ちょまぎょモデルの親 (コライ
ダー付き) にアタッチした
ちょまぎょが
掴めるように！
(最初は掴めなかったよ)
両手で拡大縮小も
できるようになった
Object Manipulator アタッチ
しただけ、3 秒で掴めるよう
になった！すごい
(*ﾟ▽ﾟ* っ)З

MRTK の機能例

自主学習に使えるマイクロソフト公式コンテンツ
• HoloLens 2 アプリ開発チュートリアル (docs)
• https://aka.ms/MRDDjp-Tutorial
• オンライン学習サービス『Microsoft Learn』の
Mixed Reality モジュール
• https://aka.ms/MRDDJPLearn

HoloLens 2 開発公式チュートリアル

HoloLens 2 エミュレータもあります
https://docs.microsoft.com/ja-
jp/windows/mixed-reality/using-
the-hololens-emulator
公式ドキュメント

Unity エディタ上での実行

HoloLens 2 開発公式チュートリアル (全 7 章)
https://aka.ms/MRDDjp-Tutorial

【HoloLens 2 ハローワールド】
• HoloLens 2 開発用の Unity の設定
• MRTK インポート＆ Unity 設定
• HoloLens 2 へのデプロイの仕方

【MRTK を使用した UI 作成】
• MRTK プロファイルを編集する
• (MRTK プロファイルを編集するためには、まず複製
をして編集する必要がある、など)
• ハンドトラッキング付ける
• インタラクティブなボタン付ける

【オブジェクトをユーザの手 (など) に
追従させる】
• MRTK の Solver の紹介
• Solver を使ってユーザにボタンコレク
ションを追従させる

【高度な入力オプション】
• 音声コマンドでイベントをトリガー
• （「Play Music」というキーワードで ~~.mp3 を再生）
• アイトラッキングでオブジェクトを選択
する

#MRDevDaysJP
マイクロソフトの
公式オンライン学習サービス
『Microsoft Learn』の
Mixed Reality モジュール
https://aka.ms/MRDDJPLearn

#MRDevDaysJP
2021/1/18(月) HoloLens 日本上陸 4 周年記念
オンラインイベント、ぜひ参加登録を！
https://hololens.connpass.com/event/198999/

#MRDevDaysJP
ハッシュタグを付けて
感想をツイートしよう
#MRDevDaysJP .

#MRDevDaysJP
Thank you.
#MRDevDaysJP

#MRDevDaysJP HoloLens 2 アプリ開発入門

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie #MRDevDaysJP HoloLens 2 アプリ開発入門

Ähnlich wie #MRDevDaysJP HoloLens 2 アプリ開発入門 (20)

Mehr von Madoka Chiyoda

Mehr von Madoka Chiyoda (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (11)

#MRDevDaysJP HoloLens 2 アプリ開発入門