今改めて見る Plane finding

takabrz1 大阪駆動開発 Takahiro Miyaura
今改めてみる
PlaneFinding
2021/10/20
XR ミーティング

宮浦恭弘 (Miyaura Takahiro)
 大阪駆動開発(とHolomagicians)コミュニティに生息
 HoloLens日本販売してからxR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらに
Come Back気味
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
と思ったらDigital Twins

お題：PlaneFindingを調べてみた
空間マッピングの平面だしの機能です
2021/10/21 Copyright © 2021 Takahiro Miyaura

小話その①
まだこれ移植してますｗ
MRTK V2.7.2で動かす
OpenXRで稼働させる
HoloLens 1 向けのUXをHoloLens 2に替えていってる
元はHoloLens 1向けの
Mixed Reality のサンプルの1つ

PlaneFindingはMixed Reality Toolkitの部品

MicrosoftのMixed Reality向けライブラリ群
用途/プラットフォームで提供
Unity向け
クロスプラットフォーム
最新バージョンはV2.7.2
UX部品
イベント制御系 etc…
Unity向け
UXデザインのサンプル
Periodic Table
Lunar Module
Surface
Unreal向け
サブセットがいくつかある
第一弾はUXTools for Unreal
 最新はV0.12.1
 Unity向けのライブラリと同等を目指す

Mixed Reality Toolkit V2 for Unity
概要
Unity向けOSSライブラリ
OpenVR HMD
（HTC Vive / Oculus Rift）
iOS/Android
(ARFoundation)
HoloLens HoloLens 2
Windows Mixed Reality HMD
Oculus Quest 2
 Cross Platformでの開発可能
 XRデバイスにおけるUnity開発の基本的な構成要素を提供
 ラピッドプロトタイピングを実現
 コア機能が交換可能な拡張性の高いフレームワーク

Mixed Reality Toolkit V2
概要
XRデバイスの固有機能を含め様々な補助機能を提供

Mixed Reality Toolkit V2
概要
UX building blocks : 組込み済みのUX部品群

Mixed Reality Toolkit
概要
Unity と Unreal用共通で利用する為のベース
https://github.com/microsoft/MixedRealityToolkit
 Mixed Reality Toolkit
 C++ベースのライブラリ等で構成
 GpuStats
 Sharing
 SpatialInput
 PlaneFinding → ここの部品
 SpatialUnderding
 SpecterViewPlugin

Plane Findingとは

Plane Findingとは
概要
空間の平面だしをする部品です
 大量のMesh情報から水平面、垂直面を作る

Lets‘ｓ Try
|ω・)b

Let’s Try
環境
今回の環境
 開発環境.
 Unity 2020.3.8f1
 Visual Studio 2019
 Windows SDK 10.0.19041.0
 ライブラリ
 Mixed Reality Toolkit Foundation V2.7.2
 Mixed Reality Toolkit Plane Finding V1.0.0
 Mixed Reality Toolkit Standard Assets V2.7.2
 Mixed Reality OpenXR Plugin V1.1.1

ちなみに最近知ったのですが。。。

Let’s Try
最近知ったこと
Mixed Reality開発の手順がMicrososft Learnに変わってる
 そして英語化（近いうちに日本語化予定）
 OpenXR環境でMRTKをセットアップするラーニングパスは以下
 https://docs.microsoft.com/ja-jp/learn/modules/learn-mrtk-tutorials/1-2-configure-unity-for-windows-mixed-reality
英語じゃ・・・
という方のためにセットアップ紹介

OpenXRなMRTK環境を作る手順

Let’s Try
少しだけややこしいですよ
1. まずはUnityで空プロジェクトを作成(PlaneFindingSamples等)
2. Mixed Reality Toolkitの導入(Mixed Reality Feature Toolを利用)
 OpenXR Pluginもセット
 ついでに今回使うPlaneFindingもセット
3. Unityで再度プロジェクトを開く
4. プラットフォームをUniversal Windows Platformに
5. OpenXRの設定を行う
6. MRTKの初期設定を行う
7. パッケージ名を直す

Let’s Try
2. Mixed Reality Toolkitの導入(Mixed Reality Feature Toolを利用)
1. サイトからMixed Reality Feature Toolをダウンロードする
 https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/welcome-to-mr-feature-tool
2. ツールを起動する
3. 先ほど作った空プロジェクトを開く
4. 必要なコンポーネントをインポートする
 Mixed Reality Toolkit Foundation V2.7.2
 Mixed Reality Toolkit Plane Finding V1.0.0
 Mixed Reality Toolkit Standard Assets V2.7.2
 Mixed Reality OpenXR Plugin V1.1.1

Let’s Try
1. 起動すると左記のメニューが出る
2. Unity OpenXR pluginを押す
3. Show XR Plug-in management Settingsを開く
4. Project Settingsが拓く
5. OpenXRの設定を行う。

Let’s Try
1. XR Plug-in Managementを選択
2. UWPのタブでOpenXRをチェック
3. Microsoft HoloLens feature groupをチェック
4. MRTKのメニューが以下の様に変化する
5. Apply Settingsを押す

Let’s Try
1. OpenXR関連の設定が自動で行われる
2. Depthの設定を16bitに変更
3. Interaction Profilesを確認
Microsoft Hand Interaction Profileがある
4. OKならNextを押す

Let’s Try
6. MRTKの初期設定を行う
1. OpenXR関連の設定が自動で行われる
2. Depthの設定を16bitに変更
3. Interaction Profilesを確認
Microsoft Hand Interaction Profileがある
4. OKならNextを押す

Let’s Try
7.パッケージ名を直す
1. パッケージ名を適当な形に変更
※これしないと上書きされる問題
2. 新しいシーンにMRTKの初期設定を行う
3. 空のOpenXRなMRTK環境が完成

PlaneFindingを使う

実装内容は以下のフロー
1. 空間マッピングからメッシュ情報を取得
2. 取得した情報をPlane Findingに送る
3. 処理結果を可視化する

1. 空間マッピングからメッシュ情報を取得
IMixedRealitySpatialAwarenessMeshObserverから取得可能
var spatialAwarenessService = CoreServices.SpatialAwarenessSystem;
var dataProviderAccess = spatialAwarenessService as IMixedRealityDataProviderAccess;
observer = dataProviderAccess.GetDataProvider<IMixedRealitySpatialAwarenessMeshObserver>("OpenXR Spatial Mesh Observer");
List<PlaneFinding.MeshData> meshData = new List<PlaneFinding.MeshData>();
List<MeshFilter> filters = observer.Meshes.Select(x => x.Value.Filter).ToList();
text = $"MeshCount -> {filters.Count}";
for (int index = 0; index < filters.Count; index++)
{
MeshFilter filter = filters[index];
if (filter != null && filter.sharedMesh != null)
{
// fix surface mesh normals so we can get correct plane orientation.
filter.mesh.RecalculateNormals();
meshData.Add(new PlaneFinding.MeshData(filter));
}
}
MRTKの空間マッピングの機能を取得
スキャンした空間のメッシュ情報を取得
Plane Findingへの渡すための前処理

2. 取得した情報をPlane Findingに送る
先ほどのメッシュ情報を引数で渡す
Task<BoundedPlane[]> planeTask = Task.Run(() =>
PlaneFinding.FindPlanes(meshData, snapToGravityThreshold, MinArea));
BoundedPlane[] planes = planeTask.Result;
Plane Findingで計算
結果はBoundedPlaneで返ってくる
public struct BoundedPlane
{
public Plane Plane;
public OrientedBoundingBox Bounds;
public float Area;
}
BoundedPlaneはこういうStruct型
平面に関する情報はOrientedBoundingBoxに入っている

3. 処理結果を可視化する
BoundedPlaneの情報を使って面を可視化する
BoundedPlane.Boundsの情報でオブジェクトの位置、向き、サイズを調整
foreach (var boundedPlane in planes)
{
GameObject primitiveType = GameObject.CreatePrimitive(PrimitiveType.Cube);
primitiveType.layer = observer.MeshPhysicsLayer;
primitiveType.transform.parent = gameObject.transform;
primitiveType.transform.position = boundedPlane.Bounds.Center;
primitiveType.transform.rotation = boundedPlane.Bounds.Rotation;
Vector3 extents = boundedPlane.Bounds.Extents * 2;
primitiveType.transform.localScale = new Vector3(extents.x, extents.y, 0.01f);
}

結果
以下の様に平面出しが可能に

まとめ

まとめ（今回わかったこと）
 （今更ですが）PlaneFindingを調べてみた
 Mesh情報から計算で平面になる領域を計算し返してくれる
 Mesh情報があればいいので実は空間マッピング関係なく利用できる
 現実空間に沿った平面情報を扱いたい時には気軽に使える
 テーブル上に何か出すコンテンツ等
 MRTKにはSceneUnderStandingという空間シーンの形状分類の機能もある
 空間全体の推定という意味ではそちらの方が効果がある場合も
ちょっと平面だししたい時にはPlane Findingもあることを思い出して

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

今改めて見る Plane finding

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 今改めて見る Plane finding

Ähnlich wie 今改めて見る Plane finding (20)

Mehr von Takahiro Miyaura

Mehr von Takahiro Miyaura (13)

今改めて見る Plane finding