Azure Object Anchors Recap(Kobe版)

takabrz1 大阪駆動開発 Takahiro Miyaura
Azure Object Anchors Recap

宮浦恭弘 (Miyaura Takahiro)
 大阪駆動開発コミュニティに生息
 HoloLens日本販売してからXR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 1
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です

Ignite 2021でのアップデート情報
2021/3/24 Copyright © 2021 Takahiro Miyaura

Ignite 2021でのAzure Object Anchorsの情報
Public Previewとして提供開始がアナウンス
https://blogs.windows.com/japan/2021/03/05/driving-innovation-with-azure-mixed-reality-services/
Private Previewではトヨタ社での先行利用事例が有名
https://blogs.windows.com/japan/2020/09/27/mixed-reality-momentum-hololens-2-expands-globally-and-new-azure-service-launches/
Mixed Realityの活用を
より広げることができる注目のサービス

Mixed Realityの空間を活用するためのサービス

空間情報の活用を支援するMixed Realityサービス
Azure サービスとOSSライブラリ
World Locking Tool
現実空間とデジタル情報の
位置関係を高精度に維持
 Azure Services  Azure Services  OSS Library
パスタ状の仮想物体
Azure Spatial Anchors
現実空間をマーカーとして
デジタル情報を位置合わせ
Azure Object Anchors
現実の物体をマーカーとして
デジタル情報を位置合わせ

概要
空間をスキャンし学習済みの形状と照合
HoloLensで認識している空間情報
＝現実空間をスキャンし凹凸や奥行を把握
 Azure Services
学習済み形状モデル
HoloLens 2
①空間スキャン
②空間情報取得
③アンカー設置＆可視化
[オプション]診断情報送信
Runtime SDK
ou
ファイル
インポート取得
[事前作業]
現実の物体は要登録
APIで登録
3Dモデリング
ツール等で作成
3Dモデル
（参考）Azure Spatial Anchorsはスキャンし
た空間情報を学習済み形状として活用

利用について
大きくは2段階の作業
 Azure Services
HoloLens 2
3Dモデル
APIで登録
3Dモデリング
Runtime SDK
ou
ファイル
[事前作業]
現実空間での利用モデルの登録
（事前作業）
[オプション]診断情報送信

利用について – 現実オブジェクトの登録
3DモデルとしてAzure Object Anchorsに登録
【現実オブジェクトは3Dモデルで用意】
 フォーマット .glb, .gltf, .ply, .fbx, .obj
 サイズは1m ～10m の範囲内がスイートスポット
 適切なスケールユニット
 センチメートル, デシメートル, フィート, インチ,
キロメートル, メートル, ミリメートル, ヤード,
 オブジェクトの重力方向
 例：オブジェクトの下向き-Y の場合は、(0, -1, 0)
【注意点】
サイズが大きく、LOD (詳細レベル) が高いモデルの処理には時間がかかる可能性あり。
Azure Object Anchorsの
オブジェクト変換サービスを利用
• 学習済みモデルはouファイルとして取得
• HoloLensにインポート（ファイルコピー）
 Azure Services
3Dモデル
APIで登録
3Dモデリング
Runtime SDK
ou
ファイル
[事前作業]

利用について – 現実のオブジェクトの検出と可視化
学習済みモデルと現実空間の情報を照合
HoloLens 2
Runtime SDK
ObjectSearchArea
 現実の物体を検出するエリア範囲
（動画の赤のボックス）
MinSurfaceCoverage
 現実の物体と一致したとみなす表面の
最小カバレッジ率
IsExpectedToBeStandingOnGroundPlane
 現実オブジェクト床面に設置しているかどうか
ExpectedMaxVerticalOrientationInDegrees
 認識可能な上方向と重力の最大角度
MaxScaleChange
 オブジェクトのスケールを調整(0~1)
検出時の主な調整項目

Quick Startのポイント
 Quick Start通りで問題なく実施できます
 3Dモデルも簡易な方法で試せます

Quick Start のポイント
実施の際のポイントを紹介 – モデルの生成
 対象にするモデルを用意しましょう
【シンプルな形状を用意】
 そこそこ大き目の物体（1m程度）を用意
 バランスボール、段ボール等
 対称形の物体は方向が不定になります（位置は正確に出ます）
【公式ドキュメント(Azure Object Anchors )】
 全体：https://docs.microsoft.com/ja-jp/azure/object-anchors/
 モデルの登録：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-model-conversion
 AOA利用：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-unity-hololens-mrtk?tabs=unity-package-web-ui
実寸（ｍ）で入力
Scale:1.0
Apply Scaling:FBX All
例：Blenderでバランスボール用のモデル生成
 Quick Startのコンバージョンツールで登録
 成功するとouファイルが生成されます。

Quick Start のポイント
実施の際のポイントを紹介 – HoloLens アプリ
【公式ドキュメント(Azure Object Anchors )】
 全体：https://docs.microsoft.com/ja-jp/azure/object-anchors/
 モデルの登録：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-model-conversion
 AOA利用：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-unity-hololens-mrtk?tabs=unity-package-web-ui
【Device Portal経由でインポート】
 場所：User FoldersLocalAppData
AOAMRTKApp.X.X.X.X_arm64__XXXXXLocalState

実装の話
 Quick Startのコードをちょっと紹介

実装の話 - モデル登録とOUファイルの取得

実装の話 – モデル登録とOUファイルの取得
OUファイルの作成指示
ObjectAnchorsConversionClient client
= new ObjectAnchorsConversionClient([AccountId], [AccountDomain], [AccountKey]);
AssetConversionOperation conversionOperation = null;
var assetOptions = new AssetConversionOptions(
(await client.GetAssetUploadUriAsync()).Value.UploadUri,
AssetFileType.FromFilePath(configuration.InputAssetPath),
new Vector3(0.0f, -1.0f, 0.0f),
AssetLengthUnit.Meters);
conversionOperation = await client.StartAssetConversionAsync(assetOptions);
Azure Object Anchorsの
アカウントID、ドメイン、アカウントキー
モデルデータアップロードURL
（サイズが大きいので非同期用に都度変わる）
3Dモデルデータオブジェクト
AssetFileTypeは読込んだモデルの種類などを情報に持つ
モデルデータの重力方向軸
モデルデータのサイズ単位
Ouファイルの作成指示

実装の話 – モデル登録とOUファイルの取得
OUファイルのダウンロード
var response = await conversionOperation.WaitForCompletionAsync
(new CancellationTokenSource(TimeSpan.FromMinutes(40)).Token);
if (response.Value.ConversionStatus == AssetConversionStatus.Succeeded) //正常完了の場合
{
BlobClient downloadBlobClient = new BlobClient(response.Value.OutputModelUri);
await downloadBlobClient.DownloadToAsync(outputPath);
}
OUファイルの処理待ち
OUファイルのダウンロード

実装の話 – オブジェクトの検索と可視化

実装の話 – オブジェクトの検出と可視化
｜・ω・)b 絶賛調査中!
そもそも説明時間足りないことに気づく・・・
詳細はQiita記事を待ってて

まとめ

まとめ
Azure Mixed Reality の新しいサービス
Azure Object Anchors
３Dモデル形状を登録
現実空間から学習済モデルと一致する現実の物体を検索
現実の物体位置、向きを推定しデジタル情報と位置合わせ
Azure Object Anchorsが加わった
Azure Mixed Reality サービスでMixed Realityの活用範囲が広がる

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

Azure Object Anchors Recap(Kobe版)

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Azure Object Anchors Recap(Kobe版)

Ähnlich wie Azure Object Anchors Recap(Kobe版) (20)

Mehr von Takahiro Miyaura

Mehr von Takahiro Miyaura (12)

Kürzlich hochgeladen

Kürzlich hochgeladen (11)

Azure Object Anchors Recap(Kobe版)