xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する」

HoloLensでも3Dアニメーションを再
生する
松原達郎

松原達郎 @blkcatman
xRLT vol.01 「HoloLensでも3Dアニメーションを再生する」
業務系：C#(Unity), Objective-C, JavaScript(node.js), etc
趣味系：C++, Processing, WebAssembly(やりたい)
Oculus, GearVR, Hololens, Tango, ARKit などのAR / VR技術
Shaderもたまに書いています

(現在開発中)StreamingMeshについて
>>>
送信側受信側
リアルタイムに3DCGアニメーションを配信するシステムを開発中

StreamingMesh動作確認状況
• ◯ PC ( Windows / Mac ) ※Linux未確認
• ◯ Android(Galaxy s6やZenFoneAR) , iOS(iPhone)
• ◯ HoloLens ※動作させるの大変でした
• △ WebGL / WebVR ※PCのブラウザのみ、モバイル対応当分先

(一般的な)開発用PCとHoloLens性能比較
• 開発用PC
CPU
Core-i7 4770K
(Haswell) 3.5 to
3.9 GHz
Memory 8GB
GPU
Nvidia GTX
970 1050 MHz ~
4GB
CPU
Atom x5-Z8100
(Cherry Trail)
1.04 GHz
Memory 2GB
GPU
Intel® HD Graphics 200
MHz ~ 500 MHz?
2GB(shared memory)
• HoloLens

参考資料(CPU)
性能差はおよそ1/9(HoloLensはx5-Z8100なのでこの数値より低くなる)
[参照元] https://www.cpubenchmark.net/cpu.php?cpu=Intel+Atom+x5-Z8300+%40+1.44GHz

参考資料(GPU)
性能差はおよそ1/20~1/50 (HoloLensはx5-Z8100なのでさらに・・・)
[参照元] https://www.notebookcheck.net/Intel-HD-Graphics-Cherry-Trail-Benchmarks.140902.0.html
https://www.notebookcheck.net/NVIDIA-GeForce-GTX-970.146750.0.html
• GTX970
vs
• Atom x7-Z8700

結論：(Unityの)スキンメッシュアニメーション、
HoloLens上で動かすのは無茶
ところで、スキンメッシュアニメーションとは

スキンメッシュ(Skinned Mesh Animations)について
• スケルタルアニメーション、ボーンアニメーションとも
• ツリー構造を持った複数の回転行列による重み付き変換
• 順運動学(Forward Kinematics)の応用がスキンメッシュ
• 順運動学と違うのは、頂点が複数の回転軸の影響を受ける
Forward Kinematicsって
こういうやつです
Skinned Meshって
こういうやつです

スキンメッシュの計算量の話
(眠たくなるかもしれません)

スキンメッシュの計算量①（ちょっと乱暴）
• ベクトルと3x3の回転行列の乗算＋移動ベクトル
単一の回転行列による変換
(重み付けなし)
複数の回転行列による変換
(重み付けあり)
(重み付けの制約)
回転行列どうしはツリー構造になっているので、予めFKで計算される
計算回数: 乗算9回 + 加算9回
計算回数: (乗算9回 + 加算9回)x2 + (乗算6回 + 加算3回)

スキンメッシュの計算量②
• スキンメッシュだと大体2つ以上の回転行列の影響を
受けるので、
• 1つの頂点で乗算24回 + 加算21回の浮動小数点計算
• 1000ポリゴンで乗算24,000回 + 加算21,000回
• さらに秒間で考えて、30fpsだとすると…
• 乗算720,000回 + 加算630,000回 (1000verts, 30fps)
• ハイポリゴンになると…
※スキンメッシュの計算量最適化の手法はありますが、
原則的にはこういう計算やっています、というお話です

もう一度、HoloLensの性能の話

• CPUの性能 = PCに対してだいたい 1/9
• GPUの性能 = PCに対してだいたい 1/20 ~ 1/50
スキンメッシュの計算量を1/50以下にすれば
アニメーションがHoloLens上でも動く?

StreamingMeshの機能を使ってHoloLens上でアニメーション
• クライアント側は圧縮処理された頂点情報を受信
• 受信した頂点は既にスキンメッシュ変換後の情報
• 圧縮処理された頂点情報から元モデルを復元する
• 解凍(またはデコード)処理はかなり高速
• 秒間10フレームぐらいの間隔の頂点データに間引く←30フレームは重い
• フレーム間のアニメーションは線形補間する
フレームの頂点位置を
線形補間でアニメーション

線形補間(Linear-Interpolation)による頂点処理の計算量
• 時間ごとの頂点の絶対位置は定まっているので、
直線状の動きになる
線形補間
(乗算6回 + 加算3回+(減算1回))
もしくは,
,
(wが事前に計算されれば、乗算3回 + 加算3回
.
,
単純計算でスキンメッシュの
1/4~1/8の計算量で済む

その他の最適化
• Unity(C#)のクラス(Vector3等)をなるべく使わない
• Vector3.Lerpは線形補間してくれる関数だけどとても遅い
• 頑張ってfloat[]の配列で計算し、最後にMeshに渡す時だけ
に使う
• GCスパイクが出まくるので、抑制する

魔のunsafeコード(今は使ってないけど、似たようなことはしてる)

おわりに
• 最適化はまだ終わらない (さらに、これからやること)
• (Unityの)C#で限界な部分まで調整していく
• 最終的にはUnityからの出力でなくても動くようにしたい
• 公開はまだ先！

xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する」

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する」

Ähnlich wie xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する」 (13)