【DL輪読会】NeuWigs: A Neural Dynamic Model for Volumetric Hair Capture and Animation

•

0 gefällt mir•136 views

Deep Learning JP

2023/2/10 Deep Learning JP http://deeplearning.jp/seminar-2/

Technologie

1
NeuWigs: A Neural Dynamic Model for Volumetric
Hair Capture and Animation
Naruya Kondo (Digital Nature Group M2)

書誌情報
2
● NeuWigs: A Neural Dynamic Model for Volumetric Hair Capture and
Animation
○ Arxiv (Submitted on 2022/12/1)
○ 著者：CMU, Meta, Google, Epic (※ Work done while at Meta)
■ Ziyan Wang, Giljoo Nam, Tuur Stuyck, Stephen Lombardi, Chen Cao, Jason Saragih, Michael Zollhoefer, Jessica
Hodgins, Christoph Lassner
● ひとことで言うと
○ 「Primitiveで小さなNeRF達」を逐次的に動かし、非剛体シミュレーションする
○ 髪の毛を、リアルタイムなObservation無しで、シミュレーションできる！
■ 再生／再構成ではなく、異なる時間発展に対応できる
■ (リアルタイムに動くかは不明だけど、そんなに重くなさそう)
○ (ネタっぽいけど、非剛体sim的に凄そう)

問題設定
4
● 学習: ある1つの髪(wig) で撮った時系列データを学習
● 評価: 新しい動きを入力にして、髪空間を生成＆描画
● データ
○ {うなずく, 首振り, 傾げる} × {速い, 遅い} を何回も
○ 100カメラ, 30fps, 恐らく1回10秒程度大量カメラは正義 (真理)

$Overview • State compression – 各時刻の点群をAutoencoderで z_t に埋め込み。 • 出力: 点群の位置, 向き, 大きさ – Volumetric Primitivesで、小さなNeRFを組み合わせて全体を描画 • Dynamic model training – z_t, 顔中心の動き, 重力から z_{t+1} を予測 5 学習① 学習② 評価 • z_t が与えられるとdecodeでき、時間変化も生成できる$

State compression
1. l-MVSで髪の点群 p_t を得る
– unordered
2. PointNetでエンコード
– MaxPooling等で順番に依存しない
3. MLPでデコード
– 順番が揃うらしい(?)
– 点群 q_t の位置、向き、スケールを得る
4. Loss: 位置、向き、Flow(変位) + N(0,1)とのKL
6
一番近い点との差

$State compression 1. ⇧全部を組み合わせ、1つのNeRF Field を作る (V^{all}) 2. Volume rendeing 3. Loss: L1 + VGG つまり、z_tが与えられると、decode＆renderができる 7 sparseなNeRF とも言える? 光線上の透過率αの差分だけ色rgbを足す$

Dynamic model training
1. enc, decを固定して、学習データのz_tの系列について、
次の z_t を予測
h: 頭の中心, g: 重力の方向
2. Loss
8
z_tは分布で、μ, δはその平均と分散

$Dynamic model testing • テストの際、そのまま予測したz_{t+1}を使うと、ノイズが蓄積する – ⇨ decodeしてencodeしてから使った – (ノイズがとれるらしい) 9$

感想
• primitiveの動きに注目して学習するというのが良さそう
• 激しい動きにどれくらい対応できる？
• 髪の毛以外に応用できる？
• 髪の毛の周りのGhostが気になる (あるある？)
• 先にencoder / decoderを学習して、後から潜在変数(の遷移)を学習するのと、end-to-endで学習する
の、結局どちらが良いのだろう
– 最近は前者をよく見る気がする
– (本論文、diffusion系、transformer系しかり)
– (松尾先生はend2end推しらしい)
• primitiveの境界はどうしてる？ by 山川先生
11

Empfohlen

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP

【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP

【DL輪読会】マルチモーダル LLMDeep Learning JP

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP

【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP

Empfohlen

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP

【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP

【DL輪読会】マルチモーダル LLMDeep Learning JP

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP

【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP

【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP

【DL輪読会】Hopfield network　関連研究についてDeep Learning JP

【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP

【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP

【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP

【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP

【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP

【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP

【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP

【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP

【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP

【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP

【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...Deep Learning JP

【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...Deep Learning JP

【DL輪読会】マルチモーダル基盤モデルDeep Learning JP

【DL輪読会】TrOCR: Transformer-based Optical Character Recognition with Pre-traine...Deep Learning JP

【DL輪読会】HyperDiffusion: Generating Implicit Neural Fields withWeight-Space Dif...Deep Learning JP

【DL輪読会】大量API・ツールの扱いに特化したLLMDeep Learning JP

【DL輪読会】DINOv2: Learning Robust Visual Features without SupervisionDeep Learning JP

【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...Deep Learning JP

IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka

新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.

Weitere ähnliche Inhalte

Mehr von Deep Learning JP