Weitere ähnliche Inhalte
Ähnlich wie Light weightbinocular sigasia2012_face
Ähnlich wie Light weightbinocular sigasia2012_face (20)
Mehr von ishii yasunori (9)
Kürzlich hochgeladen (11)
Light weightbinocular sigasia2012_face
- 2. この文献でいいたいこと
映画など顔形状による CG 合成を利用
従来はシステムが大掛かり
単純なステレオカメラで細かい表情変
化まで取得することを目指す
- 3. 従来手法
マーカーを装着型
精度が悪い
マルチカメラ再構成
ライトコントロール型
装置が大掛かり
ステレオカメラで Uncontrollable なシーン(屋内、屋外)で
精細な顔形状復元を行う
(ただし、カメラはキャリブレーション済み)
- 4. アプローチ概要
First Step
ステレオカメラ+トラッキングで粗い形状推定
誤差を減らすために、マッチング制約を提案
Second Step
照明が変化するシーンで反射率/照明推定を実施
し、 Shape refinement を行う
- 5. 初期化
ステレオ画像に対し視差算出
Ed =データ項、 Eg =幾何項、 Es= 平滑化項
詳細は後ほど
PostProcessing
背景除去。三角メッシュ表現。点数揃える
平滑化処理し、メッシュの色は左右画像の合成色
- 10. Template Tracking
Smoothness 項:異方性のエッジに基づ
き滑らかさを評価
・ r1,r2 は第一、第二固有値
・形状変化するので、
Scene flow 推定中は再計算
- 12. エネルギー最小化
多重解像度で各解像度で推定
3 D motion field を使って、形状変化を
表現
- 13. Mesh Tracking
Scene Flow がわかれば各頂点の
Tracking が可能
Noise や Drift があるので制約を設ける
- 17. Motion Refinement
誤差の蓄積などに対して Refinement する
方法(時刻 t+1 のとき)
メッシュのトラッキング結果から左右画像を合成
(f0r,r1r)
正解データ f0(t+1),f1(t+1) との再投影誤差算出
f0(t+1),f1(t+1) と (f0r,r1r) との間の SceneFlow から
メッシュをアップデート
- 18. Shape Refinement
2 ステップからなる
1.各フレームで照明と反射率を推定
2.陰影情報に基づく幾何推定を実施
顔の反射率推定
表面の形状修正
- 19. Albedo( 反射率 ) Clustering
K-means クラスタリング
・ ai : 頂点の反射率集合
・ k :クラスタリング数
・ Sk :クラスタ番号
・ ui :クラスタ内の平均反射率
ai の初期値は、前フレームの
幾何形状・照明条件から計算
反射率がもとまったら、照明方向・強度を推定(既存手法)
- 21. Surface Refinement
データ項
入力画像と合成画像との Shading の勾配差
i: メッシュ
N(i): メッシュ i の近傍メッシュ
C: カメラ番号
Q(I,j) :カメラ集合
r(i,j),s(i,j): 入力画像の勾配、合成画像の勾配
- 22. Surface Refinement
Similarity 項
時刻 t-1 の法線と時刻 t の法線の類似性
nit: 時刻 t-1 の法線
Xtu-Xtv: 三角メッシュの 2 点の差
時刻 t,t-1 のベクトル間の外積を算出
nit
Xtv
Xtu
- 24. エネルギー最小化の高速化
非線形最適化の繰り返し
処理速度遅い
複数メッシュを集めたパッチで処理するが
、
パッチ内のメッシュ数が多いと遅く
パッチ内のメッシュ数が少ないと推定が計算が
不安定
一次テイラー展開で近似
各頂点とその近傍点から計算する Sparse
Linear Problem になり高速化
- 25. Results
カメラ
EOS 550D と GoPro 3D で実験
良環境と難環境で比較
どちらも FullHD
頂点数 100000