SlideShare ist ein Scribd-Unternehmen logo
1 von 28
Downloaden Sie, um offline zu lesen
Lightweight Binocular Facial
Performance Capture under
Uncontrolled Lighting

Siggraph   Asia 2012 文献紹介

             石井
この文献でいいたいこと
   映画など顔形状による CG 合成を利用
   従来はシステムが大掛かり
   単純なステレオカメラで細かい表情変
    化まで取得することを目指す
従来手法
         マーカーを装着型
             精度が悪い
         マルチカメラ再構成
         ライトコントロール型
             装置が大掛かり

ステレオカメラで Uncontrollable なシーン(屋内、屋外)で
精細な顔形状復元を行う
(ただし、カメラはキャリブレーション済み)
アプローチ概要
   First Step
       ステレオカメラ+トラッキングで粗い形状推定
       誤差を減らすために、マッチング制約を提案
   Second Step
       照明が変化するシーンで反射率/照明推定を実施
        し、 Shape refinement を行う
初期化
   ステレオ画像に対し視差算出
       Ed =データ項、 Eg =幾何項、 Es= 平滑化項
           詳細は後ほど
   PostProcessing
       背景除去。三角メッシュ表現。点数揃える
       平滑化処理し、メッシュの色は左右画像の合成色
Template   Tracking
   Scene Flow の計算
       2 フレーム間で 4 フレームの情報を利用可
        能
       4 フレーム間の拘束条件から対応点推定
Template   Tracking
   Scene Flow の計算
Template   Tracking
   データ項:各画像間の座標誤差計算




                      コスト関数


                  外れ値にロバストにするため
                  L1 ノルムで正則化
Template   Tracking
   Geometry 項:ステレオ画像間のエピポ
    ーラ拘束を利用




                      コスト関数


                  外れ値にロバストにするため
                  L1 ノルムで正則化
Template   Tracking
   Smoothness 項:異方性のエッジに基づ
    き滑らかさを評価
                   ・ r1,r2 は第一、第二固有値
                   ・形状変化するので、
                     Scene flow 推定中は再計算
平滑化項の比較
エネルギー最小化
   多重解像度で各解像度で推定
   3 D motion field を使って、形状変化を
    表現
Mesh Tracking
   Scene Flow がわかれば各頂点の
    Tracking が可能
   Noise や Drift があるので制約を設ける
Mesh Tracking
Position Constraints
   メッシュの滑らかさを保つために、頂
    点の部分集合 C に対して SceneFlow を
    揃える

   条件
       部分集合 C の全頂点は左右のカメラから見
        えていること
       背景によるエラーを防ぐため、法線と照明
        方向のなす角度が閾値( 70 度)以下であ
Mesh Tracking
Position Update
   3 D 復元点 Si の Flow




   実際は Si が Noisy
       3 D 復元結果に Flow を加算するのではな
        く、 Flow を逐次加算していく
Mesh Tracking
Laplacian Regurarization
   表情( 3 次元的)形状の変化を考慮した制約




       L:Laplacian matrix with cotangent weight of mesh
            メッシュ平面に対する法線の Laplacian matrix
       第二項は頂点位置の誤差項
Motion Refinement
   誤差の蓄積などに対して Refinement する
   方法(時刻 t+1 のとき)
     メッシュのトラッキング結果から左右画像を合成
      (f0r,r1r)  
     正解データ f0(t+1),f1(t+1) との再投影誤差算出

     f0(t+1),f1(t+1) と (f0r,r1r) との間の SceneFlow から


     メッシュをアップデート
Shape Refinement
   2 ステップからなる
       1.各フレームで照明と反射率を推定
       2.陰影情報に基づく幾何推定を実施

   顔の反射率推定
   表面の形状修正
Albedo( 反射率 ) Clustering
   K-means クラスタリング
    ・ ai : 頂点の反射率集合
    ・ k :クラスタリング数
    ・ Sk :クラスタ番号
    ・ ui :クラスタ内の平均反射率

    ai の初期値は、前フレームの
    幾何形状・照明条件から計算




    反射率がもとまったら、照明方向・強度を推定(既存手法)
Surface Refinement
   反射率・照明条件から頂点の法線を算
    出
   顔は完全拡散面では無い
       Highlight はノイズになる→平滑化項導入
Surface Refinement
   データ項
       入力画像と合成画像との Shading の勾配差
           i: メッシュ
        
            N(i): メッシュ i の近傍メッシュ
        
            C: カメラ番号
           Q(I,j) :カメラ集合
           r(i,j),s(i,j): 入力画像の勾配、合成画像の勾配
Surface Refinement
   Similarity 項
       時刻 t-1 の法線と時刻 t の法線の類似性
           nit: 時刻 t-1 の法線
        
            Xtu-Xtv: 三角メッシュの 2 点の差
       時刻 t,t-1 のベクトル間の外積を算出
                                      nit
                                            Xtv




                                     Xtu
Surface Refinement
   Smoothness 項
       近傍の 2 頂点間の二乗誤差
エネルギー最小化の高速化
   非線形最適化の繰り返し
       処理速度遅い
       複数メッシュを集めたパッチで処理するが
        、
           パッチ内のメッシュ数が多いと遅く
        
            パッチ内のメッシュ数が少ないと推定が計算が
            不安定
   一次テイラー展開で近似
       各頂点とその近傍点から計算する Sparse
        Linear Problem になり高速化
Results
   カメラ
       EOS 550D と GoPro 3D で実験
       良環境と難環境で比較
       どちらも FullHD
       頂点数 100000
Results: Canon
Results: Canon( 違う人で評
価)
Results(Go Pro)

Weitere ähnliche Inhalte

Was ist angesagt?

論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...Teppei Kurita
 
論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)Masaya Kaneko
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMMMorpho, Inc.
 
CNN-SLAMざっくり
CNN-SLAMざっくりCNN-SLAMざっくり
CNN-SLAMざっくりEndoYuuki
 
第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM邦洋 長谷川
 
20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcamera20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcameraKyohei Unno
 
SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)
SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)
SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)SSII
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...Sho Kagami
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)kanejaki
 
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII
 
Bachelor Presentation
Bachelor PresentationBachelor Presentation
Bachelor PresentationDzul Fahmi
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Masaya Kaneko
 
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMSLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMIwami Kazuya
 
MIRU2016 チュートリアル
MIRU2016 チュートリアルMIRU2016 チュートリアル
MIRU2016 チュートリアルShunsuke Ono
 
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説Masaya Kaneko
 
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」Sho Kagami
 

Was ist angesagt? (20)

論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
 
論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
 
CNN-SLAMざっくり
CNN-SLAMざっくりCNN-SLAMざっくり
CNN-SLAMざっくり
 
第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM
 
CG2013 10
CG2013 10CG2013 10
CG2013 10
 
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
 
20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcamera20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcamera
 
CG2013 09
CG2013 09CG2013 09
CG2013 09
 
Mri led-lighting simulation
Mri led-lighting simulationMri led-lighting simulation
Mri led-lighting simulation
 
SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)
SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)
SSII2021 [OS3] 広域環境の3D計測と認識 ~ 人が活動する場のセンシングとモデル化 ~(オーガナイザーによる冒頭の導入)
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
 
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
 
Bachelor Presentation
Bachelor PresentationBachelor Presentation
Bachelor Presentation
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
 
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMSLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
 
MIRU2016 チュートリアル
MIRU2016 チュートリアルMIRU2016 チュートリアル
MIRU2016 チュートリアル
 
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
 
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
 

Andere mochten auch

La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...
La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...
La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...DiadelEmprendedor
 
Dark Side Of Social Media
Dark Side Of Social MediaDark Side Of Social Media
Dark Side Of Social Mediapopkitchen
 
Trans Block Show
Trans Block ShowTrans Block Show
Trans Block Showmjsmith9
 
Contrato ESPM Discovering Russia 2014
Contrato ESPM Discovering Russia 2014Contrato ESPM Discovering Russia 2014
Contrato ESPM Discovering Russia 2014Campus Brasil
 
Florina Nicola Ce Se Intampla Cand Iti Urmezi Vocatia
Florina Nicola   Ce Se Intampla Cand Iti Urmezi VocatiaFlorina Nicola   Ce Se Intampla Cand Iti Urmezi Vocatia
Florina Nicola Ce Se Intampla Cand Iti Urmezi VocatiaPera Novacovici
 

Andere mochten auch (9)

La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...
La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...
La nube para mejorar tu productividad. Alfonso Ruiz y Ángel Goya. TPV en la N...
 
Pmijo region 12 meeting
Pmijo  region 12 meetingPmijo  region 12 meeting
Pmijo region 12 meeting
 
IGI Consulting Case Presentation
IGI Consulting Case Presentation IGI Consulting Case Presentation
IGI Consulting Case Presentation
 
Dark Side Of Social Media
Dark Side Of Social MediaDark Side Of Social Media
Dark Side Of Social Media
 
Trans Block Show
Trans Block ShowTrans Block Show
Trans Block Show
 
Contrato ESPM Discovering Russia 2014
Contrato ESPM Discovering Russia 2014Contrato ESPM Discovering Russia 2014
Contrato ESPM Discovering Russia 2014
 
Florina Nicola Ce Se Intampla Cand Iti Urmezi Vocatia
Florina Nicola   Ce Se Intampla Cand Iti Urmezi VocatiaFlorina Nicola   Ce Se Intampla Cand Iti Urmezi Vocatia
Florina Nicola Ce Se Intampla Cand Iti Urmezi Vocatia
 
Booming brazil
Booming brazilBooming brazil
Booming brazil
 
Materials pp
Materials ppMaterials pp
Materials pp
 

Ähnlich wie Light weightbinocular sigasia2012_face

SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料Masayuki Tanaka
 
バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)
バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)
バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)nmaro
 
静岡Developers勉強会コンピュータビジョンvol4発表用資料
静岡Developers勉強会コンピュータビジョンvol4発表用資料静岡Developers勉強会コンピュータビジョンvol4発表用資料
静岡Developers勉強会コンピュータビジョンvol4発表用資料keima_12
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定Morpho, Inc.
 
ADVENTURE_Magnetic Ver.1.3の解説
ADVENTURE_Magnetic Ver.1.3の解説ADVENTURE_Magnetic Ver.1.3の解説
ADVENTURE_Magnetic Ver.1.3の解説ADVENTURE Project
 
関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会nonane
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII
 
ADVENTURE_Solid Ver.2.0の概要
ADVENTURE_Solid Ver.2.0の概要ADVENTURE_Solid Ver.2.0の概要
ADVENTURE_Solid Ver.2.0の概要ADVENTURE Project
 
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video InpaintingToru Tamaki
 
物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎fumoto kazuhiro
 
28th CV勉強会@関東 #3
28th CV勉強会@関東 #328th CV勉強会@関東 #3
28th CV勉強会@関東 #3Hiroki Mizuno
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィNorishige Fukushima
 
最適コントラスト補正による視程障害画像の明瞭化論文
最適コントラスト補正による視程障害画像の明瞭化論文最適コントラスト補正による視程障害画像の明瞭化論文
最適コントラスト補正による視程障害画像の明瞭化論文doboncho
 
20130925.deeplearning
20130925.deeplearning20130925.deeplearning
20130925.deeplearningHayaru SHOUNO
 
3D映像のための自動色補正スライド
3D映像のための自動色補正スライド3D映像のための自動色補正スライド
3D映像のための自動色補正スライドdoboncho
 
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東) BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東) Mai Nishimura
 
Priorに基づく画像/テンソルの復元
Priorに基づく画像/テンソルの復元Priorに基づく画像/テンソルの復元
Priorに基づく画像/テンソルの復元Tatsuya Yokota
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields Deep Learning JP
 

Ähnlich wie Light weightbinocular sigasia2012_face (20)

SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
 
バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)
バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)
バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)
 
静岡Developers勉強会コンピュータビジョンvol4発表用資料
静岡Developers勉強会コンピュータビジョンvol4発表用資料静岡Developers勉強会コンピュータビジョンvol4発表用資料
静岡Developers勉強会コンピュータビジョンvol4発表用資料
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
 
ADVENTURE_Magnetic Ver.1.3の解説
ADVENTURE_Magnetic Ver.1.3の解説ADVENTURE_Magnetic Ver.1.3の解説
ADVENTURE_Magnetic Ver.1.3の解説
 
関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
 
ADVENTURE_Solid Ver.2.0の概要
ADVENTURE_Solid Ver.2.0の概要ADVENTURE_Solid Ver.2.0の概要
ADVENTURE_Solid Ver.2.0の概要
 
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
文献紹介:Learnable Gated Temporal Shift Module for Free-form Video Inpainting
 
物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎
 
28th CV勉強会@関東 #3
28th CV勉強会@関東 #328th CV勉強会@関東 #3
28th CV勉強会@関東 #3
 
MIRU2018 tutorial
MIRU2018 tutorialMIRU2018 tutorial
MIRU2018 tutorial
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
 
最適コントラスト補正による視程障害画像の明瞭化論文
最適コントラスト補正による視程障害画像の明瞭化論文最適コントラスト補正による視程障害画像の明瞭化論文
最適コントラスト補正による視程障害画像の明瞭化論文
 
20130925.deeplearning
20130925.deeplearning20130925.deeplearning
20130925.deeplearning
 
3D映像のための自動色補正スライド
3D映像のための自動色補正スライド3D映像のための自動色補正スライド
3D映像のための自動色補正スライド
 
ADVENTURE_Magneticの概要
ADVENTURE_Magneticの概要ADVENTURE_Magneticの概要
ADVENTURE_Magneticの概要
 
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東) BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
 
Priorに基づく画像/テンソルの復元
Priorに基づく画像/テンソルの復元Priorに基づく画像/テンソルの復元
Priorに基づく画像/テンソルの復元
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
 

Mehr von ishii yasunori

Slideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from videoSlideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from videoishii yasunori
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...ishii yasunori
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...ishii yasunori
 
High quality imagedeblurringwitghpanchromaticpixels
High quality imagedeblurringwitghpanchromaticpixelsHigh quality imagedeblurringwitghpanchromaticpixels
High quality imagedeblurringwitghpanchromaticpixelsishii yasunori
 
Printing spatiallyvaryingreflectanceforreproducinghdr images
Printing spatiallyvaryingreflectanceforreproducinghdr imagesPrinting spatiallyvaryingreflectanceforreproducinghdr images
Printing spatiallyvaryingreflectanceforreproducinghdr imagesishii yasunori
 
第12回関西Cv・prml導入
第12回関西Cv・prml導入第12回関西Cv・prml導入
第12回関西Cv・prml導入ishii yasunori
 
第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forup第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forupishii yasunori
 
第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)ishii yasunori
 

Mehr von ishii yasunori (9)

Slideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from videoSlideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from video
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
 
High quality imagedeblurringwitghpanchromaticpixels
High quality imagedeblurringwitghpanchromaticpixelsHigh quality imagedeblurringwitghpanchromaticpixels
High quality imagedeblurringwitghpanchromaticpixels
 
Printing spatiallyvaryingreflectanceforreproducinghdr images
Printing spatiallyvaryingreflectanceforreproducinghdr imagesPrinting spatiallyvaryingreflectanceforreproducinghdr images
Printing spatiallyvaryingreflectanceforreproducinghdr images
 
第12回関西Cv・prml導入
第12回関西Cv・prml導入第12回関西Cv・prml導入
第12回関西Cv・prml導入
 
Japan cv関西cvprml
Japan cv関西cvprmlJapan cv関西cvprml
Japan cv関西cvprml
 
第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forup第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forup
 
第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)
 

Kürzlich hochgeladen

IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 

Kürzlich hochgeladen (11)

2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 

Light weightbinocular sigasia2012_face

  • 1. Lightweight Binocular Facial Performance Capture under Uncontrolled Lighting Siggraph   Asia 2012 文献紹介 石井
  • 2. この文献でいいたいこと  映画など顔形状による CG 合成を利用  従来はシステムが大掛かり  単純なステレオカメラで細かい表情変 化まで取得することを目指す
  • 3. 従来手法  マーカーを装着型  精度が悪い  マルチカメラ再構成  ライトコントロール型  装置が大掛かり ステレオカメラで Uncontrollable なシーン(屋内、屋外)で 精細な顔形状復元を行う (ただし、カメラはキャリブレーション済み)
  • 4. アプローチ概要  First Step  ステレオカメラ+トラッキングで粗い形状推定  誤差を減らすために、マッチング制約を提案  Second Step  照明が変化するシーンで反射率/照明推定を実施 し、 Shape refinement を行う
  • 5. 初期化  ステレオ画像に対し視差算出  Ed =データ項、 Eg =幾何項、 Es= 平滑化項  詳細は後ほど  PostProcessing  背景除去。三角メッシュ表現。点数揃える  平滑化処理し、メッシュの色は左右画像の合成色
  • 6. Template   Tracking  Scene Flow の計算  2 フレーム間で 4 フレームの情報を利用可 能  4 フレーム間の拘束条件から対応点推定
  • 7. Template   Tracking  Scene Flow の計算
  • 8. Template   Tracking  データ項:各画像間の座標誤差計算 コスト関数 外れ値にロバストにするため L1 ノルムで正則化
  • 9. Template   Tracking  Geometry 項:ステレオ画像間のエピポ ーラ拘束を利用 コスト関数 外れ値にロバストにするため L1 ノルムで正則化
  • 10. Template   Tracking  Smoothness 項:異方性のエッジに基づ き滑らかさを評価 ・ r1,r2 は第一、第二固有値 ・形状変化するので、   Scene flow 推定中は再計算
  • 12. エネルギー最小化  多重解像度で各解像度で推定  3 D motion field を使って、形状変化を 表現
  • 13. Mesh Tracking  Scene Flow がわかれば各頂点の Tracking が可能  Noise や Drift があるので制約を設ける
  • 14. Mesh Tracking Position Constraints  メッシュの滑らかさを保つために、頂 点の部分集合 C に対して SceneFlow を 揃える  条件  部分集合 C の全頂点は左右のカメラから見 えていること  背景によるエラーを防ぐため、法線と照明 方向のなす角度が閾値( 70 度)以下であ
  • 15. Mesh Tracking Position Update  3 D 復元点 Si の Flow  実際は Si が Noisy  3 D 復元結果に Flow を加算するのではな く、 Flow を逐次加算していく
  • 16. Mesh Tracking Laplacian Regurarization  表情( 3 次元的)形状の変化を考慮した制約  L:Laplacian matrix with cotangent weight of mesh  メッシュ平面に対する法線の Laplacian matrix  第二項は頂点位置の誤差項
  • 17. Motion Refinement  誤差の蓄積などに対して Refinement する  方法(時刻 t+1 のとき)  メッシュのトラッキング結果から左右画像を合成 (f0r,r1r)    正解データ f0(t+1),f1(t+1) との再投影誤差算出  f0(t+1),f1(t+1) と (f0r,r1r) との間の SceneFlow から  メッシュをアップデート
  • 18. Shape Refinement  2 ステップからなる  1.各フレームで照明と反射率を推定  2.陰影情報に基づく幾何推定を実施  顔の反射率推定  表面の形状修正
  • 19. Albedo( 反射率 ) Clustering  K-means クラスタリング ・ ai : 頂点の反射率集合 ・ k :クラスタリング数 ・ Sk :クラスタ番号 ・ ui :クラスタ内の平均反射率 ai の初期値は、前フレームの 幾何形状・照明条件から計算 反射率がもとまったら、照明方向・強度を推定(既存手法)
  • 20. Surface Refinement  反射率・照明条件から頂点の法線を算 出  顔は完全拡散面では無い  Highlight はノイズになる→平滑化項導入
  • 21. Surface Refinement  データ項  入力画像と合成画像との Shading の勾配差  i: メッシュ  N(i): メッシュ i の近傍メッシュ  C: カメラ番号  Q(I,j) :カメラ集合  r(i,j),s(i,j): 入力画像の勾配、合成画像の勾配
  • 22. Surface Refinement  Similarity 項  時刻 t-1 の法線と時刻 t の法線の類似性  nit: 時刻 t-1 の法線  Xtu-Xtv: 三角メッシュの 2 点の差  時刻 t,t-1 のベクトル間の外積を算出 nit Xtv Xtu
  • 23. Surface Refinement  Smoothness 項  近傍の 2 頂点間の二乗誤差
  • 24. エネルギー最小化の高速化  非線形最適化の繰り返し  処理速度遅い  複数メッシュを集めたパッチで処理するが 、  パッチ内のメッシュ数が多いと遅く  パッチ内のメッシュ数が少ないと推定が計算が 不安定  一次テイラー展開で近似  各頂点とその近傍点から計算する Sparse Linear Problem になり高速化
  • 25. Results  カメラ  EOS 550D と GoPro 3D で実験  良環境と難環境で比較  どちらも FullHD  頂点数 100000