SlideShare a Scribd company logo
1 of 23
Printing Spatially-Varying
Reflectance for Reproducing
HDR Images

Siggraph 2012 文献紹介

            石井
この文献でいいたいこと
   HDR Image の新たな提示方法の提案
   Glossy な紙に、メタリックインクで印
    刷し、角度で明るさ制御
従来
   Tone Mapping
       参考: Direct3D のサンプル:
        http://msdn.microsoft.com/ja-jp/library/bb173484%28v=vs.85%2
       1)ある画素の近傍画素の log 値を平均し、 exp する( δ
        は log が 0 にならないようにする定数)
       2)画像全体の輝度に応じたパラメータ α で変換
       3)高輝度を圧縮する変換

                                              課題:
                                              印刷後に
                                              元の HDR 画像の
                                              コントラストが
                                              失われる
従来(2)
   HDR display を利用する方法
       DLP プロジェクタ、 LED パネル
       Multiple stacked transparent slides
         課題:見るときに特殊な装置が必要
         →  今回は紙に印刷して手軽に閲覧
着眼点
   BRDF の空間変化を表現するために
    Glossy なインクを使う方法が提案され
    ている( Matsusik ’09)

   HDR 画像から
       BRDF を再現する Ink のキャリブレーショ
        ン
       露光時間の推定を実施
   視点・照明変化でダイナミックレンジ
    を拡張
補足: BRDF
   Bidirectional Reflectance Distribution
    Function( 双方向反射率分布関数)
       入射方向からの明るさと出射方向の明るさの
        比
        
            入射(照明方向)・出射(視点方向)
       入射と出射方向に依存する反射率を表現
Printing Spatially Varying
BRDFs for HDR Images
   Printing Hardware
       CMYK+white のプリンタ (HP Indigo 5500)
       インクの組 c=(r,g,b,w)
       BRDF : ρc  で表現
Printing Spatially Varying
BRDFs for HDR Images
   任意の BRDF(ρc) は異なる BRDF の線形和


       ρck は基底となる BRDF で、 ρc の近傍 5 次元


   実際の計測方法
       入力: 16bit の RGBW
       5120x5120 を 20x20 のパッチを照明方向変え撮影
       観測した BRDF と入力の RGBW とを対応付ける
Viewing Conditions
   鏡面反射強度は視点と印刷物との距離に依存
   全印刷位置と視点との方向が一定と仮定

   定義: T= 撮影フレーム数
       V(t)={v(t),E(t)} : 0≦t≦T 、視点方向 v(t), 環境光 E(t)
       v(t),E(t) は、フレーム毎に定義される
   環境光は実測、もしくは、白色光を定義
Exposure   and Ink
Combination Optimization
   入力 HDR 画像 Ih(x)
   全画素の Ink Combination c(x)
   各フレーム(各視点)での露光時間 s(t)
   視点位置を考慮して印刷物と HDR 画像との
    差を小さくする

     BRDF (インク)の組合せ ρc(x) と
                          HDR 画像 Ih と露光時間から
     視点位置で計算される画素値        計算される画素値
Exposure   and Ink
 Combination Optimization
    視点位置を考慮して印刷物と HDR 画像との
     差を小さくする



 BRDF (インク)の組合せ ρc(x) と
                      HDR 画像 Ih と露光時間から
 視点位置で計算される画素値        計算される画素値


                         近傍画素の log 平均で正規化し、
反射率 *( 法線・光源方向 )* 入射照度
                         2 の露光時間乗で明るさ調整
Exposure   and Ink
Combination Optimization
   Initialization
       露光時間の初期値設定 ( 最大最小を決めて内挿 )
   以下を繰り返す
       Ink Optimization
       Exposure Optimization
Exposure   and Ink
Combination Optimization
   Ink Optimization
       HDR 画像を固定とし、基底と重みを探索
       ANN(Approximate Nearest Neighbor) を利用
Exposure   and Ink
    Combination Optimization
       Exposure Optimization
           BRDF を固定とし、露光時間を求める
           直接的に計算可能




→
                                →
Iterative Optimization
   繰り返し、最適な c(x),s(t) を求める
   アーティファクトを除くために
       Ink Optimization で空間的な関係に関する
        制約をいれる
       Exposure Optimization は単調性を導入

       ただし、具体的な手法の記載なし
Results
   最適化処理
       768x768, 20 フレーム、処理時間 10sec
       Xeon 2.8GHz
   プリント処理
       HP Indigo 5500 : A4, 700DPI 、約 1 分

   実験結果を Canon 5D MarkII で撮影し
    た
Results




幅広い輝度を表現できるが、鏡面反射を表現できてない
Results




照明環境が変わっても、同じような推定結果が得られる
Results




照明方向、紙の方向が相対的に同じなら似た絵になる
Results




既存方法と違い、照明変化で異なる露光時間の絵を観測できる
異なる照明方向の画像から BRDF を推定し、
露光時間の異なる画像を生成
日の出のときの明るさが異なる画像から BRDF 推定をし
印刷結果から露光時間の異なる画像を観測

More Related Content

What's hot

画像処理のしくみ
画像処理のしくみ画像処理のしくみ
画像処理のしくみYudai Hashimoto
 
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」Sho Kagami
 
Demosaicing(デモザイキング)
Demosaicing(デモザイキング)Demosaicing(デモザイキング)
Demosaicing(デモザイキング)Morpho, Inc.
 
ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"
ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"
ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"Hajime Mihara
 
Copy and-paste networks for deep video inpainting
Copy and-paste networks for deep video inpaintingCopy and-paste networks for deep video inpainting
Copy and-paste networks for deep video inpainting邦洋 長谷川
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィNorishige Fukushima
 
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...Teppei Kurita
 
Structured Light 技術俯瞰
Structured Light 技術俯瞰Structured Light 技術俯瞰
Structured Light 技術俯瞰Teppei Kurita
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定Morpho, Inc.
 
Neo3 D Overview 1004 Jpn
Neo3 D Overview 1004 JpnNeo3 D Overview 1004 Jpn
Neo3 D Overview 1004 Jpndriegle
 
物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎fumoto kazuhiro
 
(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向Morpho, Inc.
 
フォトンマッピング入門
フォトンマッピング入門フォトンマッピング入門
フォトンマッピング入門Shuichi Hayashi
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...Sho Kagami
 
Unity名古屋セミナー [Shadowgun]
Unity名古屋セミナー [Shadowgun]Unity名古屋セミナー [Shadowgun]
Unity名古屋セミナー [Shadowgun]MakotoItoh
 
2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」
2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」
2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」Akira Asano
 

What's hot (18)

画像処理のしくみ
画像処理のしくみ画像処理のしくみ
画像処理のしくみ
 
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
ICCV2019読み会「Learning Meshes for Dense Visual SLAM」
 
Demosaicing(デモザイキング)
Demosaicing(デモザイキング)Demosaicing(デモザイキング)
Demosaicing(デモザイキング)
 
ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"
ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"
ICCV19読み会 "Learning Single Camera Depth Estimation using Dual-Pixels"
 
Copy and-paste networks for deep video inpainting
Copy and-paste networks for deep video inpaintingCopy and-paste networks for deep video inpainting
Copy and-paste networks for deep video inpainting
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
 
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
論文解説:スマホカメラを用いたBRDFパラメータ取得技術(非DNN)「Two-Shot SVBRDF Capture for Stationary Mat...
 
Structured Light 技術俯瞰
Structured Light 技術俯瞰Structured Light 技術俯瞰
Structured Light 技術俯瞰
 
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
(文献紹介)深層学習による動被写体ロバストなカメラの動き推定
 
Neo3 D Overview 1004 Jpn
Neo3 D Overview 1004 JpnNeo3 D Overview 1004 Jpn
Neo3 D Overview 1004 Jpn
 
物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎物理ベースの絵作りのための基礎
物理ベースの絵作りのための基礎
 
(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向(文献紹介)Depth Completionの最新動向
(文献紹介)Depth Completionの最新動向
 
フォトンマッピング入門
フォトンマッピング入門フォトンマッピング入門
フォトンマッピング入門
 
CG2013 11
CG2013 11CG2013 11
CG2013 11
 
Global Illumination
Global IlluminationGlobal Illumination
Global Illumination
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
 
Unity名古屋セミナー [Shadowgun]
Unity名古屋セミナー [Shadowgun]Unity名古屋セミナー [Shadowgun]
Unity名古屋セミナー [Shadowgun]
 
2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」
2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」
2013年度春学期 画像情報処理 第12回「画像フィルタとフィルタ定理」
 

More from ishii yasunori

Slideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from videoSlideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from videoishii yasunori
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...ishii yasunori
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...ishii yasunori
 
Light weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceLight weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceishii yasunori
 
第12回関西Cv・prml導入
第12回関西Cv・prml導入第12回関西Cv・prml導入
第12回関西Cv・prml導入ishii yasunori
 
第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forup第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forupishii yasunori
 
第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)ishii yasunori
 

More from ishii yasunori (8)

Slideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from videoSlideshare unsupervised learning of depth and ego motion from video
Slideshare unsupervised learning of depth and ego motion from video
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
 
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
Eccv2016 pedestrian behavior understanding and prediction with deep neural ne...
 
Light weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceLight weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_face
 
第12回関西Cv・prml導入
第12回関西Cv・prml導入第12回関西Cv・prml導入
第12回関西Cv・prml導入
 
Japan cv関西cvprml
Japan cv関西cvprmlJapan cv関西cvprml
Japan cv関西cvprml
 
第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forup第9回関西Cv・prmlデモ forup
第9回関西Cv・prmlデモ forup
 
第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)第8回関西cv・prml勉強会(opening,closing)
第8回関西cv・prml勉強会(opening,closing)
 

Printing spatiallyvaryingreflectanceforreproducinghdr images

  • 1. Printing Spatially-Varying Reflectance for Reproducing HDR Images Siggraph 2012 文献紹介 石井
  • 2. この文献でいいたいこと  HDR Image の新たな提示方法の提案  Glossy な紙に、メタリックインクで印 刷し、角度で明るさ制御
  • 3. 従来  Tone Mapping  参考: Direct3D のサンプル: http://msdn.microsoft.com/ja-jp/library/bb173484%28v=vs.85%2  1)ある画素の近傍画素の log 値を平均し、 exp する( δ は log が 0 にならないようにする定数)  2)画像全体の輝度に応じたパラメータ α で変換  3)高輝度を圧縮する変換 課題: 印刷後に 元の HDR 画像の コントラストが 失われる
  • 4. 従来(2)  HDR display を利用する方法  DLP プロジェクタ、 LED パネル  Multiple stacked transparent slides 課題:見るときに特殊な装置が必要 →  今回は紙に印刷して手軽に閲覧
  • 5. 着眼点  BRDF の空間変化を表現するために Glossy なインクを使う方法が提案され ている( Matsusik ’09)  HDR 画像から  BRDF を再現する Ink のキャリブレーショ ン  露光時間の推定を実施  視点・照明変化でダイナミックレンジ を拡張
  • 6. 補足: BRDF  Bidirectional Reflectance Distribution Function( 双方向反射率分布関数)  入射方向からの明るさと出射方向の明るさの 比  入射(照明方向)・出射(視点方向)  入射と出射方向に依存する反射率を表現
  • 7. Printing Spatially Varying BRDFs for HDR Images  Printing Hardware  CMYK+white のプリンタ (HP Indigo 5500)  インクの組 c=(r,g,b,w)  BRDF : ρc  で表現
  • 8. Printing Spatially Varying BRDFs for HDR Images  任意の BRDF(ρc) は異なる BRDF の線形和  ρck は基底となる BRDF で、 ρc の近傍 5 次元  実際の計測方法  入力: 16bit の RGBW  5120x5120 を 20x20 のパッチを照明方向変え撮影  観測した BRDF と入力の RGBW とを対応付ける
  • 9. Viewing Conditions  鏡面反射強度は視点と印刷物との距離に依存  全印刷位置と視点との方向が一定と仮定  定義: T= 撮影フレーム数  V(t)={v(t),E(t)} : 0≦t≦T 、視点方向 v(t), 環境光 E(t)  v(t),E(t) は、フレーム毎に定義される  環境光は実測、もしくは、白色光を定義
  • 10. Exposure   and Ink Combination Optimization  入力 HDR 画像 Ih(x)  全画素の Ink Combination c(x)  各フレーム(各視点)での露光時間 s(t)  視点位置を考慮して印刷物と HDR 画像との 差を小さくする BRDF (インク)の組合せ ρc(x) と HDR 画像 Ih と露光時間から 視点位置で計算される画素値 計算される画素値
  • 11. Exposure   and Ink Combination Optimization  視点位置を考慮して印刷物と HDR 画像との 差を小さくする BRDF (インク)の組合せ ρc(x) と HDR 画像 Ih と露光時間から 視点位置で計算される画素値 計算される画素値 近傍画素の log 平均で正規化し、 反射率 *( 法線・光源方向 )* 入射照度 2 の露光時間乗で明るさ調整
  • 12. Exposure   and Ink Combination Optimization  Initialization  露光時間の初期値設定 ( 最大最小を決めて内挿 )  以下を繰り返す  Ink Optimization  Exposure Optimization
  • 13. Exposure   and Ink Combination Optimization  Ink Optimization  HDR 画像を固定とし、基底と重みを探索  ANN(Approximate Nearest Neighbor) を利用
  • 14. Exposure   and Ink Combination Optimization  Exposure Optimization  BRDF を固定とし、露光時間を求める  直接的に計算可能 → →
  • 15. Iterative Optimization  繰り返し、最適な c(x),s(t) を求める  アーティファクトを除くために  Ink Optimization で空間的な関係に関する 制約をいれる  Exposure Optimization は単調性を導入  ただし、具体的な手法の記載なし
  • 16.
  • 17. Results  最適化処理  768x768, 20 フレーム、処理時間 10sec  Xeon 2.8GHz  プリント処理  HP Indigo 5500 : A4, 700DPI 、約 1 分  実験結果を Canon 5D MarkII で撮影し た