1. High quality Image Deblurring
with Panchromatic Pixels
Siggraph 2012 文献紹介
石井

2. この文献でいいたいこと
 試作した白色画素付きセンサで Deblur
 メリット
 白色画素は高速・高感度・ブレなし撮影
 デメリット
 白色画素は色が無い
ブレ無しグレー画像とブレ有りカラー画像から
ブレ無しカラー画像を推定する

3. 従来の Deblur(1)
 一枚画像からの推定
 Fergus ら (2006 siggraph)
 Shan ら (2008 Siggraph)
 Natural Image Prior
 Multi Scale Inference
 Natural Image Prior
 Map Estimation
 Levin ら (2009 CVPR)
 Map Estimation

4. 従来の Deblur(2)
 Computational Photography 的アプロー
チ
 Ben Ezra ら ( CVPR 08)
 低解像度ブレなしと高解像度ブレ有りを併
用
 Raskar ら (2006 siggraph)
 Coded Exposure
 Joshi ら (2009 siggraph)
 Deblur with gyro

5. 従来の Deblur(3)
 Yuan ら (2007 Siggraph)
 Image Debluring with Blured/Nosy Pair
ISO 設定／画像アライメント／シャッター速度設定が難しい

6. 目的
 シャッター速度制御可能な白色画素
 位置合わせ不要
 CMOS/5Mpix
 白色ブレなしとカラーブレ有りからカ
ラーブレなしを推定

7. New Color Filter でのデモザイ
ク
 RGGB ではないため新たなデモザイク
手法が必要
 Noise Reduction
 Pan Image Reconstruction
 Bayer Pattern Interpolation
 Color Difference image computing
 Color Difference image upsampling
 Image Demosaicing

8. New Color Filter でのデモザイ
ク
 RGGB ではないため新たなデモザイク
手法が必要
 Noise Reduction
 Pan Image Reconstruction （ｂ）

9. New Color Filter でのデモザイ
ク
 RGGB ではないため新たなデモザイク
手法が必要
 Bayer Pattern Interpolation
 Color Difference image computing (c)

10. New Color Filter でのデモザイ
ク
 RGGB ではないため新たなデモザイク
手法が必要
 Color Difference image upsampling
 Image Demosaicing

11. Debluring with Pan Pixels
 定式化
 B= ブレ画像、 L ＝ブレなし画像、 K ＝
PSF 、 N ＝ノイズ
 Two Shuttered Imaging Device
(a) : 高感度 短時間露光 (P1) グレー画像
(b) : ブレ有り長時間露光 (P2) グレー画像
(c) : ブレありカラー画像
(d) : 高ノイズ短時間露光 カラー画像
今回のデバイスは、 (a),(c) を使う

12. Bayesian Deconvolution
 既存手法と同様
 尤度
 Image Prior (Levin ら によって提案）
 エッジの分布とエッジの残差の積
 Kernel Prior:L1 ノルム

13. 推定：目的関数
 MAP 推定
 カーネル推定とブレなし画像推定の繰り返
し
 カーネル推定
 ブレなし画像推定

14. 実験結果
 比較方法
 Non-blind な方法と比較
 Blind な方法と比較
 カーネルが大きい場合
 カーネルにノイズがのる場合

15. Non Blind 手法と比較

16. Blind 手法と比較

17. Large Kernel で比較

18. カーネルにノイズがある場合

19. Blured/Noisy Pair の画像で評
価