SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
•
1 like•4,648 views
SSII2019 チュートリアル講演 TS2 6月13日(木) 9:00～10:20 (メインホール) プロジェクタとカメラを用いたセンシングは３次元形状の計測をはじめとして様々な用途で用いられています。本チュートリアルでは、近年注目を浴びている時間同期式のプロジェクタ・カメラシステムによって計測の頑健性が飛躍的に向上することを改めて紹介し、さらにロボットビジョン、自動運転、メディカルイメージングなど、その様々な応用に講演者の研究事例を交えて解説します。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
Similar to SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～ (19)
More from SSII
More from SSII (20)
Recently uploaded
Recently uploaded (9)
SSII2019TS: プロジェクタ・カメラシステムが変わる！ ～時間同期の制御で広がる応用～
- 2. 自己紹介 2011.4~2012.3 早稲田大学 応用物理学科 森島研究室 助手 2012.4~2014.5 キヤノン株式会社 2014.6~ 奈良先端科学技術大学院大学 助教 2017.1~2018.1 カーネギーメロン大学 研究員 専門分野： コンピュータグラフィクス コンピュータビジョン 久保 尋之（くぼ ひろゆき）
- 13. プロジェクタ－カメラシステムの前提 プロジェクタから出た光はシーンで １度だけ反射してカメラに届く 実際には物体間で相互反射して 間接光が生じる． 相互反射による間接光に弱い 直接反射光 間接光
- 16. ぼけちゃう・・・
- 20. その前に．．．
- 21. 点光源で照らしてみる
- 22. 点光源で照らしてみる 直接光成分
- 23. 間接光成分 点光源で照らしてみる
- 25. プロジェクタを使ってみよう
- 31. カメラでその行だけ撮影してみる
- 34. カメラでその行だけ撮影してみる エピポーラ間接光 水平な平面上（エピポーラ面）で生じる間接光 [O’Toole et al., 2015] 直接光成分(?) 直接光成分 エピポーラ光
- 42. 実シーンで検証 通常画像
- 45. いいプロジェクタ－カメラシステムがあるらしい M. O'Toole, S. Achar, S.G. Narasimhan, K.N. Kutulakos. "Homogeneous Codes for Energy-Efficient Illumination and Imaging", ACM SIGGRAPH 2015
- 46. いろいろなプロジェクタ • 透過型液晶方式（LCD方式) • 反射型液晶方式（LCoS方式） エプソン：https://www.epson.jp/products/dreamio/3lcd/ レーザー走査方式 液晶パネル方式 DLP方式 液晶プロジェクタの仕組み • 今日の主役 • デジタルマイクロミラーデバイス
- 47. レーザー走査方式とは 2D MEMS ミラー MEMS: Micro-Electro-Mechanical Systems 金野，久保，レーザー走査式超小型プロジェクタ, 2010. レーザー光源 レーザー走査方式 • 半導体レーザーを使用 • MEMSミラーで反射して映像を投影 超小型 フォーカスフリー 高解像度 低消費電力
- 48. 2D MEMSミラーの動作周期 （理論値） 1280x720 px解像度，60fps駆動する場合 • 水平方向：60*720 = 43.2 kHz • 垂直方向：60 Hz 2D MEMS ミラー レーザー光源 （余談）高速度カメラで撮影してみた 垂直方向は水平方向に比べ十分ゆっくり動く
- 50. 2D MEMSミラーの動作周期 （理論値） 1280x720 px解像度，60fps駆動する場合 • 水平方向：60*720 = 43.2 kHz • 垂直方向：60 Hz 2D MEMS ミラー レーザー光源 （余談）高速度カメラで撮影してみた 垂直方向は水平方向に比べ十分ゆっくり動く
- 51. 液晶パネル方式 レーザー走査方式 ずっと光りっぱなし 時刻 1/60 [s] ある画素の輝度プロファイル ある画素の輝度プロファイル 時刻時刻 強い光が一瞬当たる
- 58. 露光時間の制御 露光時間 短 露光時間 長 露光時間 行位置 0 時刻 露光時間 行位置 0 時刻
- 59. スキャンライン速度の制御 ピクセルクロック 小 行位置 0 時刻 行位置 0 時刻 ピクセルクロック 大 角度の調整 角度の調整
- 60. スキャン開始タイミングの制御 開始遅延 無 行位置 0 時刻 遅延 有 行位置 0 時刻 オフセットの調整
- 66. 0 時刻 行位置 0 時刻 0 時刻 撮影結果 [O’Toole et al., 2015] 通常画像 エピポーラ画像（直接光成分） 非エピポーラ画像（間接光成分）
- 68. 0 10 20 30 40 50 400 500 600 700 800 環境光をバンドパスフィルタでカット プロジェクタ光 環境光（ノイズ） R G B 研究室の蛍光灯 0 10 20 30 40 50 400 500 600 700 800 0 10 20 30 40 50 400 500 600 700 800 0 10 20 30 40 50 400 500 600 700 800 バンドパスフィルタ 中心波長640nm, 半値全幅10nm 特定の波長だけを含む いろんな波長を含む
- 69. 環境光をシャッター速度でカット ある画素に照射される光量の遷移 普通のプロジェクタ レーザースキャンプロジェクタ 時刻 時刻 1/60 [s] ※同じ明るさのプロジェクタと仮定 光が当たっているときだけ露光すればいい 理想的には 1/(60*720) = 23[us] (60fps, プロジェクタの高さ解像度 720px) カメラとプロジェクタのアラインメントに 限界があるため 500us以上が現実的． 外乱光の影響を1/720に低減
- 72. 実装
- 73. 計測装置（Episcan3D） [O’Toole et al. 2015] 同期回路 レーザー走査式 プロジェクタ SONY MPCL1A ローリングシャッター CMOSカメラ ids UI-3240CP センサ：e2v EV76C バリフォーカルレンズ 興和光学 LMVZ4411
- 76. MEMSミラーのシグナルを観測 プロジェクタのリフレッシュレートのカタログ値と一致 16.6 ms (60.2 Hz) SONY MP-CL1A モバイルプロジェクタ （殻割り済み）
- 80. 走査ミラー式プロジェクタ（参考） 2D MEMSミラー （HD301D1のもの）
- 83. 通常画像 エピポーラ画像（直接光成分） 撮影結果 [O’Toole et al., 2015]
- 84. リアルタイムデモ
- 85. 研究事例紹介：Acquiring and Characterizing Plane-to-Ray Indirect Light Transport Hiroyuki Kubo, Suren Jayasuriya, Takafumi Iwaguchi, Takuya Funatomi,Yasuhiro Mukaigawa, Srinivasa Narasimhan, IEEE International Conference on Computational Photography (ICCP) 2018 発表番号：19
- 86. ライトトランスポートの成分分離 直接光成分 間接光 (大域)成分 通常画像 [Nayar et al. 2006] … 短距離 間接光 長距離 間接光 表面下 散乱光 鏡面反射の 間接光
- 90. 先行研究 通常画像 エピポーラ画像（直接光成分） エピポーラ幾何を用いたライトトランスポートの成分分離 [O’Toole et al. 2015]
- 91. エピポーラ画像 [O’Toole et al., 2015] 本手法の自由度1: 同期遅延時間 (row-offset) ・Offsetを飛び越える 間接光を計測可能 本手法の自由度2 : 露光時間 (照明バンド幅) ・入射光量の増減が可能 同期遅延時間と露光時間とを制御して， それらに応じたライトトランスポートを取得する 同期遅延時間 露光時間
- 92. 計測装置（Episcan3D） [O’Toole et al. 2015] 同期回路 レーザー走査式 プロジェクタ ローリングシャッター CMOSカメラ
- 95. 2自由度の観測結果（Image-stack) delay exposure thin 露光時間 （照明 バンド幅） thick 同期遅延時間（オフセット）- far + far (delay [us], exposure [us]) [O’Toole et al., 2015] 本手法
- 96. 遅延プロファイルを用いたライトトランスポートの解析 0 0.05 0.1 0.15 0.2 0.25 0.3 -3000 -2000 -1000 0 1000 2000 3000 delay [us] book reflection candle corner 直接反射のみ 鏡面からの 間接光 表面下散乱 拡散面の 相互反射
- 97. プロファイルを用いた材質推定 Target materials 分類結果 Fat free milk 2% milk Whole milk toothpaste Liquid soap 90%以上の推定精度を達成 （非線形SVMを使用） 0 0.02 0.04 0.06 0.08 0.1 -2000 -1500 -1000 -500 0 500 1000 1500 2000 delay [us]
- 98. 肌の内部構造の可視化 通常画像 エピポーラ画像 同期遅延時間 大 (far-range indirect light) 適切な同期遅延時間 （極近距離の間接光 600us）
- 99. リアルタイムデモ
- 100. 研究事例紹介２：Slope Disparity Gating using a Synchronized Projector-Camera System Tomoki Ueda, Hiroyuki Kubo, Suren Jayasuriya, Takuya Funatom, Yasuhiro Mukaigawa, IEEE ICCP 2019 発表番号：19
- 102. ある時間での撮像 照明と露光が交差する領域のみを撮像 130 レーザー走査式 プロジェクタ ローリングシャッタ カメラ Invisible Visible Invisible 照明面 露光面
- 105. ① 同期遅延時間による奥行き制御 • カメラの露光開始を遅延 • 遅延時間𝑡 𝑑によって撮像面までの距離を制御 133 遅延時間𝑡 𝑑 : 小 遅延時間𝑡 𝑑 : 大 距離 : 大 距離 : 小 𝑡 𝑑秒後 𝑡 𝑑秒後 撮像面 撮像面 ①
- 106. ② 走査速度による傾き制御 • カメラの走査速度𝑣𝑐を変更 • プロジェクタとの走査速度差によって撮像面の傾きを制御 134 𝑣𝑐制御 プロジェクタ走査速度𝑣 𝑝 カメラ走査速度𝑣𝑐 = プロジェクタ走査速度𝑣 𝑝 カメラ走査速度𝑣𝑐 > 撮像面 撮像面 ②
- 107. • カメラの露光時間𝑡 𝑒を変更 • 相対的にプロジェクタが複数ラインを照明 • 撮像面の厚みを制御 ③ 露光時間による厚み制御 135 撮像領域 𝑡 𝑒秒 露光 ③ レーザー走査式 プロジェクタ ローリングシャッタ カメラ
- 108. 撮像領域の定式化 136 プロジェクタ カメラ スクリーン座標系とワールド座標系の関係式 (𝑥 𝑝, 𝑦𝑝) (𝑥 𝑐, 𝑦𝑐) スクリーン座標系 ワールド座標系 (𝑥 𝑤, 𝑦 𝑤, 𝑧 𝑤) 同期遅延時間𝑡 𝑑, 走査速度𝑣𝑐による 露光行と照明行の拘束 露光時間𝑡 𝑒による 露光行と照明行の拘束
- 110. 奥行きと傾き制御の実験 • 角度の異なるプレートを等間隔に配置 • プレートの正面から撮像 138 通常画像シーン -15° 0° +15° +15° -15°0° 15cm 15cm
- 114. 厚み制御の実験 • 同じ角度・異なる距離にプレートを配置 • プレートの正面から撮像 142 通常画像シーン All +15°10cm 20cm
- 118. Image Inpaintingへの利用 • 撮像領域以外の物体はマスクされて撮像 • Image Inpaintingの入力画像として利用可能 147 Image Inpainting* 出力結果 *Newson+ 2017 机だけを撮像した結果通常画像 机上の物体をマスクした画像 ＝
- 119. 応用２：霧中でのイメージング • 撮像領域外の霧を写さないことで物体を鮮明化 • ペーパークラフトで作成したシーンに霧を発生 148 シーン 通常画像 標識と車だけを鮮明化 霧撮像 システム 撮像領域撮像領域外 物体 路面だけを鮮明化
- 120. まとめ • 時間同期式プロジェクターカメラシステムで マシンビジョンにブレイクスルーを • 波長，露光タイミングの制御が高い頑健さをもたらす • 近距離間接光で皮下構造（血管）の可視化[Kubo et al., 2018]や， Slope Disparity Gating [Ueda et al., 2019]が可能 • 散乱プロファイルの計測に基づく材質推定が可能[Kubo et al., 2018]