제 PR12 첫번째 발표 논문은 FlowNet이라는 논문입니다.
Optical Flow는 비디오의 인접한 Frame에 대하여 각 Pixel이 첫 번째 Frame에서 두 번째 Frame으로 얼마나 이동했는지의 Vector를 모든 위치에 대하여 나타낸 Map입니다. Video에 Motion을 분석하는 일은 매우 중요하기 때문에, 이러한 Optical Flow 역시 굉장히 중요한 요소 중 하나인데요, 이번 영상에서는 고전적인 Computer Vision에서 쓰였던 다양한 Optical Flow 알고리즘들과, Deep Learning Based로 Optical Flow를 구하는 Neural Network인 FlowNet에 대하여 알아보겠습니다.
감사합니다!!
영상 링크: https://youtu.be/Z_t0shK98pM
논문 링크: http://openaccess.thecvf.com/content_iccv_2015/html/Dosovitskiy_FlowNet_Learning_Optical_ICCV_2015_paper.html
PR-214: FlowNet: Learning Optical Flow with Convolutional Networks
1. FlowNet: Learning Optical Flow
with Convolutional Networks
Hyeongmin Lee
Image and Video Pattern Recognition LAB
Electrical and Electronic Engineering Dept, Yonsei University
4th Semester
2019.12.15
14. Optical Flow Estimation by Optimization
◆ Variational Method – Quadratic Relaxation
For N Iterations
15. Optical Flow Estimation by Energy Minimization
◆ Large Displacement
𝐼 𝑥, 𝑦, 𝑡 = 𝐼 𝑥 + 𝑢, 𝑦 + 𝑣, 𝑡 + 1
= 𝐼 𝑥, 𝑦, 𝑡 + 1 +
𝜕𝐼
𝜕𝑥
𝑢 +
𝜕𝐼
𝜕𝑥
𝑣 First-Order Taylor Approximation
Short Displacement가 전제됨!
➔ Large Displacement에 취약
✓ Coarse-to-Fine Method
Error Propagation
16. Optical Flow Estimation by Energy Minimization
◆ Large Displacement Optical Flow [TPAMI 2011]
Descriptor Loss
Descriptor Based Feature Matching을 Guide로 주어, Large Displacement에 대한 성능을 보완
17. Optical Flow Estimation by Energy Minimization
◆ Large Displacement Optical Flow [TPAMI 2011]
✓ Feature Matching using Descriptors
Large Displacement에 강인.
Sparse한 점에 대해서만 Matching 가능.
18. Optical Flow Estimation by Energy Minimization
◆ EpicFlow [CVPR 2015]
Coarse-to-Fine Interpolation 시에 Edge를 고려하여 Sharp한 결과를 얻음
19. Optical Flow Estimation by Energy Minimization
◆ EpicFlow [CVPR 2015]
Interpolation using Euclidean distance
Euclidean
edge
far
close
Interpolation using Geodesic distance
21. FlowNet
◆ Why optimization based?
✓ Hardware와 Deep Learning의 기술적 Baseline 부족
✓ Hard to get ground truth (Lack of Dataset)
22. FlowNet
◆ Why optimization based?
✓ Hardware와 Deep Learning의 기술적 Baseline 부족
✓ Hard to get ground truth (Lack of Dataset)
GPU & Parallel Processing
Convolutional Neural Networks
만들자!
30. FlowNet2.0
◆ Change on Training Dataset & Scheduling
1. FlowNet에서 사용한 Flying Chair Dataset으로 pre-train
2. Mayer et al. 에서 제안한 Flying Things 3D Dataset으로 추가 학습