발표자: 홍정모 (동국대학교 교수) 발표일: 18.5. 딥러닝으로 대표되는 최신 기계학습 기술은 방대한 응용 분야에서 인공지능 소프트웨어를 향한 돌파구를 열어가고 있으며 특히 이미지 처리나 컴퓨터 그래픽스와 관련된 응용 분야에서의 활약이 크게 기대된다. 본 세미나에서는 삼차원 기하 데이터를 중심으로 딥러닝 기술이 어떻게 발전해나가고 있는 지를 살펴보고 관련 산업에 끼칠 영향과 대응 방안 등에 대해서 생각해본다. 홍정모 교수는 2008년부터 동국대학교 컴퓨터공학과에 재직중이다. KAIST 기계공학과에서 학사와 석사를 마쳤으며 석사과정 중에는 요즘 4D라고 불리우는 가상현실 시뮬레이터를 연구하여 탑승형 로봇의 가상 체험 시뮬레이션 게임을 개발하였다. 고려대학교에서 영상 특수효과를 위한 유체 시뮬레이션 연구로 전산학 박사학위를 취득한 후 스탠포드 대학교 연구원으로써 파괴, 폭발, 화염과 같은 본격적인 VFX 연구를 수행하였다. 산학협력에 많은 노력을 기울여 '해운대', '7광구', '적인걸2' 등 다수의 작품에 기술 자문을 하였다. 디지털 제조로 연구 분야를 확장하며 개발한 모델링 소프트웨어 '리쏘피아'는 전 세계의 3D 프린터 사용자와 창업자들에게 꾸준히 사용되고 있다. 이 과정에서 전통적인 소프트웨어 기술의 한계를 느끼고 딥러닝과 기계학습을 활용한 모델링과 콘텐츠 제작에서 돌파구를 찾고 있다. 'C++로 배우는 딥러닝' 동영상 강의를 공개하였으며 최신 기술을 대학 강의에 선제적으로 활용하며 4차산업혁명 시대의 고급 소프트웨어 인력 양성에 노력하고 있다.

1. 3D 딥러닝 동향
New Trends in 3D Deep Learning
홍정모

2. Lost in 3D Deep Learning
어느 40대 프로그래머의

3. “Software 2.0 is written in
neural network weights.”
Director of AI at Tesla.

4. Software 1.0
Manual(?)
differentiation

6. Large Pose 3D Face Reconstruction from a
Single Image via Direct Volumetric CNN
Regression
[Jackson et al. ICCV 2017] Training data
- 2D face images
- 3D points -> Voxels

8. Joint 3D Face Reconstruction and Dense
Alignment with Position Map Regression
Network [Feng et al. 2018]
Training data
- 2D face images
- 3D points -> UV map

9. Auto-differentiation
Data driven
Neural network
Open sources

11. 강화 학습

12. 주먹 지르기 강화학습

13. DeepMimic: Example-Guided Deep Reinforcement
Learning of Physics-Based Character Skills
[Peng et al. 2018]

14. How ?
Image Style Transfer Using Convolutional Neural Networks
Gatys et al. CVPR 2016
Neural Style Transfer
3D Models

15. 3D Deep Learning
Mostly based on 3D Deep Learning Tutorial @ CVPR 2017 and
Geometric Deep Learning SIGGRAPH Asia 2016 Course Notes

16. 2D Image
3D Representations

17. Volumetric Representation
Learning a Probabilistic Latent Space of
Object Shapes via
3D Generative-Adversarial Modeling
[Wu et al. NIPS 2016]

18. tempoGAN
600 × 400 × 400
Kim and Hong 20121024 × 720 × 720256 × 180 × 180

19. Interactive 3D Modeling with a Generative Adversarial Network [Liu et al. 2017]
OctNet: Learning Deep 3D Representations
at High Resolutions [Riegler et al. 2016]
Octree Generating Networkss: Efficient Convolutional Architectures
for High-resolution 3D Outputs [Tatarchenko et al. 2017]

20. Intrinsic Deep Learning on Manifolds
Extrinsic Representation Intrinsic Representation

21. PointNet++: Deep Hierarchical Feature Learning on Point Sets
in a Metric Space [Qi et al. NIPS 2017]
Shape Generation using Spatially
Partitioned Point Clouds
[Gadelha et al. 2017]

22. Multi-view Convolutional Neural Networks
for 3D Shape Recognition
[Su et al. ICCV 2015]
3D Shape Reconstruction
from Sketches
via Multi-view Convolutional Networks
[Lun et al. 2017]

23. How to Back-propagate ?
Movie ‘Lucy’ (2014)

24. Perspective Projection Loss
Perspective Transformer Nets:
Learning Single-View
3D Object Reconstruction
without 3D Supervision
[Yan et al. NIPS 2016]

25. Differentiable Renderer
Neural 3D Mesh Renderer [Kato et al. CVPR 2018]

26. Differentiable
Ray-tracer
Levelset
Back-propagation

27. Learning Category-Specific Mesh Reconstruction
from Image Collections [Kanazawa et al. 2018]

28. Graph-based CNN
Pixel2Mesh: Generating 3D Mesh Models
from Single RGB Images [Wang et al. 2018]

29. Limitations in 3D Deep Learning
• Curse of dimensionality
• GPU memory limitation
• Rotation invariance
• Insufficient data
• … …

30. Drama ‘West World’ (2016)
Atom Bit