2018/09/28 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Seminar]
Human Pose Estimation @ ECCV2018
Hiromi Nakagawa, Matsuo Lab
http://deeplearning.jp/

2. 1. ECCV2018
2. Human Pose Estimationのトレンド・キーワード
3. Human Pose Estimation @ ECCV2018
2
Agenda

3. • ECCV
– European Conference on Computer Vision
– CVPR、ICCVと並んでCV系のトップ会議
• ECCV 2018
– 2018/09/08~2018/09/14 @ Munich, Germany
– 2439 main conference submissions
– 776 accepted (59 orals, 717 posters, 31.8% acceptance rate)
• ECCV2018のAccepted Papersの中で（目についた）Human Pose Estimationに関する
論文を14本ほど紹介
3
ECCV 2018

4. • ちなみに：Best Paperは6D Object Detection・Pose Estimationに関する論文
Implicit 3D Orientation Learning for 6D Object Detection from RGB Images
Martin Sundermeyer, Zoltan-Csaba Marton, Maximilian Durner, Manuel Brucker, Rudolph Triebel
4
ECCV 2018

5. • ちなみに：Honorable MentionはGroup NormalizationとGANimation
Group Normalization
Yuxin Wu, Kaiming He
5
ECCV 2018

6. • ちなみに：Honorable MentionはGroup NormalizationとGANimation
GANimation: Anatomically-aware Facial Animation from a Single Image
Albert Pumarola, Antonio Agudo, Aleix M. Martinez, Alberto Sanfeliu, Francesc Moreno-Noguer
6
ECCV 2018

7. • Single- / Multi- Person
• Multi-Person: Top-Down / Bottom-Up
– Top-Down: Person Detection → Single-Person Pose Estimation x N
• High Accuracy but Slow. Dependent to Person Detector Performance.
– Bottom-Up: Joint Candidate Detection → Grouping
• Fast but Low Accuracy. Complex Partitioning.
• Single Image / Sequential Images
– Temporal Coherence
• With / Without Depth
• 2D / 3D Pose Estimation
• Supervised / Semi-Supervised / Unsupervised
7
Human Pose Estimationのトレンド・キーワード

8. 8
Human Pose Estimation @ ECCV2018
Multi-Person
• Pose Proposal Networks [Sekii]
• Pose Partition Networks for Multi-Person Pose Estimation [Nie+]
• MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network [Kocabas+]
• PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up,
Part-Based, Geometric Embedding Model [Papandreou+]
(Mainly)
Single-Person
• Deeply Learned Compositional Models for Human Pose Estimation [Tang+]
• Learning 3D Huma Pose from Structure and Motion [Dabral+]
• Exploiting temporal information for 3D human pose estimation [Hossain+]
• Integral Human Pose Regression [Sun+]
• Multi-Scale Structure-Aware Network for Human Pose Estimation [Sun+]
• Unsupervised Geometry-Aware Representation for 3D Human Pose Estimation [Rhodin+]
• 3D Ego-Pose Estimation via Imitation Learning [Yuan+]
• Recovering Accurate 3D Human Pose inThe Wild Using IMUs and a Moving Camera [Marcard+]
• Deformable PoseTraversal Convolution for 3D Action and Gesture Recognition [Weng+]
2D
2D
2D
2D
3D
3D
3D
3D
3D
3D
2D
3D
2D

9. 9
Human Pose Estimation @ ECCV2018
Multi-Person
• Pose Proposal Networks [Sekii]
• Pose Partition Networks for Multi-Person Pose Estimation [Nie+]
• MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network [Kocabas+]
• PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up,
Part-Based, Geometric Embedding Model [Papandreou+]
(Mainly)
Single-Person
• Deeply Learned Compositional Models for Human Pose Estimation [Tang+]
• Learning 3D Huma Pose from Structure and Motion [Dabral+]
• Exploiting temporal information for 3D human pose estimation [Hossain+]
• Integral Human Pose Regression [Sun+]
• Multi-Scale Structure-Aware Network for Human Pose Estimation [Sun+]
• Unsupervised Geometry-Aware Representation for 3D Human Pose Estimation [Rhodin+]
• 3D Ego-Pose Estimation via Imitation Learning [Yuan+]
• Recovering Accurate 3D Human Pose inThe Wild Using IMUs and a Moving Camera [Marcard+]
• Deformable PoseTraversal Convolution for 3D Action and Gesture Recognition [Weng+]
2D
2D
2D
2D
3D
3D
3D
3D
3D
3D
2D
3D
2D

10. • YOLOなどのSingle-Shot Detectorで人の体の部位とその接続（limb）をGrid-wiseに検出
• Bottom-up式にそれらをマージすることで、任意数の人物のposeを高精度かつ高速に推定
10
Pose Proposal Network [Sekii]

11. • MPII Human Poseのデータセット
– Single-Person：SoTAと同程度の精度を保ちながら380FPS(11倍の速度)でKeypointsを検出
– Multi-Person：SoTAと同程度の精度を保ちながら180FPSで姿勢を推定
11
Pose Proposal Network [Sekii]

12. • 関節位置のConfidence Map(a)と人物の重心(b)を元に関節候補を重心に埋め込み(c)
• 人ごとに関節を分け(d)、local greedy inferenceによって各人のposeを推定(e)
12
Pose Partition Networks for Multi-Person Pose Estimation [Nie+]

13. • 関節位置のConfidence Map(a)と人物の重心(b)を元に関節候補を重心に埋め込み(c)
• 人ごとに関節を分け(d)、local greedy inferenceによって各人のposeを推定(e)
• MPIIの精度(AP)は[Sekii]よりよいが、推論速度は不明（0.77sec??）
13
Pose Partition Networks for Multi-Person Pose Estimation [Nie+]
↑
1.3FPS??

14. • Pose EstimationとInstance Segmentationを同時に行うBottom-up式の手法の提案
• 人物のkeypointsを検出した後に相互の関係性を推論し、人物ごとのposeにgroupingする
• keypointのlocalizationの精度向上や接続を推論するためにoffsetという概念を導入
14
PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up,
Part-Based, Geometric Embedding Model [Papandreou+]

15. • Pose EstimationとInstance Segmentationを同時に行うBottom-up式の手法の提案
• 人物のkeypointsを検出した後に相互の関係性を推論し、人物ごとのposeにgroupingする
• keypointのlocalizationの精度向上や接続を推論するためにoffsetという概念を導入
• 推論時間の記述はなし
15
PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up,
Part-Based, Geometric Embedding Model [Papandreou+]

16. • Bottom-up式の2D Multi-Person Pose Estimation
• Person Detection, Person Segmentation, Pose EstimationのMulti-Task Learning
16
MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network [Kocabas+]

17. • Bottom-up式の2D Multi-Person Pose Estimation
• Person Detection, Person Segmentation, Pose EstimationのMulti-Task Learning
• PersonLabより高精度(AP)、推論速度は27FPS (1 person) ~ 15FPS (20 person)、
COCOで23FPS (~3 person)
17
MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network [Kocabas+]

18. 18
Human Pose Estimation @ ECCV2018
Multi-Person
• Pose Proposal Networks [Sekii]
• Pose Partition Networks for Multi-Person Pose Estimation [Nie+]
• MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network [Kocabas+]
• PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up,
Part-Based, Geometric Embedding Model [Papandreou+]
(Mainly)
Single-Person
• Deeply Learned Compositional Models for Human Pose Estimation [Tang+]
• Learning 3D Huma Pose from Structure and Motion [Dabral+]
• Exploiting temporal information for 3D human pose estimation [Hossain+]
• Integral Human Pose Regression [Sun+]
• Multi-Scale Structure-Aware Network for Human Pose Estimation [Sun+]
• Unsupervised Geometry-Aware Representation for 3D Human Pose Estimation [Rhodin+]
• 3D Ego-Pose Estimation via Imitation Learning [Yuan+]
• Recovering Accurate 3D Human Pose inThe Wild Using IMUs and a Moving Camera [Marcard+]
• Deformable PoseTraversal Convolution for 3D Action and Gesture Recognition [Weng+]
2D
2D
2D
2D
3D
3D
3D
3D
3D
3D
2D
3D
2D

19. • Compositional modelは、Bottom-Up/Top-Downの2つの推論によって部位間の階層性を表現でき低次の曖昧
性を解消できるが、既存手法は非現実的な関係性を仮定していたり状態空間のサイズが莫大になる
• DNNの学習によって複雑で現実的な階層関係を獲得し、方向・スケール・形の情報をコンパクトに埋め込
む表現によって状態空間のサイズを削減
19
Deeply Learned Compositional Models for Human Pose Estimation [Tang+]

20. • 解剖学に着想を得た、illegal-angle lossとsymmetry lossの2つの損失関数を導入
• 少量のDepthやSkelton情報を用いる弱教師あり学習と、直前Nフレームの活用によって、
in-the-wildな画像からanatomically coherent でsmoothな3D pose estimationを達成
20
Learning 3D Human Pose from Structure and Motion [Dabral+]

21. • 単体の2DのPoseのみでは3Dに変換する時に曖昧性があり、temporally incoherentになる
• skip connectionつきのLSTMを用いて、2Dのhuman poseからtemporally coherentに3D human
poseを推定する手法を提案
21
Exploiting temporal information for 3D human pose estimation [Hossain+]

22. • 既存の多くのheatmap-basedな手法は微分不可能な閾値処理によってEnd-to-Endでなかった一方、
joint regression-basedな手法は3D pose estimationで使われているが、学習が難しい
• heatmapとregressionを統一的に扱えるintegral regressionの手法を導入、多様なデータセットや条件で包
括的にその効果を検証した
22
Integral Human Pose Regression [Sun+]

23. • 既存研究はスケール変化に敏感かつ、人体構造に関するpriorが反映されていない
• multi-scale supervision, multi-scale regression network, structure-aware loss, a keypoint masking trainingの
テクニックを導入、Multi-ScaleでStructure-AwareなPose Estimationを可能に
23
Multi-Scale Structure-Aware Network for Human Pose Estimation [Ke+]

24. • 従来研究は教師ありはなおのこと、弱教師あり学習でも大量の3Dアノテーションが必要だった
• 本研究ではmulti-viewの画像を用いて、ある視点から別の視点の画像を予測するようにモデルを学習させる
ことで、教師なしでgeometry-awareな表現を学習、少量の教師データでPoseを推定可能
24
Unsupervised Geometry-Aware Representation for 3D Human Pose Estimation
[Rhodin+]

25. • 従来研究は教師ありはなおのこと、弱教師あり学習でも大量の3Dアノテーションが必要だった
• 本研究ではmulti-viewの画像を用いて、ある視点から別の視点の画像を予測するようにモデルを学習させる
ことで、教師なしでgeometry-awareな表現を学習、少量の教師データでPoseを推定可能
25
Unsupervised Geometry-Aware Representation for 3D Human Pose Estimation
[Rhodin+]

26. • Ego-Pose Estimationにおいて、既存の手法が物理法則を考慮していない点を指摘
• 物理シミュレーションに基づくImitation Learningを活用することによって物理的に自然なPose Estimation
を可能にし、シミュレーションからリアルへのDomain Adaptationでも効果を発揮することを確認
26
3D Ego-Pose Estimation via Imitation Learning [Yuan+]

27. • IMU(慣性計測装置)とハンディカムなどの動画から、正確な3DのPose復元を行う研究
• 特に複数人が写っている場合の人物特定や雑然とした背景などの難しさを工夫して解決
• 提案手法によって3D Pose in the Wildという新たなデータセットを作成・提案した
27
Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving
Camera [Marcard+]

28. • 全身のPoseを横断的に走査するTraversal ConvolutionとAttentionを活用したDeformable Convolutionを組
み合わせることで、3D Action/Gesture Recognitionに重要な関節の特徴を認識するDeformable Pose
Traversal Convolutionを提案
28
Deformable Pose Traversal Convolution for 3D Action and Gesture Recognition
[weng+]

29. • Multi-Personでは人数に比例して速度が低下しないBottom-Upアプローチが多かった
– データセットの違いなどで精度の比較は完全ではないが、速度で言うとPose Proposal Networkが最速？
• Single-Personは個別に様々なテーマ
– 3D
– In-The-Wildな環境
– データの効率的な利用
– 人体構造や時空間的な一貫性などの反映
– (データセットや評価指標がまちまちで結果は比較しきれませんでした。誰かまとめてほしい。)
29
まとめ・感想