Suche senden
Hochladen
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
•
Als PPTX, PDF herunterladen
•
4 gefällt mir
•
6,608 views
Deep Learning JP
Folgen
2019/05/17 Deep Learning JP: http://deeplearning.jp/seminar-2/
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 23
Jetzt herunterladen
Empfohlen
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
Empfohlen
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
モデル高速化百選
モデル高速化百選
Yusuke Uchida
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
Hiroto Honda
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
最適輸送の解き方
最適輸送の解き方
joisino
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
Deep Learning JP
【メタサーベイ】Face, Gesture, and Body Pose
【メタサーベイ】Face, Gesture, and Body Pose
cvpaper. challenge
Weitere ähnliche Inhalte
Was ist angesagt?
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
モデル高速化百選
モデル高速化百選
Yusuke Uchida
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
Hiroto Honda
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
最適輸送の解き方
最適輸送の解き方
joisino
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
Was ist angesagt?
(20)
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
モデル高速化百選
モデル高速化百選
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
backbone としての timm 入門
backbone としての timm 入門
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Semantic segmentation
Semantic segmentation
最適輸送の解き方
最適輸送の解き方
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Ähnlich wie [DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
Deep Learning JP
【メタサーベイ】Face, Gesture, and Body Pose
【メタサーベイ】Face, Gesture, and Body Pose
cvpaper. challenge
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
ae-9. 姿勢推定
ae-9. 姿勢推定
kunihikokaneko1
第3回nips読み会・関西『variational inference foundations and modern methods』
第3回nips読み会・関西『variational inference foundations and modern methods』
koji ochiai
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
Deep Learning JP
Deeplearning lt.pdf
Deeplearning lt.pdf
Deep Learning JP
[DL輪読会]Shaping Belief States with Generative Environment Models for RL
[DL輪読会]Shaping Belief States with Generative Environment Models for RL
Deep Learning JP
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
2018 07 02_dense_pose
2018 07 02_dense_pose
harmonylab
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
Kento Doi
第3回WBAハッカソン第2回説明会資料(配布用)
第3回WBAハッカソン第2回説明会資料(配布用)
The Whole Brain Architecture Initiative
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
Deep Learning JP
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
Kazuki Fujikawa
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Deep Learning JP
Eccv2018 report day2
Eccv2018 report day2
Atsushi Hashimoto
CVPR2017 参加報告 速報版 本会議 2日目
CVPR2017 参加報告 速報版 本会議 2日目
Atsushi Hashimoto
Ähnlich wie [DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
(17)
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
【メタサーベイ】Face, Gesture, and Body Pose
【メタサーベイ】Face, Gesture, and Body Pose
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
ae-9. 姿勢推定
ae-9. 姿勢推定
第3回nips読み会・関西『variational inference foundations and modern methods』
第3回nips読み会・関西『variational inference foundations and modern methods』
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
Deeplearning lt.pdf
Deeplearning lt.pdf
[DL輪読会]Shaping Belief States with Generative Environment Models for RL
[DL輪読会]Shaping Belief States with Generative Environment Models for RL
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
2018 07 02_dense_pose
2018 07 02_dense_pose
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
第3回WBAハッカソン第2回説明会資料(配布用)
第3回WBAハッカソン第2回説明会資料(配布用)
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
Eccv2018 report day2
Eccv2018 report day2
CVPR2017 参加報告 速報版 本会議 2日目
CVPR2017 参加報告 速報版 本会議 2日目
Mehr von Deep Learning JP
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
Deep Learning JP
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
Deep Learning JP
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
Deep Learning JP
Mehr von Deep Learning JP
(20)
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation
1.
1 DEEP LEARNING JP [DL
Papers] http://deeplearning.jp/ “Deep High-Resolution Representation Learning for Human Pose Estimation” Matsuo Lab, Ryo Okada/岡田 領
2.
Outline 1. 書誌情報 2. 論文の概要 3.
姿勢推定問題とは 4. 先行研究 5. 提案手法 6. 実験 7. まとめ 2
3.
書誌情報 • タイトル – Deep
High-Resolution Representation Learning for Human Pose Estimation • 著者 – Ke Sun, Bin Xiao, Dong Liu, Jingdong Wang – University of Science and Technology of China, Microsoft Research Asia • CVPR’19 3
4.
概要 4
5.
本論文の概要 • Deep High-Resolution
Representation Learning for Human Pose Estimation – ネットワーク全体で高解像度を維持する一方で、複数スケールを繰り返し フィージョンする姿勢推定のためのhigh resolution network (HRNet)を提案 – 異なるスケールのインタラクションを密にして高精度出した 5
6.
姿勢推定とは 6
7.
Human Pose Estimation -
姿勢推定 • 姿勢推定とは – 画像や動画から肩や手首といった人間の関節部分 (キーポイント)を推定する問題 • 種類 – 2D姿勢推定 • 画像から関節部分の2次元(x, y)の位置を推定する – 3D姿勢推定 • 画像から関節部分の3次元(x, y, z)の位置を推定す る • 利用例 – 行動認識、アニメーション、ゲーム – Homecourt(バスケのシュートの分析アプリ) 7
8.
Human Pose Estimation
- 姿勢推定 • 姿勢推定モデルのアプローチ – トップダウンアプローチ • まず人物を検知する。その後、それぞれの人物について姿勢推定(Single Person Pose Estimation)を行う。 • 人数に比例して計算量が増加する – ボトムアップアプローチ • 画像中のキーポイントを全て洗い出したあと、人物ごとにマッチングさせて繋ぎ合わせて いく。 • トップダウンに比べ、計算量が少ないが、部位間のつなぎ合わせの精度が低い 8
9.
先行研究 9
10.
姿勢推定の先行研究 10 Hourglass Cascaded pyramid
network Simple Baseline • 対照的な高->低、低->高解像度の ネットワーク(Hourglass)を直列に 8つつ繋ぐ。それぞれのhourglass ではIntermediate supervisionを用 いる。 • Skip connection使ってフュージョ ンする。 • トップダウンアプローチ(人物検 知->姿勢推定) • 左側の GlobalNetで単純明瞭な キーポイントを見つける。右部分 のRefineNetが複数スケールの特 徴をアップサンプリング・統合す ることで、抽象度の高く、見つけ づらいキーポイントの推定を行う。 • ResNetで高->低解像度、Hourglass ではアップサンプリングであった が、deconv layerでスケールを戻 す。 • シンプルなネットワークで高性能 を示した。 • ECCV Posetrack challenge 2018で優 勝 • 著者らの前作
11.
既存研究のポイントと提案手法の着想 11 既存研究 提案手法 直列に高->低解像度へ落とす 段階的に異なるスケールを加えていく ものが多い Intermediate supervisionを使用 (Hourglassなど) 並列に高->低解像度ネットワーク (分類やセグメンテーションのmulti
scale networkから着想. Ex. Convolutional neural fabric, interlinked CNN) 複数スケールを一気に繰り返しフュー ジョン (Deep fusionから着想) intermediate supervisionを使用 しないため、計算量小。 ネットワーク 構成 複数スケール の加算方 Intermediat e supervision
12.
提案手法 12
13.
HRNetのアーキテクチャ 13 • 高解像度から始め徐々に低解像度 のサブネットワークを加えていく。 • 後段のステージの並列ネットワー クの解像度は前段のステージのも のに加え、より解像度の低いもの で構成される。 •
サブネットワーク間で情報を繰り 返しフュージョンする • 異なるスケールのfeature mapは アップサンプリング (nearest neighbor サンプリング + 1x1 convolution) またはダウンサ ンプリング (strided 3x3 convolution) して加算。 並列マルチ解像度サブネットワーク Exchange Unit s: stage, r: resolution index
14.
HRNetのアーキテクチャ 14 • 最終層では1x, 2x,
4x, 8xの4スケー ルが出力される。このうち最も精度の 高い1xの出力のみが用いられる。 • 損失関数はground truthのキーポイン トヒートマップに対するmean square error。 HRNet全体イメージ 出力 • 4ステージ、4並列サブネットワーク • 実験では2サイズのネットワークを用意 • HRNet-W32(チャンネル幅32,64,128,256) • HRNet-W48(チャンネル幅48,96,192,384)
15.
実験 15
16.
実験 • 以下データセットで検証。それ ぞれSoTAを達成。 – MSCOCO •
物体検知・セグメンテーション・人物 姿勢を含むデータセット – MPII Human Pose Estimation, PoseTrack • 人物2D姿勢データセット • 評価指標(COCOでの検証の際) – Object Keypoint Similarity – 物体認識におけるIoUと似た役割 – OKS閾値でのStandard Average precisionとrecall scoresで評 価 16 http://image- net.org/challenges/talks/2016/ECCV2016_workshop_presentation_keypo int.pdf
17.
COCO test-devでの性能比較結果 17 提案手法が高精度を示 している • AP:
OKSを10段階に 変えた時のAverage Precisionの平均値 • AP50, AP75: OKSの閾 値0.5, 0.75 • APM,APL: 中サイズ、 大サイズ人物に対す るAP
18.
分解検証 18
19.
分解検証 • 以下3点について分解検証 1. フュージョン回数による効果 2.
ネットワーク内での解像度の扱いの影響 3. ヒートマップ推定に利用するfeature mapの解像度 4. 入力サイズの影響 19
20.
分解検証 20 ①フュージョンの繰り返しによる効果 提案手法(HRNet-W32)のほうが高性能となった。 徐々にスケール/サブネットワークを増やしていく のが性能向上につながると言える。 ②ネットワーク内での解像度の扱いの影響 マルチスケールのフュージョンは効果的であり、回 数を増やすほど高い性能に 最初から4つのサブネットワークを繋いだネット ワークと提案手法とを検証(variant of the HRNet)。 ネットワークの深さやフュージョンについては同じ。 -
結果 Variant of the HRNet: 72.5AP HRNet-W32:73.4 AP
21.
分解検証 21 ③ヒートマップ推定に利用する feature mapの解像度 小さいサイズにおける変化の方が性能の改善幅が大 きい。 ある程度の解像度を利用すれば精度の高い結果につ ながる。 ④入力サイズの影響 ネットワーク最後で利用するfeature mapの解像 度の精度への影響を検証。 解像度は予測精度に大きく影響することがわかる。
22.
まとめ • 姿勢推定のためのhigh resolution
network(HRNet)を提案した – プロセス全体で高解像度を維持し、解像度を復元する必要がない、 – 複数の解像度を繰り返しフュージョンし、高い精度を得た • Future work – HRNetの他のタスクでの効果検証(すでにいくつか検証している) • 物体検知 – High-Resolution Representation Learning for Object Detection • セグメンテーション – High-Resolution Representations for Labeling Pixels and Regions • 画像分類 – High-Resolution Representation Learning for ImageNet Classification • 顔認識 – 未 22
23.
THANK YOU. 23
Jetzt herunterladen