Suche senden
Hochladen
Object as Points
•
3 gefällt mir
•
6,375 views
H
harmonylab
Folgen
リアルタイム物体認識の論文 物体の中心をキーポイント推定で 探知,様々なオブジェクトプロパ ティに回帰
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 21
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
[DL輪読会]Objects as Points
[DL輪読会]Objects as Points
Deep Learning JP
[DL Hacks] Objects as Points
[DL Hacks] Objects as Points
Deep Learning JP
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
Deep Learning JP
論文紹介: Fast R-CNN&Faster R-CNN
論文紹介: Fast R-CNN&Faster R-CNN
Takashi Abe
Point net
Point net
Fujimoto Keisuke
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
Empfohlen
[DL輪読会]Objects as Points
[DL輪読会]Objects as Points
Deep Learning JP
[DL Hacks] Objects as Points
[DL Hacks] Objects as Points
Deep Learning JP
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
Deep Learning JP
論文紹介: Fast R-CNN&Faster R-CNN
論文紹介: Fast R-CNN&Faster R-CNN
Takashi Abe
Point net
Point net
Fujimoto Keisuke
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
[DL輪読会]EfficientDet: Scalable and Efficient Object Detection
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
continual learning survey
continual learning survey
ぱんいち すみもと
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
Deep Learning JP
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
PCL
PCL
Masafumi Noda
モデルアーキテクチャ観点からの高速化2019
モデルアーキテクチャ観点からの高速化2019
Yusuke Uchida
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
Deep Learning JP
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
Takanori Ogata
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
Deep Learning JP
Paper: Objects as Points(CenterNet)
Paper: Objects as Points(CenterNet)
Yusuke Fujimoto
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
cvpaper. challenge
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
Akira Taniguchi
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル
Deep Learning JP
[DL輪読会]Libra R-CNN: Towards Balanced Learning for Object Detection
[DL輪読会]Libra R-CNN: Towards Balanced Learning for Object Detection
Deep Learning JP
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識
佑 甲野
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
harmonylab
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
harmonylab
Weitere ähnliche Inhalte
Was ist angesagt?
continual learning survey
continual learning survey
ぱんいち すみもと
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
Deep Learning JP
Introduction to YOLO detection model
Introduction to YOLO detection model
WEBFARMER. ltd.
PCL
PCL
Masafumi Noda
モデルアーキテクチャ観点からの高速化2019
モデルアーキテクチャ観点からの高速化2019
Yusuke Uchida
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
Deep Learning JP
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
Takanori Ogata
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
Deep Learning JP
Paper: Objects as Points(CenterNet)
Paper: Objects as Points(CenterNet)
Yusuke Fujimoto
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
cvpaper. challenge
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
Akira Taniguchi
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル
Deep Learning JP
[DL輪読会]Libra R-CNN: Towards Balanced Learning for Object Detection
[DL輪読会]Libra R-CNN: Towards Balanced Learning for Object Detection
Deep Learning JP
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識
佑 甲野
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
Was ist angesagt?
(20)
continual learning survey
continual learning survey
[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for Vision
Introduction to YOLO detection model
Introduction to YOLO detection model
PCL
PCL
モデルアーキテクチャ観点からの高速化2019
モデルアーキテクチャ観点からの高速化2019
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
Paper: Objects as Points(CenterNet)
Paper: Objects as Points(CenterNet)
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
物体検知(Meta Study Group 発表資料)
物体検知(Meta Study Group 発表資料)
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
論文紹介 Semantic Mapping for Mobile Robotics Tasks: A Survey
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル
[DL輪読会]Libra R-CNN: Towards Balanced Learning for Object Detection
[DL輪読会]Libra R-CNN: Towards Balanced Learning for Object Detection
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Mehr von harmonylab
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
harmonylab
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
harmonylab
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
harmonylab
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
harmonylab
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
harmonylab
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
harmonylab
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
harmonylab
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
harmonylab
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
harmonylab
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
harmonylab
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
harmonylab
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
harmonylab
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
harmonylab
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
harmonylab
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
harmonylab
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
harmonylab
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
harmonylab
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
harmonylab
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
harmonylab
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
harmonylab
Mehr von harmonylab
(20)
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
【修士論文】経路探索のための媒介中心性に基づく道路ネットワーク階層化手法に関する研究
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
A Study on Decision Support System for Snow Removal Dispatch using Road Surfa...
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】印象タグを用いた衣服画像生成システムに関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
【卒業論文】大規模言語モデルを用いたマニュアル文章修正手法に関する研究
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ:Primitive Generation and Semantic-related Alignment for Universal Zero-S...
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: MobileOne: An Improved One millisecond Mobile Backbone
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
DLゼミ: ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Voyager: An Open-Ended Embodied Agent with Large Language Models
Voyager: An Open-Ended Embodied Agent with Large Language Models
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
形態素解析を用いた帝国議会議事速記録の変遷に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
【卒業論文】深層生成モデルを用いたユーザ意図に基づく衣服画像の生成に関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
灯油タンク内の液面高計測を用いた灯油残量推定システムに関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
深層自己回帰モデルを用いた俳句の生成と評価に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
競輪におけるレーティングシステムを用いた予想記事生成に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
【卒業論文】B2Bオークションにおけるユーザ別 入札行動予測に関する研究
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
A Study on Estimation of Household Kerosene Consumption for Optimization of D...
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
マルチエージェント深層強化学習による自動運転車両の追越行動の獲得に関する研究
Kürzlich hochgeladen
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
sugiuralab
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
sugiuralab
Kürzlich hochgeladen
(8)
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
Object as Points
1.
Objects as Points 論文URL
: https://arxiv.org/pdf/1904.07850v2.pdf コード : https://github.com/xingyizhou/CenterNet [v1] Tue, 16 Apr 2019 17:54:26 UTC [v2] Thu, 25 Apr 2019 16:20:02 UTC DLゼミ M2 木戸口 稜 2019/5/22 2019/5/22
2.
概要 • リアルタイム物体認識の論文 • 物体の中心をキーポイント推定で 探知,様々なオブジェクトプロパ ティに回帰 2019/5/22 2
3.
物体検出 • 従来の方法 1. バウンディングボックスの決定⇒分類器は画像内容 が特定のオブジェクトか背景かを決定 •
1-stage detector : アンカーをスライドさせ無数に作成 • 2-stage detector : 潜在的ボックスについて特徴を再計算 2. 境界ボックスのIoUを計算する 2019/5/22 3
4.
物体検出 • 従来の方法 1. バウンディングボックスの決定⇒分類器は画像内容 が特定のオブジェクトか背景かを決定 •
1-stage detector : アンカーをスライドさせ無数に作成 • 2-stage detector : 潜在的ボックスについて特徴を再計算 2. 境界ボックスのIoUを計算する • 問題点 • end-to-endの検出ができない • 全ての有り得る物体の位置および寸法を列挙するの は無駄が多い 2019/5/22 4
5.
物体検知 • 提案手法 • 物体をバウンディングボックスの中心の1点で表す •
物体検出を標準的なキーポイント推定問題に変える • 様々なオブジェクトプロパティに中心位置の画像の 特徴量から直接回帰 2019/5/22 5
6.
中心点の導出 • 𝐼 ∈
𝑅 𝑊×𝐻×3 : 幅W,高さHの入力画像 • 𝑌 ∈ 0,1 𝑊 𝑅 × 𝐻 𝑅 ×𝐶 : キーポイントヒートマップ • C : キーポイントタイプの数. 姿勢推定(C=17),物体認識(C=80) • R :ストライド. 文献[4,40,42]のデフォルトを使用(R=4) • 係数Rだけ出力予測をダウンサンプリングしている • 𝑌𝑥,𝑦,𝑐 = 1 : キーポイント, 𝑌𝑥,𝑦,𝑐 = 0 : 背景 • 𝐼から𝑌を予測するために,Hourglass, ResNet, DLAを使用 • Cクラスの真値キーポイント𝑝 ∈ ℛ2それぞれに対して等価な低解像度 𝑝 = [ 𝑝 𝑅 ]を 計算⇒ガウシアンカーネルを用いてヒートマップを作製 • 同じクラスが重複した時は要素ごとの最大値を取る 2019/5/22 6 ガウシアンカーネル を用いたヒートマップ
7.
中心点の導出 • キーポイント学習用の損失関数 • 焦点損失を伴うペナルティを削減したピクセル単位ロジスティック回帰 •
オフセット学習用の損失関数 • 出力ストライドによる離散化誤差を回復するために、各中心点に対して ローカルオフセットをさらに予測 • 教師は位置 𝑝においてのみ作用し他の位置は無視 2019/5/22 7 オフセット
8.
中心点の導出 • サイズ学習用の損失関数 • スケールは正規化せず、生のピクセル座標を直接用いる •
代わりに損失を定数𝜆 𝑠𝑖𝑧𝑒でスケーリング 2019/5/22 8 損失関数全体 指定しない限り 全ての実験で以下に設定 • 𝜆 𝑠𝑖𝑧𝑒 = 0.1 • 𝜆 𝑜𝑓𝑓 = 1 • キーポイント𝑌, オフセット 𝑂, サイズ መ𝑆を求めるために単一のネットワークを使用 • 全ての位置でC+4の出力 (𝑥1 𝑘 , 𝑦1 𝑘 , 𝑥2 𝑘 , 𝑦2 𝑘 ) をカテゴリー 𝑐 𝑘 の物体 𝑘 のバウンディングボックスとすると、 中心は𝑝 𝑘 = ( 𝑥1 𝑘 +𝑥2 𝑘 2 , 𝑦1 𝑘 +𝑦2 𝑘 2 )で、サイズは𝑠 𝑘 = (𝑥2 𝑘 − 𝑥1 𝑘 , 𝑦2 𝑘 − 𝑦1 𝑘 )
9.
中心点からバウンディングボックスに • キーポイント値 𝑌𝑥
𝑖 𝑦 𝑖 𝑐を検出信頼度の尺度として使用 • バウンディングボックスの位置 2019/5/22 9 IoUに基づく非最大値抑 制(NMS)または他の後 処理を必要とせずに、すべ ての出力がキーポイント推 定から直接生成される
10.
中心点から3D検出に • 3D検出では、物体ごとに3次元の境界ボックスが推定され、中心点ごとに3つの 追加属性(深度、3次元位置、方向)が必要 • 深さdは中心点ごとに単一のスカラー •
奥行きを直接回帰させることは困難なため,Eigen[13]と𝑑 = 1 𝜎 𝑑 − 1を使用 • キーポイント推定量の追加の出力チャネル𝐷 ∈ 0,1 𝑊 𝑅 × 𝐻 𝑅として深度を計算 • 3次元位置は3つのスカラ • 個別のヘッドΓ ∈ ℛ 𝑊 𝑅 × 𝐻 𝑅 ×3 とL1損失を使用して直接回帰 • 方向は単一のスカラ • 直接の回帰は難しいため, Mousavian[38]に従い,方向をビン内回帰を有す る2つのビンとして表す • 向きは、各ビンに対して4つのスカラーを有する8つのスカラーを使用して符号化 • 1つのビンに対して、2つのスカラーがsoftmax分類に使用され、残りの2つのスカラーは 各ビン内の角度に回帰 2019/5/22 10 σ:シグモイド関数
11.
中心点から姿勢推定に • 画像内のすべての人間のインスタンスについてk個の2D人間関節位置を 推定する(COCOならk=17) • 姿勢を中心点のk×2次元の特性と見なし、中心点へのオフセットで各キー ポイントをパラメータ化 •
L1損失の骨格オフセット(ピクセル単位)መ𝐽 ∈ ℛ 𝑊 𝑅 × 𝐻 𝑅 ×𝑘×2 に直接回帰 • キーポイントを洗練するために、さらに標準的なボトムアップ型の複数人 姿勢推定を使用してk個の人間の骨格ヒートマップを推定 • ヒートマップで検出された最も近いキーポイントに初期予測をスナップ • 中心オフセットはグループ化の手がかりとして機能させる • 個々のキーポイント検出を最も近い人物インスタンスに割り当て 2019/5/22 11
12.
中心点から姿勢推定に • 実装 • (ො𝑥,
ො𝑦)を検出した中心点とする • 𝑙𝑗 = ො𝑥, ො𝑦 + መ𝐽ො𝑥 ො𝑦𝑗 (for 𝑗 ∈ 1 … 𝑘)に関節位置を回帰 • 対応するヒートマップΦ..𝑗から各骨格タイプjについて信頼度>0.1となるキー ポイント位置𝐿𝑗 = ሚ𝑙𝑗𝑖 𝑖=1 𝑛 𝑗 を抽出 • 検出された物体の境界ボックス内の同時検出のみを考慮して,各回帰位置𝑙𝑗 をその最も近い検出されたキーポイント𝑎𝑟𝑔𝑚𝑖𝑛𝑙∈𝐿 𝑗 (𝑙 − 𝑙𝑖)2に割り当てる 2019/5/22 12
13.
実装の詳細 • 訓練 • 512×512の入力解像度で訓練(全てのモデルで128×128の出力解像度) •
Augmentation: ランダムフリップ、ランダムスケーリング(0.6から1.3の間)、 トリミング、カラージッタ • Optimation : Adam • 3D推定ブランチの訓練には拡張を使用しない • ResNet,DLA-34:140エポック,バッチサイズ128(8 GPU),学習率5e-4.学習 率は90エポックと120エポックで10分の1.2.5日訓練. • Hourglass-104:ExtremeNet [61]に従い,バッチサイズ29(5 GPU,マスター GPUバッチサイズ4),学習速度2.5e-4を50エポックで使用し、10分の1にして 40エポック.ExtremeNetからのHourglass-104をFinetune.5日訓練. • テスト • 拡張なし,フリップ,フリップとマルチスケール(0.5, 0.75, 1, 1.25, 1.5) • 反転については、境界ボックスを復号化する前にネットワーク出力を平均. マルチスケールの場合は、NMSを使用して結果をマージ 13
14.
実験(物体認識) • MS COCOデータセット[34]を使用 •
MS COCOデータセットには、118kのtrain画像(train2017)、5kの val画像(val2017)、および20kのhold-out test画像(test-dev) • IOUしきい値0.5(AP50),0.75(AP75),全て(AP)でAPに対する平均 精度を提示 • Intel Core i7-8086K CPU, Titan Xp GPU, Pytorch 0.4.1, CUDA 9.0, CUDNN 7.1 • 比較する手法はhttps://github.com/facebookresearch/Detectronから モデルとコードをコピー 2019/5/22 14
15.
実験(物体認識) 2019/5/22 15 拡張無し フリップ フリップ +マルチスケールバックボーンとテストオプションを使用したCOCO検証 Hourglass-104 : 最高の精度を実現 ResNet-101
: RetinaNet[33]と同程度の精度で2倍速い ResNet-18 : 28.1%mAPを保ちつつ142FPSを達成 DLA-34 : 最高の速度と精度のトレードオフを提供
16.
実験(物体認識) 2019/5/22 16 • 他のキーポイント推定を用いたものよ り速度,精度ともに上回る • 精度が高いほど、中心点は角や極端 な点よりも検出が容易 •
2段検出器に精度で劣るが圧倒的に高 速に検出 • 他のリアルタイム1段検出器よりは速 度、精度ともに高い
17.
実験(3D検出) • KITTIデータセット[17]を使用 • 7841の訓練画像を文献[10,54]に従い,標準的なトレーニング とバリデーションの分割を行う •
2Dバウンディングボックス(AP),方向(AOP) ,バードアイビュー バウンディングボックス(BEV AP)に基づいてIOUを評価 • 訓練とテストの両方で,元の画像の解像度を1280×384に保つ • 実験詳細 • 訓練は70エポックで収束し,学習率はそれぞれ45エポックと60 エポックに低下させる • DLA-34バックボーンを使用し,深さ,方向,および寸法の損失 重みを1に設定する 2019/5/22 17
18.
実験(3D検出) 2019/5/22 18 Slow-RCNNベース Faster-RCNNベース 同程度の精度 やや優れた精度 ※ただし、CenterNetはどちらの方法よりも2倍速い
19.
実験(姿勢推定) • MS COCOデータセット[34]を使用 •
キーポイントAPで評価 • バウンディングボックスAPのバウンディングボックスIoUをオブ ジェクトのキーポイントの類似性に置き換え • COCO test-devで他の方法と比較 • 実験詳細 • 中心点検出のDLA-34とHourglass-104からFinetune • DLA-34は320エポック(8 GPU:約3日)で収束し、Hourglass-104は 150エポック(5 GPU:約8日)で収束します。 • 追加の全ての損失重みは1に設定.他の全てのハイパーパラメー タはオブジェクト検出と同じ 2019/5/22 19
20.
実験(姿勢推定) 2019/5/22 20 最先端技術と競合できる精度 を実現 CenterNetは一般的で新しいタ スクに容易に適応できる
21.
結論 • 「物体の新しい表現方法:ポイント」を提案 • CenterNet物体検出器は、キーポイント推定ネットワークにより中心 点を見つけ,そしてサイズに回帰する •
NMS後処理なし,簡単,高速,正確,かつend-to-endで区別できる • 一般的であり,単純な二次元検出を超えた広い用途を有する • ポーズ,3D方向,奥行き,広がりなど、さまざまな物体プロパ ティを推定できる • リアルタイムの物体認識とそれに関連したタスクのための新しい方向 性を奨励している 2019/5/22 21
Jetzt herunterladen