Suche senden
Hochladen
20200704 Deep Snake for Real-Time Instance Segmentation
•
1 gefällt mir
•
1,118 views
Takanori Ogata
Folgen
Deep Snake for Real-Time Instance Segmentation (CVPR 2020)
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 31
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Krylov Subspace Methods in Model Order Reduction
Krylov Subspace Methods in Model Order Reduction
Mohammad Umar Rehman
読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
健児 青木
PRML輪読#5
PRML輪読#5
matsuolab
An Efficient Language Model Using Double-Array Structures
An Efficient Language Model Using Double-Array Structures
Jun-ya Norimatsu
рівняння нерівності з параметрами
рівняння нерівності з параметрами
Tamara tamara
Презентація:Знаходження числа за його дробом
Презентація:Знаходження числа за його дробом
sveta7940
統計的学習の基礎 第5章 基底展開と正則化
統計的学習の基礎 第5章 基底展開と正則化
Takayuki Uchiba
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
jaypi Ko
Empfohlen
Krylov Subspace Methods in Model Order Reduction
Krylov Subspace Methods in Model Order Reduction
Mohammad Umar Rehman
読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
読書会 「トピックモデルによる統計的潜在意味解析」 第2回 3.2節 サンプリング近似法
健児 青木
PRML輪読#5
PRML輪読#5
matsuolab
An Efficient Language Model Using Double-Array Structures
An Efficient Language Model Using Double-Array Structures
Jun-ya Norimatsu
рівняння нерівності з параметрами
рівняння нерівності з параметрами
Tamara tamara
Презентація:Знаходження числа за його дробом
Презентація:Знаходження числа за його дробом
sveta7940
統計的学習の基礎 第5章 基底展開と正則化
統計的学習の基礎 第5章 基底展開と正則化
Takayuki Uchiba
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
jaypi Ko
Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architectures
Koji Matsuda
Prml 10 1
Prml 10 1
正志 坪坂
11 алг бабенко_2_пособ_2011_укр
11 алг бабенко_2_пособ_2011_укр
Aira_Roo
딥 러닝 자연어 처리 학습을 위한 PPT! (Deep Learning for Natural Language Processing)
딥 러닝 자연어 처리 학습을 위한 PPT! (Deep Learning for Natural Language Processing)
WON JOON YOO
【輪読】Bayesian Optimization of Combinatorial Structures
【輪読】Bayesian Optimization of Combinatorial Structures
Takeru Abe
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
Ryosuke Sasaki
線形回帰と階層的クラスタリングの実装
線形回帰と階層的クラスタリングの実装
Yuya Takashina
暗認本読書会13 advanced
暗認本読書会13 advanced
MITSUNARI Shigeo
PR-393: ResLT: Residual Learning for Long-tailed Recognition
PR-393: ResLT: Residual Learning for Long-tailed Recognition
Sunghoon Joo
PRMLrevenge_3.3
PRMLrevenge_3.3
Naoya Nakamura
невласний інтеграл (1)
невласний інтеграл (1)
cdecit
Nams- Roots of equations by numerical methods
Nams- Roots of equations by numerical methods
Ruchi Maurya
Розв'язування нерівностей, які містять знак модуля
Розв'язування нерівностей, які містять знак модуля
Formula.co.ua
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
Kensuke Otsuki
Лекція № 3. «Перевірочний розрахунок валів»
Лекція № 3. «Перевірочний розрахунок валів»
Ch1ffon
Chapter 20 - VAE
Chapter 20 - VAE
KyeongUkJang
文字列検索のいろいろ
文字列検索のいろいろ
Kazuma Mikami
딥러닝을 이용한 자연어처리의 연구동향
딥러닝을 이용한 자연어처리의 연구동향
홍배 김
강화 학습 기초 Reinforcement Learning an introduction
강화 학습 기초 Reinforcement Learning an introduction
Taehoon Kim
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
20210108 Tread: Circuits
20210108 Tread: Circuits
Takanori Ogata
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
Takanori Ogata
Weitere ähnliche Inhalte
Was ist angesagt?
Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architectures
Koji Matsuda
Prml 10 1
Prml 10 1
正志 坪坂
11 алг бабенко_2_пособ_2011_укр
11 алг бабенко_2_пособ_2011_укр
Aira_Roo
딥 러닝 자연어 처리 학습을 위한 PPT! (Deep Learning for Natural Language Processing)
딥 러닝 자연어 처리 학습을 위한 PPT! (Deep Learning for Natural Language Processing)
WON JOON YOO
【輪読】Bayesian Optimization of Combinatorial Structures
【輪読】Bayesian Optimization of Combinatorial Structures
Takeru Abe
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
Ryosuke Sasaki
線形回帰と階層的クラスタリングの実装
線形回帰と階層的クラスタリングの実装
Yuya Takashina
暗認本読書会13 advanced
暗認本読書会13 advanced
MITSUNARI Shigeo
PR-393: ResLT: Residual Learning for Long-tailed Recognition
PR-393: ResLT: Residual Learning for Long-tailed Recognition
Sunghoon Joo
PRMLrevenge_3.3
PRMLrevenge_3.3
Naoya Nakamura
невласний інтеграл (1)
невласний інтеграл (1)
cdecit
Nams- Roots of equations by numerical methods
Nams- Roots of equations by numerical methods
Ruchi Maurya
Розв'язування нерівностей, які містять знак модуля
Розв'язування нерівностей, які містять знак модуля
Formula.co.ua
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
Kensuke Otsuki
Лекція № 3. «Перевірочний розрахунок валів»
Лекція № 3. «Перевірочний розрахунок валів»
Ch1ffon
Chapter 20 - VAE
Chapter 20 - VAE
KyeongUkJang
文字列検索のいろいろ
文字列検索のいろいろ
Kazuma Mikami
딥러닝을 이용한 자연어처리의 연구동향
딥러닝을 이용한 자연어처리의 연구동향
홍배 김
강화 학습 기초 Reinforcement Learning an introduction
강화 학습 기초 Reinforcement Learning an introduction
Taehoon Kim
PRML 5.3-5.4
PRML 5.3-5.4
正志 坪坂
Was ist angesagt?
(20)
Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architectures
Prml 10 1
Prml 10 1
11 алг бабенко_2_пособ_2011_укр
11 алг бабенко_2_пособ_2011_укр
딥 러닝 자연어 처리 학습을 위한 PPT! (Deep Learning for Natural Language Processing)
딥 러닝 자연어 처리 학습을 위한 PPT! (Deep Learning for Natural Language Processing)
【輪読】Bayesian Optimization of Combinatorial Structures
【輪読】Bayesian Optimization of Combinatorial Structures
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
[PRML] パターン認識と機械学習(第3章:線形回帰モデル)
線形回帰と階層的クラスタリングの実装
線形回帰と階層的クラスタリングの実装
暗認本読書会13 advanced
暗認本読書会13 advanced
PR-393: ResLT: Residual Learning for Long-tailed Recognition
PR-393: ResLT: Residual Learning for Long-tailed Recognition
PRMLrevenge_3.3
PRMLrevenge_3.3
невласний інтеграл (1)
невласний інтеграл (1)
Nams- Roots of equations by numerical methods
Nams- Roots of equations by numerical methods
Розв'язування нерівностей, які містять знак модуля
Розв'язування нерівностей, які містять знак модуля
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
「現実世界に活かす数学」 (麻布高等学校、教養総合、数学講義 5 回目)
Лекція № 3. «Перевірочний розрахунок валів»
Лекція № 3. «Перевірочний розрахунок валів»
Chapter 20 - VAE
Chapter 20 - VAE
文字列検索のいろいろ
文字列検索のいろいろ
딥러닝을 이용한 자연어처리의 연구동향
딥러닝을 이용한 자연어처리의 연구동향
강화 학습 기초 Reinforcement Learning an introduction
강화 학습 기초 Reinforcement Learning an introduction
PRML 5.3-5.4
PRML 5.3-5.4
Mehr von Takanori Ogata
20210108 Tread: Circuits
20210108 Tread: Circuits
Takanori Ogata
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
Takanori Ogata
190412 Annotation Survey@関東CV勉強会
190412 Annotation Survey@関東CV勉強会
Takanori Ogata
190410 ML@LOFT
190410 ML@LOFT
Takanori Ogata
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
Takanori Ogata
Unsupervised learning of object landmarks by factorized spatial embeddings
Unsupervised learning of object landmarks by factorized spatial embeddings
Takanori Ogata
Annotating object instances with a polygon rnn
Annotating object instances with a polygon rnn
Takanori Ogata
Training object class detectors with click supervision
Training object class detectors with click supervision
Takanori Ogata
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
Takanori Ogata
160924 Deep Learning Tuningathon
160924 Deep Learning Tuningathon
Takanori Ogata
Convolutional Pose Machines
Convolutional Pose Machines
Takanori Ogata
Deep Learningライブラリ 色々つかってみた感想まとめ
Deep Learningライブラリ 色々つかってみた感想まとめ
Takanori Ogata
Cv20160205
Cv20160205
Takanori Ogata
10分でわかる主成分分析(PCA)
10分でわかる主成分分析(PCA)
Takanori Ogata
DeepAKB
DeepAKB
Takanori Ogata
Mehr von Takanori Ogata
(15)
20210108 Tread: Circuits
20210108 Tread: Circuits
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
190412 Annotation Survey@関東CV勉強会
190412 Annotation Survey@関東CV勉強会
190410 ML@LOFT
190410 ML@LOFT
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
Unsupervised learning of object landmarks by factorized spatial embeddings
Unsupervised learning of object landmarks by factorized spatial embeddings
Annotating object instances with a polygon rnn
Annotating object instances with a polygon rnn
Training object class detectors with click supervision
Training object class detectors with click supervision
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
160924 Deep Learning Tuningathon
160924 Deep Learning Tuningathon
Convolutional Pose Machines
Convolutional Pose Machines
Deep Learningライブラリ 色々つかってみた感想まとめ
Deep Learningライブラリ 色々つかってみた感想まとめ
Cv20160205
Cv20160205
10分でわかる主成分分析(PCA)
10分でわかる主成分分析(PCA)
DeepAKB
DeepAKB
Kürzlich hochgeladen
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Kürzlich hochgeladen
(9)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
20200704 Deep Snake for Real-Time Instance Segmentation
1.
Takanori Ogata Deep Snake
for Real-Time Instance Segmentation
2.
Copyright © ABEJA,
Inc. All rights reserved Self-Introduction 緒方 貴紀@ ABEJA, Inc. Twitter: @conta_ 研究開発からプロトタイプ開発・セールス・ 人事・雑用まで何でもやります。 趣味は 音楽・お酒・筋トレ ←New
3.
Copyright © ABEJA,
Inc. All rights reserved Deep Snake for Real-Time Instance Segmentation • CVPR2020 (Oral) • 物体輪郭を用いたInstance Segmentationの論文 • circular convolutionという仕組みを導入し、輪郭頂点の位置をIterativeに修正 することで物体輪郭を推定、高精度なInstance Segmentationを実現
4.
Copyright © ABEJA,
Inc. All rights reserved 先行研究 Pixel-based methods PANet [Liu+, CVPR2018] Mask RCNN [He+, ICCV2017] 課題: 小さな物体の位置ずれやBboxのズレに対応できない
5.
Copyright © ABEJA,
Inc. All rights reserved 先行研究 Contour-based method HuanLing,JunGao,AmlanKar,WenzhengChen,andSanja Fidler. Fast interactive object annotation with curve-gcn. In CVPR, 2019 https://tech-blog.abeja.asia/entry/annotation-survery DSAC [Marcos+, CVPR2018] 精度はPixel Basedに及ばず Instance SegmentationとしてはPipelineが不足(Bboxが与えられた上での評価) Contourモデルの特別な場合に対応していない(おそらくトポロジーの分割) CurveGCN [Ling+, CVPR2019]
6.
Copyright © ABEJA,
Inc. All rights reserved 先行研究 Snakes: 元祖Active Contour Models
7.
Copyright © ABEJA,
Inc. All rights reserved Active Contour Model • Active Contour Model 対象 空間 領域 性質 表 指標 他 特 徴量 複数 領域 分割 分割 領域 時間変化 境界線 連続的 変化 • 手法 大 2種 Snakes法 Level set法 引用: https://www.slideshare.net/Arumaziro/ss-37035661
8.
Copyright © ABEJA,
Inc. All rights reserved Snakesとは 前提1: 曲線はパ タ表現される 前提2: 曲線のエネ ギ を設定 𝑣 𝛼 𝑑𝑣 𝑠 𝑑𝑠 𝑑𝑠 𝑑 𝑣 𝑠 𝑑𝑠 𝑑𝑠 𝛻 𝐺 ⊗ 𝐼 𝑣 𝑠 𝑑𝑠 :弧長に対応する項 :曲率に対応する項 :勾配強度に対応する項 v 𝑠 𝑥 𝑠 𝑦 𝑠 s ∈ 0,1 引用: https://www.slideshare.net/Arumaziro/ss-37035661 Snakes 貪欲法 𝑣 𝑣 𝑣 𝑣 2𝑣 𝐼′ 𝑣 :弧長に対応す 項 :曲率に対応す 項 :勾配強度に対応す 項 𝑣
9.
Copyright © ABEJA,
Inc. All rights reserved Deep Snake
10.
Copyright © ABEJA,
Inc. All rights reserved Proposed approach: Learning-based snake algorithm • Snake • 頂点から構成される曲線のエネルギー関数最小化 • エネルギー関数は非凸・handcrafted・低レベルの画像特徴を利用 • Deep Snake • End-to-endで頂点から構成されるcontourから直接学習 • CNN backboneはObject DetectionとShareし特徴量をハイブリッドに利用 • Contor+cnn featureを入力として頂点の移動量を出力、Iterativeに処理
11.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • 物体検出アルゴリズムによりBboxを予測 • BboxからDiamond Contorを機械的に作成 • Extremepointsを予測(Deformation1) • 予測ポイントからOctagon contourを機械的に作成 • Octagon contourから初期頂点を機械的に作成し • Contourを再帰的に予測(Deformation2) 詳細は後ほど
12.
Copyright © ABEJA,
Inc. All rights reserved Contour with NNs vertex+featureをどうNNで扱うか? • 初期位置は? • 頂点情報の伝搬は? Polygon RNN++ [Acuna+, CVPR2018] CurveGCN [Ling+, CVPR2019] CNN+RNNで頂点生成 Gated Graph Neural Networkを利用して最適化 Bboxを元に静的なものを与える Graph Convを利用
13.
Copyright © ABEJA,
Inc. All rights reserved Circular Convolution Contour = 周期的な1Dの離散信号だと思って捉える (x, y, features) x N に対して1D-Convで対処可能(シンプル) Contour上の特徴からの影響を考えることで Object-Levelの構造を捉えることが出来る
14.
Copyright © ABEJA,
Inc. All rights reserved Network architecture Backbone・fusion block・prediction headの3つから構成される *CirConv = Circular Convolution Contourを入力として、Offsetを出力する
15.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • 物体検出アルゴリズムによりBboxを予測 • BboxからDiamond Contorを機械的に作成 • Extremepointsを予測(Deformation1) • 予測ポイントからOctagon contourを機械的に作成 • Octagon contourから初期頂点を機械的に作成し • Contourを再帰的に予測(Deformation2)
16.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • 物体検出アルゴリズムによりBboxを予測 • CenterNetを活用 • BBox + Centerを出力 CenterNet[Zhou+, CVPR2019]
17.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • BboxからDiamond Contorを機械的に作成 • 足して2で割るを計算するだけ
18.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • Extremepointsを予測(Deformation1) • Ground TruthはObject boundarからサンプリング • Top, Left, Right, Bottomを持ってくる • 最適化は下記のロスを利用 Extreme Clicking [Papadopoulos+, CVPR2017]
19.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • Octagon contourから初期頂点を機械的に作成 • Extreme Pointsから4点を予測し、8角形を作成 • (Extreme Pointsから辺の1/4を拡張して Bbox上に引いた辺の上に頂点を置くらしい) • => Octagon Contour CenterNet[Zhou+, CVPR2019]
20.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • Contourを再帰的に予測(Deformation2) • GTはObject Boundaryから等間隔にN点サンプル • (N=128) • 再帰的にDeformationを繰り返す • 最適化は下記のLossを利用 • (実験ではIter = 3)
21.
Copyright © ABEJA,
Inc. All rights reserved Multi-component detection Contourを利用するときに課題であったオクルージョン問題へのアプローチ Detection時に物体の分割を行い、分割した物体それぞれにDeep Snakeを適用 最後に統合することでオクルージョンを配慮
22.
Copyright © ABEJA,
Inc. All rights reserved 補足 Curve GCN Deep Snake 初期位置 楕円 Extrepe Pointsの予測 + Octagon Contour 最適化 面積の差を微分(微分レンダリング 頂点情報をL1で最適化 目的 アノテーションの効率化 Bboxは与えられる前提 Instance Segmentation(Object Detectionも含まれる)
23.
Copyright © ABEJA,
Inc. All rights reserved Experiments これ
24.
Copyright © ABEJA,
Inc. All rights reserved Ablation studies Circlar Convが有効なのか?・初期位置予測は必要か? Baseline=CenterNet + Curve-GCN +GraphConv+Proposed Architecture +ExtremePointsの予測 GraphConv -> CircularConv Iterは3以上ではパフォーマンスは上がらない
25.
Copyright © ABEJA,
Inc. All rights reserved Qualitative Result (GCN vs Circular Conv)
26.
Copyright © ABEJA,
Inc. All rights reserved Performance PANet [Liu+, CVPR2018]が比較対象
27.
Copyright © ABEJA,
Inc. All rights reserved Performance
28.
Copyright © ABEJA,
Inc. All rights reserved Qualitative Results
29.
Copyright © ABEJA,
Inc. All rights reserved
30.
Copyright © ABEJA,
Inc. All rights reserved Running time はやい(GPU)
31.
Copyright © ABEJA,
Inc. All rights reserved まとめ • Circular Convを提案することでシンプルかつ高精度なEnd-to-endのInstance Sentmentationを実現 • GPU上で32.3fps(at 512x512px)を達成
Jetzt herunterladen