Diese Präsentation wurde erfolgreich gemeldet.
Die SlideShare-Präsentation wird heruntergeladen. ×

Feature Erasing and Diffusion Network for Occluded Person Re-Identification

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Wird geladen in …3
×

Hier ansehen

1 von 19 Anzeige
Anzeige

Weitere Verwandte Inhalte

Weitere von harmonylab (20)

Aktuellste (20)

Anzeige

Feature Erasing and Diffusion Network for Occluded Person Re-Identification

  1. 1. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Feature Erasing and Diffusion Network for Occluded Person Re-Identification 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 調和系工学研究室 西浦 翼
  2. 2. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 論文情報 2 著者 ・Zhikand Wang, Feng Zhu, Shixiang Tang 他 発表 ・CVPR2022 概要 ・オクルージョン消去モジュール(OEM)と特徴拡散モジュール(FDM)を導入 したReIDモデル、FEDを提案 ・Re-IDのベンチマークでSoTAを達成 リンク ・論文 :https://arxiv.org/abs/2112.08740 ・git:https://github.com/ZacharyWang-007/FED-Occluded-ReID
  3. 3. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 3 研究背景 • Person ReID (Re-Identification) – 異なるカメラ、視点、明るさ、場所で撮影された 人物画像から同一人物の判定をするタスク – この分野のデータセット・モデルは基本的に、全 身画像が対象 – 実環境ではオクルージョンが発生 ex)駅、学校、病院、ショッピングモールなど • ReID分野の大きな課題 – NPO (Non-Pedestrian Occlusions) 障害物とのオクルージョンのこと – NTP (Non-Target Pedestrians) 注目したい人物以外の人物
  4. 4. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 4 研究背景 • ReIDの最先端手法 – Human key points 人物の特徴的なポイントに注目 – Human parsing information 人間の概形の情報を使用 – 身体情報 → 特徴抽出 という流れでNPOを回避 • 最先端手法の課題 1. NTPに弱い(NTPの特徴がノイズとして混入) 2. Human parsingは荷物を認識できない 3. 計算量が多く、リアルタイムに不向き
  5. 5. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 5 研究背景 • NPOには強いがNTPに弱い – Pose estimation:HRNet (2019) – Human parsing:PSPNet (2017)
  6. 6. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 6 概要 • FED (Feature Erasing and Diffusion network)を提案 – OEM ( Occlusion Erasing Module) – FDM (Feature Diffusion Module) – NPOとNTPに強い • 有効性を検証 – Occluded Datasets 3種類 – Holistic Datasets 2種類 – 特にOccluded DatasetsでRank-1、mAPがSoTA
  7. 7. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 7 提案モデル FED NPO Augmentation Strategy Occlusion Erasing Module Feature Diffusion Module • 特徴抽出にはViTを使用 • 2つのブランチでパラメータは共有 • FDMは補助モジュールで推論には使わない
  8. 8. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 8 NPO Augmentation Strategy • 従来手法 1. ランダムな矩形をランダムな値で置換 過学習に強い、オクルージョンにロバスト 汎化性能が低い、何とのオクルージョンかわからない 2. 選択した物体や背景を貼り付け オクルージョンのシミュレーションでロバスト オクルージョンの領域がわからない • 提案手法 – オクルージョンの補強 – マスク生成
  9. 9. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 9 NPO Augmentation Strategy • オクルージョンの補強 – 経験的に、オクルージョンの発生個所は4か所(上下左右) – 経験的に、面積は1/4~1/2 – 手動でオブジェクト・背景を切り出してパッチセット作成 – 入力画像にリサイズ・パディング・ランダムクロップ – ランダムクロップ・リサイズしたパッチを画像に貼り付け • マスク生成 – オクルージョンは垂直方向と水平方向の2種 – ReIDモデルにとって垂直方向の判別は容易 – 人物矩形を上から4分割 – 水平方向にマスクを適用
  10. 10. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 10 Occlusion Erasing Module • OEMは4つのサブモジュールから構成 • FC層、normalization、FC層、シグモイド層 • 第1FC層で次元を1/4にして意味的情報を抽出 • シグモイド層でオクルージョンスコア si を計算 • オクルージョンスコアと特徴量の積を計算 • OEMの学習を監視するため、マスクとMSEを計算
  11. 11. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 11 Feature Diffusion Module • NTP対策で複数人画像をシミュレーションしたい • 画像特徴量の集合、メモリバンクを使用 • 入力特徴量とメモリバンク内の類似別人で cross attention • FFN(feed forward network)は2つのFCと活性化関数 • 特徴レベルでTPに類似したNTPを生成 • 学習時のみ使用、推論では使用しない
  12. 12. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 12 損失関数 • ID Loss:クロスエントロピー • Contrastive Loss:クロスエントロピー • Final Loss
  13. 13. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 13 実験 • データセット – Occluded-DukeMTMC 702人15,629枚の学習、1,629人19,871枚の評価、最難関 – Occluded-REID 200人が各5枚の全身、5枚のオクルージョンで計2,000枚 – Partial-REID 60人600枚で全身、オクルージョン、一部のみなど – Market-1501 – DukeMTMC-reID
  14. 14. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 14 実験 • オクルージョンデータセットでの評価 他を圧倒 NPO augmentationに関して *なしはO-Dukeのみ、 *ありはMSMT17からも パッチを作成
  15. 15. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 15 実験 • 全身データセットでの評価 SoTAならず
  16. 16. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 16 アブレーションスタディ 1. Baseline + RE 2. Baseline + NPO Aug 3. Baseline + NPO Aug + OEM 4. Baseline + NPO Aug + FDM 5. FED 順調に精度上がって、当然全部盛りが1番いい
  17. 17. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 17 アブレーションスタディ • 定性評価 OEMがNPOを特定している NTPには特に効果なし
  18. 18. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 18 アブレーションスタディ • Trans ReIDと比較 • 上2段がNPO、下2段がNTP • 緑が正解、赤が不正解 • 圧倒的に良い
  19. 19. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. Copyright © 2020 調和系工学研究室 - 北海道大学 大学院情報科学研究院 情報理工学部門 複合情報工学分野 – All rights reserved. 19 結論 • NPOとNTPに対応したReIDモデルFEDを提案 • OEM(occlusion erasing module)でNPOを改善 • FDM(feature diffusion module)でNTPを改善 • 既存のデータセットで評価を行い、オクルー ジョンを含むデータセットではSoTAを達成

×