Submit Search
Upload
3D CNNによる人物行動認識の動向
•
23 likes
•
24,410 views
Kensho Hara
Follow
動画中の人物行動認識における3D CNNを用いた手法の動向を紹介します.
Read less
Read more
Technology
Report
Share
Report
Share
1 of 23
Download now
Download to read offline
Recommended
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
Toru Tamaki
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Recommended
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
Toru Tamaki
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Semantic segmentation
Semantic segmentation
Takuya Minagawa
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
cvpaper. challenge
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向
Ohnishi Katsunori
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
nlab_utokyo
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
Deep Learning JP
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
ぱんいち すみもと
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
【2017.06】 cvpaper.challenge 2017
【2017.06】 cvpaper.challenge 2017
cvpaper. challenge
動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)
cvpaper. challenge
More Related Content
What's hot
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
Semantic segmentation
Semantic segmentation
Takuya Minagawa
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
cvpaper. challenge
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向
Ohnishi Katsunori
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
nlab_utokyo
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
Deep Learning JP
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
ぱんいち すみもと
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
What's hot
(20)
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
Semantic segmentation
Semantic segmentation
動画認識サーベイv1(メタサーベイ )
動画認識サーベイv1(メタサーベイ )
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Triplet Loss 徹底解説
Triplet Loss 徹底解説
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Similar to 3D CNNによる人物行動認識の動向
【2017.06】 cvpaper.challenge 2017
【2017.06】 cvpaper.challenge 2017
cvpaper. challenge
動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)
cvpaper. challenge
CNTK deep dive
CNTK deep dive
Kyoichi Iwasaki
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
Takayoshi Yamashita
「解説資料」VideoMix: Rethinking Data Augmentation for Video Classification
「解説資料」VideoMix: Rethinking Data Augmentation for Video Classification
Takumi Ohkuma
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
Hirokatsu Kataoka
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
文献紹介:PolyViT: Co-training Vision Transformers on Images, Videos and Audio
文献紹介:PolyViT: Co-training Vision Transformers on Images, Videos and Audio
Toru Tamaki
生活支援ロボットにおける大規模データ収集に向けて
生活支援ロボットにおける大規模データ収集に向けて
Komei Sugiura
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
Deep Learning JP
R-CNNの原理とここ数年の流れ
R-CNNの原理とここ数年の流れ
Kazuki Motohashi
ae-3. ディープラーニングの基礎
ae-3. ディープラーニングの基礎
kunihikokaneko1
ImageNet Classification with Deep Convolutional Neural Networks
ImageNet Classification with Deep Convolutional Neural Networks
Kouhei Nakajima
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
Shintaro Yoshida
Arithmer Dynamics Introduction
Arithmer Dynamics Introduction
Arithmer Inc.
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
nlab_utokyo
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
Takayoshi Yamashita
(2022年3月版)深層学習によるImage Classificaitonの発展
(2022年3月版)深層学習によるImage Classificaitonの発展
Takumi Ohkuma
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
Akisato Kimura
(2021年8月版)深層学習によるImage Classificaitonの発展
(2021年8月版)深層学習によるImage Classificaitonの発展
Takumi Ohkuma
Similar to 3D CNNによる人物行動認識の動向
(20)
【2017.06】 cvpaper.challenge 2017
【2017.06】 cvpaper.challenge 2017
動画認識における代表的なモデル・データセット(メタサーベイ)
動画認識における代表的なモデル・データセット(メタサーベイ)
CNTK deep dive
CNTK deep dive
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
「解説資料」VideoMix: Rethinking Data Augmentation for Video Classification
「解説資料」VideoMix: Rethinking Data Augmentation for Video Classification
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
文献紹介:PolyViT: Co-training Vision Transformers on Images, Videos and Audio
文献紹介:PolyViT: Co-training Vision Transformers on Images, Videos and Audio
生活支援ロボットにおける大規模データ収集に向けて
生活支援ロボットにおける大規模データ収集に向けて
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
R-CNNの原理とここ数年の流れ
R-CNNの原理とここ数年の流れ
ae-3. ディープラーニングの基礎
ae-3. ディープラーニングの基礎
ImageNet Classification with Deep Convolutional Neural Networks
ImageNet Classification with Deep Convolutional Neural Networks
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
Arithmer Dynamics Introduction
Arithmer Dynamics Introduction
Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
(2022年3月版)深層学習によるImage Classificaitonの発展
(2022年3月版)深層学習によるImage Classificaitonの発展
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
関西CVPRML勉強会 2012.2.18 (一般物体認識 - データセット)
(2021年8月版)深層学習によるImage Classificaitonの発展
(2021年8月版)深層学習によるImage Classificaitonの発展
Recently uploaded
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Recently uploaded
(9)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
3D CNNによる人物行動認識の動向
1.
3D CNNによる人物行動認識の動向 原 健翔 0 産業技術総合研究所
コンピュータビジョン研究グループ
2.
人物行動認識 1 入力:動画 → 出力:行動ラベルという課題 *K.
Soomo+, “UCF101: A Dataset of 101 Human Actions Classes From Videos in The Wild”, CRCV-TR-12-01, 2012. *
3.
代表的な大規模行動認識データセット | Trimmed 2 切り出し済み
or 開始終了ラベル込み動画 HMDB-51: 7000動画 (Movie, YouTube),51クラス UCF-101: 13000動画 (YouTube),101クラス ActivityNet: 28000動画 (YouTube),200クラス Kinetics: 30万動画 (YouTube),400クラス 大規模化がどんどん進んでいる
4.
代表的な大規模行動認識データセット | Untrimmed 3 動画単位ラベル&対象以外も含む
Sports-1M: 100万動画 (YouTube),487クラス Youtube-8M (Video Classification Dataset): 800万動画 (YouTube),4800クラス 規模は圧倒的なものの動画単位ラベルのみでノイズが多い
5.
CNN以前の行動認識手法 4 Dense Trajectories &
Fisher Vectorが主流 HOG, HOF, MBHによる局所特徴をFisher Vectorでエンコード* *H. Wang+, “Dense Trajectories and Motion Boundary Descriptors for Action Recognition”, IJCV, 2013.
6.
CNNベースの行動認識 5 2D CNN 時空間特徴抽出のため RGB
& Optical Flowの Two-streamが主流 3D CNN 空間 2D + 時間 1Dの 3D空間で畳み込み *D. Tran+, “Learning Spatiotemporal Features with 3D Convolutional Networks”, ICCV, 2015. * *
7.
3D CNNによる行動認識 |
C3D* 6 大規模動画データ (Sports-1M) を用いて良い性能を達成 著者らによる学習済みモデルの公開もあり3D CNNの標準となる *D. Tran+, “Learning Spatiotemporal Features with 3D Convolutional Networks”, ICCV, 2015. Conv: 3x3x3 kernels with 1 stride Pool: 2x2x2 (Pool1: 1x2x2) 実験的にこれがベストと確認 Input: 3 channels x 16 frames x 112 pixels x 112 pixels
8.
3D CNNによる行動認識 |
Long-term Convolution* 7 時間長変化の影響を検討 C3Dの16フレーム入力を変更 長くすると精度は向上 Optical Flow入力や RGB&Flow入力の有効性も発見 *G. Varol+, “Long-term Temporal Convolutions for Action Recognition”, TPAMI, 2017.
9.
この辺りまでの3D CNN 8 state-of-the-artよりも低精度 ImageNetでpretrainingした Two-stream
2D CNNベースがstate-of-the-art Two-stream 3D CNNでも精度は一歩劣る データ数不足が一番の原因? ネットワーク構造も10層のシンプルなものに とどまっている
10.
Kineticsデータセット* 9 Trimmed Actionで最大のデータセット 切り出された行動のインスタンス数では圧倒的! *W. Kay+,
“The Kinetics Human Action Video Dataset”, arXiv, 2017.
11.
Kineticsでの学習* 10 ImageNet Pretrained 2D
CNNとの差が激減 大量のデータにより3D CNNも学習可能に *W. Kay+, “The Kinetics Human Action Video Dataset”, arXiv, 2017. top-1/top-5
12.
Inception-v1ベースの3D CNN* 11 22層の3D CNN
2D Kernelの重みを 3DにコピーするInflatedにより ImageNetでもPretraining 入力は3x64x224x224 *J. Carreira+, “Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset”, CVPR, 2017.
13.
Inception-v1ベースの3D CNN* 12 圧倒的な精度を達成 大規模(かつきれいな)データ の利用&Deep
3D CNNの 有効性が示された *J. Carreira+, “Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset”, CVPR, 2017.
14.
ResNetベースの3D CNN* 13 画像認識で有効なResNetを動画像に応用 ResNetはInceptionよりも高精度
Kineticsデータセットを利用することで 3D ResNetを学習可能か? *K. Hara+, “Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition”, ICCV WS, 2017.
15.
学習時の設定 14 入力:3 channels
x 16 frames x 112 pixels x 112 pixels 最適化手法:SGD with momentum (0.9) Learning Rate:0.1 以後Validation Lossが収束したら1/10 Data Augumentation 50%でHorizontal Flip 4 corner, 1 centerからランダム選択してSpatial Crop 動画中から16フレームをランダム抽出
16.
学習に利用したマシン 15 NVIDIA TITAN
Xを4枚 Torchによる実装 4週間かけて学習 PyTorch実装で再学習したら1, 2週間で学習できた
17.
Kineticsでの学習結果 16 Pretrainingなしで過学習せずに3D ResNet-34を学習可能
18.
Kineticsでの認識精度 17 より深いResNetの方がC3Dよりも高い認識精度
19.
3D ResNet-34とI3D (Inception-v1) 18 I3Dの方が高い精度を実現
入力サイズの違い ResNet: 3x16x112x112, I3D: 3x64x224x224 高解像かつ時間長が長い方が精度は高くなる バッチサイズの違い Batch Normalization利用時にはバッチサイズは重要 I3Dの論文では64GPUでバッチサイズを大きく設定
20.
3D ResNetの学習コードと学習済みモデル 19 GitHubで公開中! Torch版https://github.com/kenshohara/3D-ResNets
と PyTorch版https://github.com/kenshohara/3D-ResNets-PyTorch ActivityNetとKineticsデータセットでの 学習・テストが可能 3D ResNet-34などの学習済みモデルも公開 その他のモデルも今後公開予定
21.
学習済みモデルを利用した動画認識用のコード 20 こちらもGitHubで公開中! Torch版https://github.com/kenshohara/video-classification-3d-cnn と PyTorch版https://github.com/kenshohara/video-classification-3d-cnn-pytorch
任意の動画に対してクラス識別(Kineticsの400クラス), 特徴抽出(Global Average Pooling後の400次元)が可能 実行結果の描画ツールも公開
22.
ResNet-34による認識結果例 21
23.
まとめ 22 3D CNNによる行動認識が盛り上がり中 大規模なKineticsデータセットにより 深いモデルも学習可能になってきた
今後この分野の研究が加速していくことが予測される
Download now