Weitere ähnliche Inhalte Ähnlich wie 文献紹介:Temporal Convolutional Networks for Action Segmentation and Detection (20) Mehr von Toru Tamaki (20) 文献紹介:Temporal Convolutional Networks for Action Segmentation and Detection1. Temporal Convolutional
Networks for Action
Segmentation and Detection
Colin Lea, Michael D.Flynn, Rene Vidal, Austin Reiter,
GregoryD.Hager, Johns Hopkins University, CVPR2017
神谷広大(名工大)
2021/11/20
2. 背景
nAction segmentation,Action detection
• ロボットから日常生活まで幅広く活用
n複数アクションがある動画のモデリング
• 現在のアプローチ
• 低レベルの時空間特徴の抽出
• 広範囲で研究がなされている
• 高レベルの時間的分類
• スライディングウィンドウ型 [Rohrbach+, ICCV2015]
n時系列データの学習
• LSTMを用いたRNNやGRU [Chung+, arXiv2015]
7. Dilated TCN
nWaveNet [Oord+, arXiv2016]を行動分類タスクに適応
n一連のブロックを定義
• 各ブロックでL個の畳み込み
n層間にスキップ接続を追加
• 音声合成のために開発
n各層の内容
• 拡張畳み込み
• 非線形活性化
• 残差接続
8. 実験設定
nタスク
• Action Segmentation
• フレーム単位での識別
nデータセット
• University of Dundee 50 Salads [Stein+,
ACM2013]
• MERL Shopping [Singh+, CVPR2016]
• Georgia Tech Egocentric Activityies
(GTEA) [Ding+, CVPR 2017]
n評価指標
• F1@{10, 25, 50}
• IoUが10%, 25%, 50%の時のF1
• mAP
• Acc
nパラメータ
• Categorical cross entropy
• 確率的勾配降下法とADAMのス
テップ更新を使用
n活性化関数
• 実験からNormalized ReLUを使用
F1@25, 50Salad(midlevel)
9. 結果
n連続した行動の構成
• CRF
• ペアワイズ遷移モデルを使用
• RNN
• LSTMを使用
• TCN
• 過去の時刻ステップに条件付
けしなくても行動合成を捉え
る
n長距離の時間的依存性
• 特徴量に時間的な遅れを与える
• 遅延無し(s=0)は完全な予測
• 遅延が大きくても性能を維持
合成実験の例
(上)真の行動ラベル
(下)3次元特徴
サブアクションA(紺,水色,緑)
上位アクションB(橙)
上位アクションC(赤)
入力特徴を時間的にずらした場合のF1@10
10. 結果
n合成実験
• T=150でtrain50個test10個
• 受容野の長さ16
• サブアクションは単純な分類器
では区別がつかない
n長距離の時間パターンの学習
• 特徴量に時間的な遅れを与える
• 遅延無し(s=0)は完全な予測
• 遅延が大きくても性能を維持
合成実験の例
(上)真の行動ラベル
(下)3次元特徴
サブアクションA(紺,水色,緑)
上位アクションB(橙)
上位アクションC(赤)
受容野の約半分の長さまで良い性能をキープ
13. まとめ
n TCN
• 長距離の時間パターンを捉える
• 畳み込みの階層を利用
• 複雑なパターンや時間遅延にも対応
• 合成データの利用
nED-TCNとDilated-TCNの提案
• 合成データを用いて複雑なパターンを捉える
• 双方向LSTMを含むベースラインを上回る