SlideShare a Scribd company logo

関西CVPR勉強会 2012.7.29

•
•
Akisato Kimura
Akisato Kimura

Fathi+ "Social interactions: A first-person perspective" CVPR12 を紹介します．

Technology
1 of 84
Download to read offline
CVPR2012 Review “Social interactions: A first-person perspective” Akisato Kimura (@_akisato, @_akisato_)
何でこれを紹介しようと思ったんですか？  Social という単語に釣られました… （嘘 2 関西CVPR勉強会 (July 29, 2012)
何でこれを紹介しようと思ったんですか？  Social という単語に釣られました… （嘘  Ego-centric visionで本質的に面白い問題はこれ！ 3 関西CVPR勉強会 (July 29, 2012)
何でこれを紹介しようと思ったんですか？  Social という単語に釣られました… （嘘  Ego-centric visionで本質的に面白い問題はこれ！  ライフログ？ いや，スナップショットで十分だし… http://www.ntt.co.jp/ylab/special/vol_3/index.html http://itunes.apple.com/jp/app/puno-laita-dao/id536059062 4 関西CVPR勉強会 (July 29, 2012)
一言で言うと，何これ？ 誰が何をしているかを予測します！ 5 関西CVPR勉強会 (July 29, 2012)
もう少しキチンと説明します みんな あなたを 見ています あなたです 6 関西CVPR勉強会 (July 29, 2012)
もう少しキチンと説明します みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです 7 関西CVPR勉強会 (July 29, 2012)
もう少しキチンと説明します みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです 画面に映る人の役割や意図を予測します！ 8 関西CVPR勉強会 (July 29, 2012)
こんなことして何が嬉しいの？  リアルお友達関係が映像だけからわかります．  行動パターンが似ている人がわかります． 同一行動をしていたグループ全員 HMDをつけていた人たち (First person) （注： HMDをつけている人が自分自身を映すことはできないので，自分とは仲良くなれません．） 9 関西CVPR勉強会 (July 29, 2012)
大雑把な枠組 10 関西CVPR勉強会 (July 29, 2012)
大雑把な枠組 HMDな人 の頭部運動 顔追跡・ HMD画像 顔認識 11 関西CVPR勉強会 (July 29, 2012)
大雑把な枠組 各人の役割 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 12 関西CVPR勉強会 (July 29, 2012)
大雑把な枠組 何らかのラベル 謎の離散 隠れ変数系列 各人の役割 観測特徴系列 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 13 関西CVPR勉強会 (July 29, 2012)
大雑把な枠組 何らかのラベル 謎の離散 隠れ変数系列 各人の役割 観測特徴系列 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 14 関西CVPR勉強会 (July 29, 2012)
顔検出・認識・顔向き推定  フリーソフト PittPatt を利用 15 関西CVPR勉強会 (July 29, 2012)
顔検出・認識・顔向き推定  フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com 16 関西CVPR勉強会 (July 29, 2012)
顔検出・認識・顔向き推定  フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com (゜Д゜) http://techcrunch.com/2011/07/22/google-acquires-facial-recognition-software-company-pittpatt/ 17 関西CVPR勉強会 (July 29, 2012)
実世界上の顔位置の推定  キャリブレーションができていればできる． 18 関西CVPR勉強会 (July 29, 2012)
実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， 顔の大きさ， 顔向き (Yaw, Pitch, Roll) 19 関西CVPR勉強会 (July 29, 2012)
実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， 顔の大きさ， 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 （𝑐, 𝑓がカメラパラメータ） 20 関西CVPR勉強会 (July 29, 2012)
実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， ℎ 顔の大きさ， 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 （𝑐, 𝑓がカメラパラメータ） 21 関西CVPR勉強会 (July 29, 2012)
実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， ℎ 顔の大きさ， 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 上から見た図 𝑑 = 𝑐/ℎ HMDな人基準の顔向き ターゲット 𝜃 = 𝑟/𝑓 HMDな人 （𝑐, 𝑓がカメラパラメータ） 22 関西CVPR勉強会 (July 29, 2012)
みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない． 23 関西CVPR勉強会 (July 29, 2012)
みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 24 関西CVPR勉強会 (July 29, 2012)
みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 顔向きからわかる，ぼやっと拡がる視野 25 関西CVPR勉強会 (July 29, 2012)
みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 顔向きからわかる，ぼやっと拡がる視野 その視野内に誰かいれば，その人を見ているはず 26 関西CVPR勉強会 (July 29, 2012)
みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 顔向きからわかる，ぼやっと拡がる視野 その視野内に誰かいれば，その人を見ているはず そうでないときは，勝手に見ている場所を作る！ 27 関西CVPR勉強会 (July 29, 2012)
注意箇所推定のためのモデル  マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 28 関西CVPR勉強会 (July 29, 2012)
注意箇所推定のためのモデル  マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 （推定したいもの） 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 （観測できるもの） 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖 29 関西CVPR勉強会 (July 29, 2012)
注意箇所推定のためのモデル  マルコフ確率場 (MRF)のエネルギー最大化 𝑁 人数 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 尤度項 隣接項 （推定したいもの） 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 （観測できるもの） 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖 30 関西CVPR勉強会 (July 29, 2012)
エネルギー関数をまじめに書くと…  尤度項  隣接項 31 関西CVPR勉強会 (July 29, 2012)
エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点．  隣接項 32 関西CVPR勉強会 (July 29, 2012)
エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点． 自分が自分を見ない ような縛りを掛ける．  隣接項 33 関西CVPR勉強会 (July 29, 2012)
エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点． 自分が自分を見ない ような縛りを掛ける． 誰かの顔を見ていれば， 高得点get！  隣接項 34 関西CVPR勉強会 (July 29, 2012)
エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点． 自分が自分を見ない ような縛りを掛ける． 誰かの顔を見ていれば， 高得点get！  隣接項 同じ人の顔を見ていれば， 高得点get！  α-expansion的な何かで推定可能 (cf. P4右) 35 関西CVPR勉強会 (July 29, 2012)
実はここからが本番 36 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 37 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル 38 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル （観測できるもの） フレーム𝑘の各種特徴量 39 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 40 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 41 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 42 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 43 関西CVPR勉強会 (July 29, 2012)
各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 隣接項 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 44 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （１）  HMDな人の近くにいる人の数を数えてみる 45 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （１）  HMDな人の近くにいる人の数を数えてみる ５ｍ 75度 －75度 ０ｍ HMDな人 46 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （１）  HMDな人の近くにいる人の数を数えてみる  視野を20分割して，それを20次元のベクトルに．  人々の位置関係で誰がどう話しているかわかる． ５ｍ 75度 －75度 ０ｍ HMDな人 47 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴 48 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる 49 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している 50 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる 51 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる  𝑖さんと同じ場所を見ている人の数  1以上 = その場所が注意の中心 52 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる  𝑖さんと同じ場所を見ている人の数  1以上 = その場所が注意の中心  （合計，4次元の特徴） 53 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． 54 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 55 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 ② ３×３の部分領域に分割 56 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 ② ３×３の部分領域に分割 ③ 各領域を左右上下成分に 分割 （全成分非負値） 57 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 ② ３×３の部分領域に分割 ③ 各領域を左右上下成分に 分割 （全成分非負値） 合計，36次元． 58 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元 59 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元  見られている，ということを基準にした特徴  全部で4次元 60 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元  見られている，ということを基準にした特徴  全部で4次元  HMDな人の頭部運動  全部で36次元 61 関西CVPR勉強会 (July 29, 2012)
CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元  見られている，ということを基準にした特徴  全部で4次元  HMDな人の頭部運動  全部で36次元  全部合わせて， 60次元の特徴ベクトル/frame の完成． 62 関西CVPR勉強会 (July 29, 2012)
もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 63 関西CVPR勉強会 (July 29, 2012)
もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで， 特徴の各次元を重み付け 64 関西CVPR勉強会 (July 29, 2012)
もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで， 特徴の各次元を重み付け どの潜在変数が出やすいか， 行動ラベルによって変わる． 65 関西CVPR勉強会 (July 29, 2012)
もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで， 特徴の各次元を重み付け どの潜在変数が出やすいか， 行動ラベルによって変わる． 現時点の前後での潜在変数の 変わりやすさが行動ラベル依存． 66 関西CVPR勉強会 (July 29, 2012)
で，CRFってどうやって解くの？  準ニュートン法の一種であるBFGSで解けるっぽい 67 関西CVPR勉強会 (July 29, 2012)
で，CRFってどうやって解くの？  準ニュートン法の一種であるBFGSで解けるっぽい  反省しています…これを読んで出直します… http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 68 関西CVPR勉強会 (July 29, 2012)
データセット http://vimeo.com/37507972 http://www.cc.gatech.edu/~afathi3/Disney/ 69 関西CVPR勉強会 (July 29, 2012)
使った機材  GoPro HD HERO2： 今なら1台299USD！ http://jp.gopro.com/hd-hero2-cameras/ 70 関西CVPR勉強会 (July 29, 2012)
データセット 詳細スペック  8人に42時間HMDな人になってもらう．  その他含めて25人以上の団体様でテーマパークへ．  データに残ったのは25人だった模様．  1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析． 71 関西CVPR勉強会 (July 29, 2012)
データセット 詳細スペック  8人に42時間HMDな人になってもらう．  その他含めて25人以上の団体様でテーマパークへ．  データに残ったのは25人だった模様．  1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析．  全映像に手動でラベリング．  6種類の行動ラベル： （1対1）対話，議論，独り言，歩いて対話，歩いて議論，他．  行動の開始と終了も丁寧にアノテーション． 72 関西CVPR勉強会 (July 29, 2012)
データセット 詳細スペック  8人に42時間HMDな人になってもらう．  その他含めて25人以上の団体様でテーマパークへ．  データに残ったのは25人だった模様．  1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析．  全映像に手動でラベリング．  6種類の行動ラベル： （1対1）対話，議論，独り言，歩いて対話，歩いて議論，他．  行動の開始と終了も丁寧にアノテーション．  顔向きや位置は各人1000フレームだけラベリング．  5人分を各種学習に，残り3人分をテストに． 73 関西CVPR勉強会 (July 29, 2012)
行動ラベリングの結果 （１） Dialogue Discussion Monologue True positive False positive 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 74 関西CVPR勉強会 (July 29, 2012)
行動ラベリングの結果 （１） Dialogue Discussion Monologue True positive 対抗手法ないのでこれで勘弁してやろうか… False positive 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 75 関西CVPR勉強会 (July 29, 2012)
行動ラベリングの結果 （２） Walk dialogue Walk discussion Confusion mat. True positive False positive 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 76 関西CVPR勉強会 (July 29, 2012)
行動ラベリングの結果 （２） Walk dialogue Walk discussion Confusion mat. True positive False positive Dialogとdiscussionを区別するのは大変． 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 77 関西CVPR勉強会 (July 29, 2012)
行動ラベリングの結果 （２） Walk dialogue Walk discussion Confusion mat. True positive False positive Dialogとdiscussionを区別するのは大変． 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 歩いているとさらに大変． 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 78 関西CVPR勉強会 (July 29, 2012)
実世界における仲良し関係が明らかに  特に何も解析はしていないが， 多くのデータで突き詰めて解析すると， 何か面白い結果が出る，かも？ 79 関西CVPR勉強会 (July 29, 2012)
他にもたくさんできることが  グループ全員の行動パターンを知る 80 関西CVPR勉強会 (July 29, 2012)
他にもたくさんできることが  グループ全員の行動パターンを知る．  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012. 81 関西CVPR勉強会 (July 29, 2012)
他にもたくさんできることが  グループ全員の行動パターンを知る．  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012.  同じ，じゃないよね，まさか… 82 関西CVPR勉強会 (July 29, 2012)
他にもたくさんできることが  グループ全員の行動パターンを知る．  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012.  同じ，じゃないよね，まさか…  複数のHMDの幾何拘束を使って 本質的にインタラクションの問題を解ける．  たぶんどっかで見たけど，忘却の彼方… 83 関西CVPR勉強会 (July 29, 2012)
参考資料  第1著者のページ (Alireza Fathi) http://www.cc.gatech.edu/~afathi3/  2nd IEEE Workshop on Egocentric (First-Person) Vision in conjunction with CVPR2012 http://egovision12.cc.gatech.edu  First-person social interaction dataset http://www.cc.gatech.edu/~afathi3/Disney/  Woodman Labs GoPro HD HERO2 http://jp.gopro.com/hd-hero2-cameras/  数式を含む論文の読解効率化 / 西尾泰和のはてなダイアリー http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 84 関西CVPR勉強会 (July 29, 2012)

Recommended

多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26Takashi Abe
 
ECCV 2016 まとめ
ECCV 2016 まとめECCV 2016 まとめ
ECCV 2016 まとめcvpaper. challenge
 
CVPR 2015 論文紹介（NTT研究所内勉強会用資料）
CVPR 2015 論文紹介（NTT研究所内勉強会用資料）CVPR 2015 論文紹介（NTT研究所内勉強会用資料）
CVPR 2015 論文紹介（NTT研究所内勉強会用資料）Yoshitaka Ushiku
 
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Akisato Kimura
 
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Akisato Kimura
 
多変量解析の一般化
多変量解析の一般化多変量解析の一般化
多変量解析の一般化Akisato Kimura
 
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移についてCVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移についてAkisato Kimura
 
NIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imaginationNIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imaginationAkisato Kimura
 

Recommended

多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会＠関東 2014/5/26Takashi Abe
 
ECCV 2016 まとめ
ECCV 2016 まとめECCV 2016 まとめ
ECCV 2016 まとめcvpaper. challenge
 
CVPR 2015 論文紹介（NTT研究所内勉強会用資料）
CVPR 2015 論文紹介（NTT研究所内勉強会用資料）CVPR 2015 論文紹介（NTT研究所内勉強会用資料）
CVPR 2015 論文紹介（NTT研究所内勉強会用資料）Yoshitaka Ushiku
 
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Akisato Kimura
 
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...
Paper reading - Dropout as a Bayesian Approximation: Representing Model Uncer...Akisato Kimura
 
多変量解析の一般化
多変量解析の一般化多変量解析の一般化
多変量解析の一般化Akisato Kimura
 
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移についてCVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移についてAkisato Kimura
 
NIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imaginationNIPS2015 reading - Learning visual biases from human imagination
NIPS2015 reading - Learning visual biases from human imaginationAkisato Kimura
 
CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"Akisato Kimura
 
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)Akisato Kimura
 
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cuesComputational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cuesAkisato Kimura
 
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear timeNIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear timeAkisato Kimura
 
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...Akisato Kimura
 
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged informationICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged informationAkisato Kimura
 
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...Akisato Kimura
 
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphsIJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphsAkisato Kimura
 
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28Akisato Kimura
 
ICWSM12 Brief Review
ICWSM12 Brief ReviewICWSM12 Brief Review
ICWSM12 Brief ReviewAkisato Kimura
 
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）Akisato Kimura
 
関西CVPRML勉強会（特定物体認識） 2012.1.14
関西CVPRML勉強会（特定物体認識） 2012.1.14関西CVPRML勉強会（特定物体認識） 2012.1.14
関西CVPRML勉強会（特定物体認識） 2012.1.14Akisato Kimura
 
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －Akisato Kimura
 
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明Akisato Kimura
 
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20Akisato Kimura
 
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16Akisato Kimura
 
関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23Akisato Kimura
 
関西CVPRML 2011.8.27
関西CVPRML 2011.8.27関西CVPRML 2011.8.27
関西CVPRML 2011.8.27Akisato Kimura
 
CVPR2011祭り 発表スライド
CVPR2011祭り 発表スライドCVPR2011祭り 発表スライド
CVPR2011祭り 発表スライドAkisato Kimura
 
Japan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel DiscussionJapan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel DiscussionAkisato Kimura
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 

More Related Content

More from Akisato Kimura

CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"Akisato Kimura
 
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)Akisato Kimura
 
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cuesComputational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cuesAkisato Kimura
 
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear timeNIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear timeAkisato Kimura
 
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...Akisato Kimura
 
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged informationICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged informationAkisato Kimura
 
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...Akisato Kimura
 
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphsIJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphsAkisato Kimura
 
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28Akisato Kimura
 
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）Akisato Kimura
 
関西CVPRML勉強会（特定物体認識） 2012.1.14
関西CVPRML勉強会（特定物体認識） 2012.1.14関西CVPRML勉強会（特定物体認識） 2012.1.14
関西CVPRML勉強会（特定物体認識） 2012.1.14Akisato Kimura
 
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －Akisato Kimura
 
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明Akisato Kimura
 
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20Akisato Kimura
 
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16Akisato Kimura
 
関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23Akisato Kimura
 
関西CVPRML 2011.8.27
関西CVPRML 2011.8.27関西CVPRML 2011.8.27
関西CVPRML 2011.8.27Akisato Kimura
 
CVPR2011祭り 発表スライド
CVPR2011祭り 発表スライドCVPR2011祭り 発表スライド
CVPR2011祭り 発表スライドAkisato Kimura
 
Japan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel DiscussionJapan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel DiscussionAkisato Kimura
 

More from Akisato Kimura (20)

CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"CVPR2015 reading "Global refinement of random forest"
CVPR2015 reading "Global refinement of random forest"
 
CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)CVPR2015 reading "Understainding image virality" (in Japanese)
CVPR2015 reading "Understainding image virality" (in Japanese)
 
Computational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cuesComputational models of human visual attention driven by auditory cues
Computational models of human visual attention driven by auditory cues
 
NIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear timeNIPS2014 reading - Top rank optimization in linear time
NIPS2014 reading - Top rank optimization in linear time
 
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
CVPR2014 reading "Reconstructing storyline graphs for image recommendation fr...
 
ICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged informationICCV2013 reading: Learning to rank using privileged information
ICCV2013 reading: Learning to rank using privileged information
 
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
ACMMM 2013 reading: Large-scale visual sentiment ontology and detectors using...
 
IJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphsIJCAI13 Paper review: Large-scale spectral clustering on graphs
IJCAI13 Paper review: Large-scale spectral clustering on graphs
 
関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28関西CVPR勉強会 2012.10.28
関西CVPR勉強会 2012.10.28
 
ICWSM12 Brief Review
ICWSM12 Brief ReviewICWSM12 Brief Review
ICWSM12 Brief Review
 
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）
関西CVPRML勉強会 2012.2.18 （一般物体認識 - データセット）
 
関西CVPRML勉強会（特定物体認識） 2012.1.14
関西CVPRML勉強会（特定物体認識） 2012.1.14関西CVPRML勉強会（特定物体認識） 2012.1.14
関西CVPRML勉強会（特定物体認識） 2012.1.14
 
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
 
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
IBIS2011 企画セッション「CV/PRで独自の進化を遂げる学習・最適化技術」 趣旨説明
 
立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20立命館大学 AMLコロキウム 2011.10.20
立命館大学 AMLコロキウム 2011.10.20
 
広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16広島画像情報学セミナ 2011.9.16
広島画像情報学セミナ 2011.9.16
 
関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23関西CVPRML勉強会 2011.9.23
関西CVPRML勉強会 2011.9.23
 
関西CVPRML 2011.8.27
関西CVPRML 2011.8.27関西CVPRML 2011.8.27
関西CVPRML 2011.8.27
 
CVPR2011祭り 発表スライド
CVPR2011祭り 発表スライドCVPR2011祭り 発表スライド
CVPR2011祭り 発表スライド
 
Japan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel DiscussionJapan CV Day 2011 Position Talk for Panel Discussion
Japan CV Day 2011 Position Talk for Panel Discussion
 

Recently uploaded

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdffurutsuka
 

Recently uploaded (9)

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その１2024/04/12の勉強会で発表されたものです。
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
 

関西CVPR勉強会 2012.7.29

  • 1. CVPR2012 Review “Social interactions: A first-person perspective” Akisato Kimura (@_akisato, @_akisato_)
  • 2. 何でこれを紹介しようと思ったんですか？  Social という単語に釣られました… （嘘 2 関西CVPR勉強会 (July 29, 2012)
  • 3. 何でこれを紹介しようと思ったんですか？  Social という単語に釣られました… （嘘  Ego-centric visionで本質的に面白い問題はこれ！ 3 関西CVPR勉強会 (July 29, 2012)
  • 4. 何でこれを紹介しようと思ったんですか？  Social という単語に釣られました… （嘘  Ego-centric visionで本質的に面白い問題はこれ！  ライフログ？ いや，スナップショットで十分だし… http://www.ntt.co.jp/ylab/special/vol_3/index.html http://itunes.apple.com/jp/app/puno-laita-dao/id536059062 4 関西CVPR勉強会 (July 29, 2012)
  • 5. 一言で言うと，何これ？ 誰が何をしているかを予測します！ 5 関西CVPR勉強会 (July 29, 2012)
  • 6. もう少しキチンと説明します みんな あなたを 見ています あなたです 6 関西CVPR勉強会 (July 29, 2012)
  • 7. もう少しキチンと説明します みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです 7 関西CVPR勉強会 (July 29, 2012)
  • 8. もう少しキチンと説明します みんな あなたを 放置です あなたです みんな あなたを 見ています あなたです 画面に映る人の役割や意図を予測します！ 8 関西CVPR勉強会 (July 29, 2012)
  • 9. こんなことして何が嬉しいの？  リアルお友達関係が映像だけからわかります．  行動パターンが似ている人がわかります． 同一行動をしていたグループ全員 HMDをつけていた人たち (First person) （注： HMDをつけている人が自分自身を映すことはできないので，自分とは仲良くなれません．） 9 関西CVPR勉強会 (July 29, 2012)
  • 10. 大雑把な枠組 10 関西CVPR勉強会 (July 29, 2012)
  • 11. 大雑把な枠組 HMDな人 の頭部運動 顔追跡・ HMD画像 顔認識 11 関西CVPR勉強会 (July 29, 2012)
  • 12. 大雑把な枠組 各人の役割 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 12 関西CVPR勉強会 (July 29, 2012)
  • 13. 大雑把な枠組 何らかのラベル 謎の離散 隠れ変数系列 各人の役割 観測特徴系列 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 13 関西CVPR勉強会 (July 29, 2012)
  • 14. 大雑把な枠組 何らかのラベル 謎の離散 隠れ変数系列 各人の役割 観測特徴系列 HMDな人 各人の の頭部運動 顔向き・位置 顔追跡・ HMD画像 誰が誰を 顔認識 見ているか 14 関西CVPR勉強会 (July 29, 2012)
  • 15. 顔検出・認識・顔向き推定  フリーソフト PittPatt を利用 15 関西CVPR勉強会 (July 29, 2012)
  • 16. 顔検出・認識・顔向き推定  フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com 16 関西CVPR勉強会 (July 29, 2012)
  • 17. 顔検出・認識・顔向き推定  フリーソフト PittPatt を利用 (゜Д゜) http://www.pittpatt.com (゜Д゜) http://techcrunch.com/2011/07/22/google-acquires-facial-recognition-software-company-pittpatt/ 17 関西CVPR勉強会 (July 29, 2012)
  • 18. 実世界上の顔位置の推定  キャリブレーションができていればできる． 18 関西CVPR勉強会 (July 29, 2012)
  • 19. 実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， 顔の大きさ， 顔向き (Yaw, Pitch, Roll) 19 関西CVPR勉強会 (July 29, 2012)
  • 20. 実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， 顔の大きさ， 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 （𝑐, 𝑓がカメラパラメータ） 20 関西CVPR勉強会 (July 29, 2012)
  • 21. 実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， ℎ 顔の大きさ， 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 𝑑 = 𝑐/ℎ HMDな人基準の顔向き 𝜃 = 𝑟/𝑓 （𝑐, 𝑓がカメラパラメータ） 21 関西CVPR勉強会 (July 29, 2012)
  • 22. 実世界上の顔位置の推定  キャリブレーションができていればできる． 画面上での顔位置， ℎ 顔の大きさ， 𝑟 顔向き (Yaw, Pitch, Roll) HMDな人からの距離 上から見た図 𝑑 = 𝑐/ℎ HMDな人基準の顔向き ターゲット 𝜃 = 𝑟/𝑓 HMDな人 （𝑐, 𝑓がカメラパラメータ） 22 関西CVPR勉強会 (July 29, 2012)
  • 23. みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない． 23 関西CVPR勉強会 (July 29, 2012)
  • 24. みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 24 関西CVPR勉強会 (July 29, 2012)
  • 25. みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 顔向きからわかる，ぼやっと拡がる視野 25 関西CVPR勉強会 (July 29, 2012)
  • 26. みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 顔向きからわかる，ぼやっと拡がる視野 その視野内に誰かいれば，その人を見ているはず 26 関西CVPR勉強会 (July 29, 2012)
  • 27. みんながどこを向いているか当てましょう  顔向きと注意位置は一致しません！  でも全く相関がないわけではない．  たぶんこんな感じ 顔向きからわかる，ぼやっと拡がる視野 その視野内に誰かいれば，その人を見ているはず そうでないときは，勝手に見ている場所を作る！ 27 関西CVPR勉強会 (July 29, 2012)
  • 28. 注意箇所推定のためのモデル  マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 28 関西CVPR勉強会 (July 29, 2012)
  • 29. 注意箇所推定のためのモデル  マルコフ確率場 (MRF)のエネルギー最大化 𝑁 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 （推定したいもの） 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 （観測できるもの） 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖 29 関西CVPR勉強会 (July 29, 2012)
  • 30. 注意箇所推定のためのモデル  マルコフ確率場 (MRF)のエネルギー最大化 𝑁 人数 𝐸 𝑳|𝑷 = 𝜙 𝑈 𝐿 𝑓 𝑖, 𝑷 + 𝜙 𝑃 𝐿 𝑓 𝑖, 𝐿 𝑓 𝑗 𝑖=1 𝑗≠𝑖 尤度項 隣接項 （推定したいもの） 𝑖さんが実際に見ている対象の位置𝐿 𝑓 𝑖 （観測できるもの） 𝑖さんの顔 𝑓𝑖 の 実世界での位置 𝑇 𝑓 𝑖 と顔向き 𝑉𝑓 𝑖 30 関西CVPR勉強会 (July 29, 2012)
  • 31. エネルギー関数をまじめに書くと…  尤度項  隣接項 31 関西CVPR勉強会 (July 29, 2012)
  • 32. エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点．  隣接項 32 関西CVPR勉強会 (July 29, 2012)
  • 33. エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点． 自分が自分を見ない ような縛りを掛ける．  隣接項 33 関西CVPR勉強会 (July 29, 2012)
  • 34. エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点． 自分が自分を見ない ような縛りを掛ける． 誰かの顔を見ていれば， 高得点get！  隣接項 34 関西CVPR勉強会 (July 29, 2012)
  • 35. エネルギー関数をまじめに書くと…  尤度項 正面ほど高得点 周辺視は低得点． 自分が自分を見ない ような縛りを掛ける． 誰かの顔を見ていれば， 高得点get！  隣接項 同じ人の顔を見ていれば， 高得点get！  α-expansion的な何かで推定可能 (cf. P4右) 35 関西CVPR勉強会 (July 29, 2012)
  • 36. 実はここからが本番 36 関西CVPR勉強会 (July 29, 2012)
  • 37. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 37 関西CVPR勉強会 (July 29, 2012)
  • 38. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル 38 関西CVPR勉強会 (July 29, 2012)
  • 39. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル （観測できるもの） フレーム𝑘の各種特徴量 39 関西CVPR勉強会 (July 29, 2012)
  • 40. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 40 関西CVPR勉強会 (July 29, 2012)
  • 41. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 41 関西CVPR勉強会 (July 29, 2012)
  • 42. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 42 関西CVPR勉強会 (July 29, 2012)
  • 43. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 43 関西CVPR勉強会 (July 29, 2012)
  • 44. 各人の役割や意図を予測するモデル  NLP業界大好き 条件付き確率場 (CRF) 𝑛 フレーム数 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 特徴尤度項 潜在尤度項 隣接項 （推定したいもの） 行動ラベル （観測の教師なしclustering結果） フレーム𝑘の離散潜在変数 （観測できるもの） フレーム𝑘の各種特徴量 44 関西CVPR勉強会 (July 29, 2012)
  • 45. CRFに突っ込む特徴量 （１）  HMDな人の近くにいる人の数を数えてみる 45 関西CVPR勉強会 (July 29, 2012)
  • 46. CRFに突っ込む特徴量 （１）  HMDな人の近くにいる人の数を数えてみる ５ｍ 75度 －75度 ０ｍ HMDな人 46 関西CVPR勉強会 (July 29, 2012)
  • 47. CRFに突っ込む特徴量 （１）  HMDな人の近くにいる人の数を数えてみる  視野を20分割して，それを20次元のベクトルに．  人々の位置関係で誰がどう話しているかわかる． ５ｍ 75度 －75度 ０ｍ HMDな人 47 関西CVPR勉強会 (July 29, 2012)
  • 48. CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴 48 関西CVPR勉強会 (July 29, 2012)
  • 49. CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる 49 関西CVPR勉強会 (July 29, 2012)
  • 50. CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している 50 関西CVPR勉強会 (July 29, 2012)
  • 51. CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる 51 関西CVPR勉強会 (July 29, 2012)
  • 52. CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる  𝑖さんと同じ場所を見ている人の数  1以上 = その場所が注意の中心 52 関西CVPR勉強会 (July 29, 2012)
  • 53. CRFに突っ込む特徴量 （２）  見られている，ということを基準にした特徴  𝑖さんを見ている人の数  1以上 = 𝑖さんが会話の中心にいる  HMDな人が𝑖さんを見ているかどうか  Yes = HMDな人と𝑖さんが会話している  HMDな人と𝑖さんが同じ人を見ているかどうか  Yes = その人が会話の中心にいる  𝑖さんと同じ場所を見ている人の数  1以上 = その場所が注意の中心  （合計，4次元の特徴） 53 関西CVPR勉強会 (July 29, 2012)
  • 54. CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． 54 関西CVPR勉強会 (July 29, 2012)
  • 55. CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 55 関西CVPR勉強会 (July 29, 2012)
  • 56. CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 ② ３×３の部分領域に分割 56 関西CVPR勉強会 (July 29, 2012)
  • 57. CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 ② ３×３の部分領域に分割 ③ 各領域を左右上下成分に 分割 （全成分非負値） 57 関西CVPR勉強会 (July 29, 2012)
  • 58. CRFに突っ込む特徴 （３）  HMDな人の頭部運動  特に，歩行中のインタラクション判別に効果的． ① Dense optical flowを計算 ② ３×３の部分領域に分割 ③ 各領域を左右上下成分に 分割 （全成分非負値） 合計，36次元． 58 関西CVPR勉強会 (July 29, 2012)
  • 59. CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元 59 関西CVPR勉強会 (July 29, 2012)
  • 60. CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元  見られている，ということを基準にした特徴  全部で4次元 60 関西CVPR勉強会 (July 29, 2012)
  • 61. CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元  見られている，ということを基準にした特徴  全部で4次元  HMDな人の頭部運動  全部で36次元 61 関西CVPR勉強会 (July 29, 2012)
  • 62. CRFに突っ込む特徴量 まとめ  HMDな人の近くにいる人の数を数えてみる  全部で20次元  見られている，ということを基準にした特徴  全部で4次元  HMDな人の頭部運動  全部で36次元  全部合わせて， 60次元の特徴ベクトル/frame の完成． 62 関西CVPR勉強会 (July 29, 2012)
  • 63. もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 63 関西CVPR勉強会 (July 29, 2012)
  • 64. もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで， 特徴の各次元を重み付け 64 関西CVPR勉強会 (July 29, 2012)
  • 65. もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで， 特徴の各次元を重み付け どの潜在変数が出やすいか， 行動ラベルによって変わる． 65 関西CVPR勉強会 (July 29, 2012)
  • 66. もう一度モデルを見直す  条件付き確率場 (CRF) 𝑛 𝑛 Ψ 𝑦, 𝒉, 𝒙; 𝑤 = 𝑤ℎ 𝑖 ∙ 𝜑 𝑥 𝑖 + 𝑤 𝑦,ℎ 𝑖 + 𝑤 𝑦,ℎ 𝑘,ℎ 𝑙 𝑖=1 𝑖=1 𝑘,𝑙 ∈𝐸 潜在変数に依存する重みで， 特徴の各次元を重み付け どの潜在変数が出やすいか， 行動ラベルによって変わる． 現時点の前後での潜在変数の 変わりやすさが行動ラベル依存． 66 関西CVPR勉強会 (July 29, 2012)
  • 67. で，CRFってどうやって解くの？  準ニュートン法の一種であるBFGSで解けるっぽい 67 関西CVPR勉強会 (July 29, 2012)
  • 68. で，CRFってどうやって解くの？  準ニュートン法の一種であるBFGSで解けるっぽい  反省しています…これを読んで出直します… http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 68 関西CVPR勉強会 (July 29, 2012)
  • 69. データセット http://vimeo.com/37507972 http://www.cc.gatech.edu/~afathi3/Disney/ 69 関西CVPR勉強会 (July 29, 2012)
  • 70. 使った機材  GoPro HD HERO2： 今なら1台299USD！ http://jp.gopro.com/hd-hero2-cameras/ 70 関西CVPR勉強会 (July 29, 2012)
  • 71. データセット 詳細スペック  8人に42時間HMDな人になってもらう．  その他含めて25人以上の団体様でテーマパークへ．  データに残ったのは25人だった模様．  1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析． 71 関西CVPR勉強会 (July 29, 2012)
  • 72. データセット 詳細スペック  8人に42時間HMDな人になってもらう．  その他含めて25人以上の団体様でテーマパークへ．  データに残ったのは25人だった模様．  1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析．  全映像に手動でラベリング．  6種類の行動ラベル： （1対1）対話，議論，独り言，歩いて対話，歩いて議論，他．  行動の開始と終了も丁寧にアノテーション． 72 関西CVPR勉強会 (July 29, 2012)
  • 73. データセット 詳細スペック  8人に42時間HMDな人になってもらう．  その他含めて25人以上の団体様でテーマパークへ．  データに残ったのは25人だった模様．  1280x720 pixels, 30fpsでキャプチャ，15fpsにして解析．  全映像に手動でラベリング．  6種類の行動ラベル： （1対1）対話，議論，独り言，歩いて対話，歩いて議論，他．  行動の開始と終了も丁寧にアノテーション．  顔向きや位置は各人1000フレームだけラベリング．  5人分を各種学習に，残り3人分をテストに． 73 関西CVPR勉強会 (July 29, 2012)
  • 74. 行動ラベリングの結果 （１） Dialogue Discussion Monologue True positive False positive 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 74 関西CVPR勉強会 (July 29, 2012)
  • 75. 行動ラベリングの結果 （１） Dialogue Discussion Monologue True positive 対抗手法ないのでこれで勘弁してやろうか… False positive 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 75 関西CVPR勉強会 (July 29, 2012)
  • 76. 行動ラベリングの結果 （２） Walk dialogue Walk discussion Confusion mat. True positive False positive 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 76 関西CVPR勉強会 (July 29, 2012)
  • 77. 行動ラベリングの結果 （２） Walk dialogue Walk discussion Confusion mat. True positive False positive Dialogとdiscussionを区別するのは大変． 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 77 関西CVPR勉強会 (July 29, 2012)
  • 78. 行動ラベリングの結果 （２） Walk dialogue Walk discussion Confusion mat. True positive False positive Dialogとdiscussionを区別するのは大変． 水色： 位置に関する特徴だけ 緑色： HMDな人の頭部運動特徴だけ 歩いているとさらに大変． 青色： 注目度に関する特徴だけ 赤色： 全部使ってみた （提案法） 78 関西CVPR勉強会 (July 29, 2012)
  • 79. 実世界における仲良し関係が明らかに  特に何も解析はしていないが， 多くのデータで突き詰めて解析すると， 何か面白い結果が出る，かも？ 79 関西CVPR勉強会 (July 29, 2012)
  • 80. 他にもたくさんできることが  グループ全員の行動パターンを知る 80 関西CVPR勉強会 (July 29, 2012)
  • 81. 他にもたくさんできることが  グループ全員の行動パターンを知る．  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012. 81 関西CVPR勉強会 (July 29, 2012)
  • 82. 他にもたくさんできることが  グループ全員の行動パターンを知る．  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012.  同じ，じゃないよね，まさか… 82 関西CVPR勉強会 (July 29, 2012)
  • 83. 他にもたくさんできることが  グループ全員の行動パターンを知る．  たぶんこれら  Fathi, Rehg “Learning to recognize daily actions using attention,” IEEE Works. Egocentric Vision 2012.  Fathi, Rehg “Learning to recognize daily actions using gaze,” to appear in ECCV2012.  同じ，じゃないよね，まさか…  複数のHMDの幾何拘束を使って 本質的にインタラクションの問題を解ける．  たぶんどっかで見たけど，忘却の彼方… 83 関西CVPR勉強会 (July 29, 2012)
  • 84. 参考資料  第1著者のページ (Alireza Fathi) http://www.cc.gatech.edu/~afathi3/  2nd IEEE Workshop on Egocentric (First-Person) Vision in conjunction with CVPR2012 http://egovision12.cc.gatech.edu  First-person social interaction dataset http://www.cc.gatech.edu/~afathi3/Disney/  Woodman Labs GoPro HD HERO2 http://jp.gopro.com/hd-hero2-cameras/  数式を含む論文の読解効率化 / 西尾泰和のはてなダイアリー http://d.hatena.ne.jp/nishiohirokazu/20111216/1324015670 84 関西CVPR勉強会 (July 29, 2012)