Weitere ähnliche Inhalte Ähnlich wie Hasc challenge2012-kawaguchi (20) Mehr von Nobuo Kawaguchi (20) Hasc challenge2012-kawaguchi2. はじめに
ありがとうございます。
• おかげさまで、HASC Challenge も
2010, 2011, 2012 と3回行うことができまし
た!
• この間、データ処理方法のノウハウ、
ツールの改良、
データの蓄積、
4. 行動センシング・行動理解技術と
は
加速度・角速度・地磁気・GPSなど 装着・携帯型のセンサデバイス
センサ信号
センサデバイスを
を取得 携帯しながら活動
行動コーパス
機械学習等 応用分野
特徴量 勤怠管理
に基づく
抽出 行動モデル
ナビゲーション
認識
アルゴリズム
機器・環境の制御
行動認識・行動理解 異常検知 ライフログ
健康増進
5. 人間行動センシングに関する現
状
• 様々な研究機関で 加速度センサ等を
用いた多数の応用研究が実施されている
• 現時点では、特定目的、小規模な
研究が個別になされている
• 体系的な研究なくしては、人間行動理解
の
認識は難しいのでは?
(2009年時点の課題)
6. 行動センシングの研究動向
・Context Awareness by Analysing Accelerometer Data,
[Cliff Randell, 2000]
歩く、しゃがむなどを、
加速度値の各軸のRMS
からクラスタリング
・Activity Recognition from User-Annotated Acceleration Data,
[Ling Bao, Pervasive 2004]
走る, 歯を磨く, ストレッチをするなど
重力方向の検知,
上下運動の振幅値の変化量,
平均, 零点交差数などを利用
7. ・Proactive Instructions for Furniture Assembly,
[S. Antifakors, Ubicomp 2002]
家具の組み立て作業をモニタリングし、次の作業をナビゲート
・Activity Recognition using Body Worn Mic and Accelerometers,
[Holger Junker, Pervasive 2004]
工房における道具の使用をモニタリング
8. ・Tracking Free-Weight Exercise [Keng-hao Chang, Ubicomp 2007]
数種類のダンベル体操の回数をモニタリングし、バランスが良い運動を
支援
時系列パターンを窓ごとの特徴量(周波数成分, 平均, 分散, 各軸の差分値な
ど)から, HMMを使ってパターンマッチング
9. 識別対象数 被験者・サンプル数
Activity Recognition using
Body Worn Mic and
Accelerometers
10 各 10 サンプル
Activity Recognition from
User-Annotated Acceleration Data
20 被験者20人
82~160min
Tracking Free-Weight Exercise
被験者10人
9 162.5 min
4925 times
10. 実用化された技術はシンプルなも
の
単純なセンシング・情報処理技術では
• 歩数
• 睡眠の状況
• 活動量(カロリーの推定)
程度が実現できているのみ。
スマートホンの登場により、多様なセンサを
使い
より高度な認識技術の実現が期待できる
13. 人間情報処理の共通点
音声 画像 言語 行動
PASL-DSR,UT-
Face, Walker, TV, Japanese Spoken
ML,ATR,TMW,R
コーパス WCP,PASD,CIAI
TREC.PASC Language Corpus/ ???
AL,Text KOTONOHA
R-DB
Morphological
Face Recognition
Analysis/ 信号処理と
アルゴリズム HMM/DP Optical Flow
Comp/Decomp
Dependency 同じ
Analysis / N-Gram
HTK (HMM
ツールキット ToolKit) / Julius
OpenCV / mist Chasen/Cabocha ???
UbiComp / AH/
ICASSP・
NAACL/ ACL / Pervasive /
国際会議 InterSpeech ICCV / ICPR
COLING Percom / INSS /
ISWC
14. 人間情報処理の共通点
音声 画像 言語 行動
PASL-DSR,UT-
Face, Walker, TV, Japanese Spoken
ML,ATR,TMW,R
コーパス WCP,PASD,CIAI
TREC.PASC Language Corpus/ HASC
AL,Text KOTONOHA
R-DB
Morphological
Face Recognition 信号処理と
Analysis/
アルゴリズム HMM/DP Optical Flow
Dependency
同じ+
Comp/Decomp
Analysis / N-Gram HASC成果
HTK (HMM
ツールキット ToolKit) / Julius
OpenCV / mist Chasen/Cabocha HASC Tool
UbiComp / AH/
ICASSP・
NAACL/ ACL / Pervasive /
国際会議 InterSpeech ICCV / ICPR
COLING Percom / INSS /
ISWC
行動処理を“音声処理”・“画像処理”に継ぐ研究分野に!
15. そもそも人間の行動とは?
• 手・足・頭・体を個々に動かす行動
– 行動素(もっともシンプルな行動)
• 立つ、座る、寝転ぶ、振り向く、手作業の
移動を伴わない行動等
• 歩く、走る、階段の上下、などの移動を伴う行
動
• エレベータ、エスカレータ、車、電車、自転車
などの乗車行動
• 体操、ダンス、などの一連の行動系列
• 通勤、散歩、特定の場所への移動、など、
一連の移動系列
• 長期間の行動の変化
– リハビリ、怪我、老化など
18. 2009年7月9日
DICOMO2009
• 2日目:セッション 6G
– 複数の行動センシングの研究発表
– 問題意識の共有 → ナイトセッションで発表
19. 人間行動センシング
コンソーシアム
http://hasc.jp
目的 ・装着型センサを用いた
人間行動センシング技術の開
発・普及
・加速度センサによる人間行動の
大規模データベースの構築
(大学関係者40名、企業関係者30名の
活動 2009年10月7日 第1回HASCシンポジウム
賛同) 2010年3月 情報処理学会大会 パネル
2010年12月 HASC Challenge シンポ
2011年 HASC Tutorial 開催(名古屋,東京,大阪)
2012年1月 HASC Chellengeシンポ
2012年 HASC Tutorial 開催(名古屋,神戸, 九州,東
20. データベースを集める前に
• どのようなセンサ?
– センサの種別の決定が重要
– 異なるセンサでも同じデータが取れるのか?
• どこに何個、どんなふうに計測?
– 汎用的なデータ? 特定目的のデータ?
– 実環境?サンプリングレートは?
• どんな解析が可能?
– センサデータ処理の基盤技術が必要
ターゲットを定めるのが困難
21. データ収集技術チャレンジの提
案
• データ収集とアルゴリズム検討のための
技術チャレンジ
• 互いにデータ、アルゴリズムを持ち寄っ
て
互いに評価、情報共有
目的
• データ収集・管理・利用の経験収集
• センサ種別やセンサ利用の方法論検討
• ツールの開発、共有
• 行動情報処理の研究者人口の増大
• イベント、締切り効果によるHASCの進捗
22. HASC Challenge (HC201X)
DICOMO2010にてアナウンス!
• HC201X はコンテストとせず、技術チャレン
ジ
• 今回は加速度センサ 1式のみを対象
• 対象とする行動は以下の6種類
「静止」「歩く」「ジョギング」「階段登る」「降り
る」「スキップ」
• 参加者は、自分でデータ収集、ラベル付け
を
HC201Xcorpus
行い、その情報も提供
1データセットの提供で全データ獲得
23. 他の分野でも
• 音声情報処理分野
– 複数の拠点が集まってデータベース収集
– 雑音環境下の認識技術に関するコンテスト
(AURORA-2J)
• 画像処理分野
– PRMU アルゴリズム・コンテスト
• すでに14回のコンテスト
コンテスト等によりデータ収集
研究分野の底上げが実現
24. HASC 標準ファイル形式
• 加速度センサ 生データ形式 ( .csv )
[時刻(sec)], [X軸(g)], [Y軸(g)], [Z軸(g)]
サンプリングレート 10Hz ~ 100Hz
• ラベル 形式 ( .label )
“#”で始まる行は、情報行
“#targetfile: XXXX.csv” は、ラベル対象データファ
イル
“#version: 1”
[開始時刻(sec)] , [終了時刻(sec)], [ラベルテキスト]
• メタデータ形式 ( .xml )
仕様センサ種別、センサデバイス情報(OS等)、
サンプリングレート、センサ取り付け位置
25. 参加者に提供していただいたデータ
各参加者は 5人の被験者情報の提供が必要
• 学習用データ
– 各行動に対し 20秒以上.
– 各被験者に対し 5 セット以上.
• シーケンスデータ
– 120秒 以上の連続行動のデータ
(HC2011 は 300秒)
– 各行動は5秒以上継続すべき.
(HC2011 は 10秒)
– 各行動のラベル付けを行う.
• 被験者1人あたり31ファイル
(6 行動 x 5 セット
+ 1 シーケンス + 1 ラベル)
x 5 被験者 = 155ファイル
(HC2011 は、センサが多様化で
ファイル数も増大)
26. HASC2010corpus
性別 被験者数 ファイル数
男性 89 4032
女性 12 341
不明 439 2418
合計 540 6791
データサイズ (*.meta 含む)
1,012,961,280 バイト
( 966MByte)
ファイル 13527, フォルダ 1340
24 チーム+運営側の努力の成果
27. 性別 被験者数 ファイル数
男性 102 4464
女性 14 434
合計 116 4898
HASC 2010コーパスのデータの不揃いな点を整備
(一部、削減、20人分のデータを追加)
29. HASC Challenge2011
(2011年8月~2011年11月)
• テーマは国際化と実世界化
参加者は HASC2010corpus が利用可能!
• 基礎データは同じ(6行動+1シーケン
ス)
• 新しいデータ収集
– ランドマーク間行動(Real World Activity
Data)
• 最寄りの駅から職場・学校・店舗等までの連続行
動
より実環境に近いデータを収集
• 3分~10分程度
31. 2種類のデータ
• 統制環境データ(被験者:96, セッション数:
4495)
– 6種類の行動(5segmentedx6 + 1sequence)
「静止」「歩く」「ジョギング」「階段登る」「降り
る」「スキップ」
• 実環境データ(被験者:40, セッション数:
40)
– ランドマーク間の移動行動
例:地下鉄駅から職場
32. 種別 被験者数 センサ種別 ファイル数
加速度 4495
96
統制 角速度 2521
男性 85
環境 GPS 240
女性 11
地磁気 310
加速度 40
40
角速度 30
実環境 男性 34
GPS 27
女性 6
地磁気 5
合計 136 7668
33. HASC Challenge と
HASC corpus の関係
HC2010 HC2011 HC2012
HASC2010 HASC2012 HASC2013
corpus corpus corpus
20人
データ
HASC2011
corpus
35. -0.007
-0.007 -…
-0.005 x 10000
-0.005 -… x 10000
-0.003 x 10000
1
2
3
0
0.5
1.5
2.5
3.5
-0.003 -…
-0.001
10
12
14
16
18
20
0
2
4
6
8
0
1
2
3
5
6
4
-0.001 -…
0.001
0.001 0.001
0.003
0.003 0.003
0.005
0.005 0.005
0.007
0.007 0.007
0.009
0.009 0.009
0.011
0.013 0.011 0.011
0.015 0.013 0.013
0.017 0.015 0.015
0.019 0.017 0.017
0.021 0.019 0.019
0.023 0.021 0.021
0.025 0.023 0.023
0.027 0.025 0.025
0.029 0.027 0.027
0.031 0.029 0.029
0.033 0.031 0.031
0.035 0.033 0.033
0.037 0.035 0.035
0.039 0.037 0.037
HTC
0.041 0.039 0.039
SHARP
0.043 0.041 0.041
Samsung
0.045 0.043 0.043
0.047 0.045 0.045
0.049 0.047 0.047
0.051 0.049 0.049
0.051
秒
0.051
秒
秒
-0.007 -0.007
100
150
200
250
300
50
0
50
100
150
200
250
300
0
-0.003 x 10000 -0.003 x 10000
タ)
0.001 0.001
0.005 0.005
0.009 0.009
0.013 0.013
0.017 0.017
0.021 0.021
0.025 0.025
複数センサの性質
iPHONE
0.029 0.029
0.033 0.033
iPODtouch
HASC2012corpusでわかること
0.037 0.037
0.041
0.041
0.045
0.045
0.049
0.049
秒
(サンプリングレートのジッ
秒
36. ランドマーク間移動 経路デー
タ
• 途中の行動は手でラベルづけされている.
– 歩き、階段上下、エスカレータ、エレベータなど
• このデータをどのように活用できるか?
– 位置・経路が既知な行動データ
– 経路間の類似性の計算が可能
– すなわち、既知の経路と比較すれば、
経路推定が可能に.
37. 経路推定の方法
Activity Sequence of Subject A
Activity Sequence of Subject B
• 同じ経路を通った被験者A, B の行動系列は
似たものになる.
• 経路間の距離を比較すれば良い。
38. 検証実験
20 経路 Activity 20 ラベル情報
Recognizer (認識結果)
(4種類の行動を推定する)
ラベル間の
ラベル情報.
DP マッチン
(人手による) グ
マッチング結果
(経路の類似
性)
• 今回のデータには、同じ経路が尐ないため、
手のラベル付けと自動ラベリングを比較
40. ラベル間のDPマッチングの結
果
Cumulative Ranks Rank 1 Rank 1~3 Rank 1~5
Percentage 60% 90% 95%
• DPマッチングにより, 90% の経路が 3位以内になった。
• すなわち、既知の経路20種に対し、60~90%の精度で
加速度センサだけで経路推定が可能になることを示している
• 加速度センサによる経路推定の実現可能性を示した。
• 実験の前提条件などを変更し、より詳細な実験が必要。
43. DPマッチングによる結果
認識結果間のラベル間のDPマッチング距離
被験者A-E
経路 1-3
同じ経路間で、距離が近くなることを確認
非対称になっているのは、コストが不均等なた
め
44. HASC Challenge2012
(2012年9月~2012年12月)
• テーマは継続
参加者は HASC2012corpus が利用可能!
• 収集センサ種別数が拡大
• 基礎データは同じ(6行動+1シーケン
ス)
• ランドマーク間行動(Real World Activity
Data)
• 最寄りの駅から職場・学校・店舗等までの連続行
動
チュートリアルを各地
• 3分~10分程度
(名古屋・神戸・九州・東京)で開催
• ラベリングツールを提供
合計 60名近くの参加
45. HASC Challenge 2012 成果
• データ提供チーム 17
収集データ
• 総ファイル数 :13,607
• 総被験者数 :114
加速度以外のセンサデータが急増
本成果は HASC2013corpus として整理し、HC2012 参加者に公開。
また、将来的には、hub.hasc.jp 登録者に公開予定です。
46. HASC Challenge の今後
• 大規模データへの要望は確認
– データ提供 → コーパス提供のループを続ける
( HC2013 の開催 )
• そろそろ leap がしたい
– 真剣に認識手法を改善すべき時期かも
– HMMの導入など
• 基礎的なツール・アルゴリズムの充実が重要
– HASC Tool の使い方を広める
– ドキュメント化
47. HASC バランスデータの収集
• これまでのHASCcorpus は
大学生が中心のコーパス
• 性別、年齢、身長、体重等がバランス
したデータが必要では?
– 実は大変(項目がかけ算で効く)
– 利き腕、利き足などの情報は?
– 年齢なのか、体重なのか、スポーツ経験など
なのか、健康度などもあるのか
– 被験者を集めて行うか。
1年かけて検討中。2013年年始にデータ収集開始予定!
48. HASC歩行者ナビ行動データ
• 屋内の地図+歩行コース
+歩行データを収
集
• ペデストリアンナビゲーションの評価用
データとして利用可能に
• データ種別(検討中)
– 複数位置への装着:移動データ
– カバン等による保持データ
– 手で保持データ
ターゲットは歩行者ナビ+α 新規のデータ
49. 皆さんへの期待
• HASC20XXcorpus はドンドン使ってください
– 疑問点は何でも聞いてください
• どんどん成果を発表、共有していきましょう
– いい成果は、特許化・権利化してもらって結構です
• HASC の活動は、縁の下の力持ち
– 研究の基盤、ベースラインづくり
• HASC に集まって、オリジナルの研究を推進
• もちろん、アプリも実現してもらってOKです。
• なお、コーパスにはミスがあり得ますので、
問題があれば、指摘してください。
(リビジョンで更新していきます)
50. HASC Challengeの将来展望
• 行動理解・認識の裾野を広げる活動
– 他のコミュニティとの連携が必要
• 音声、ロボティクス、画像、言語、、、
• 経験、ノウハウ、アルゴリズム、コーパスの
蓄積
– 繰り返しにより、高度化を目指す
– 明確なベンチマークを設定
• 現在は、多様な方向を向いており、発散ぎみ
• 実社会で活用される部品の提供
– スマホで利用可能なアルゴリズム・部品提供
– 音声認識のように、サーバ側での処理も可能
51. HASC Challenge 2013 日程
実行委員長 西尾 信彦(立命館大学)
• 春から開始します!
• GW開けにデータ提出締切
– 1次データ締切 5月25日(土)
• シンポジウム 10月21日(月)
関西で開催予定
52. まとめ
• HASC Challenge2012 を開催
• 大規模行動データの収集を継続
– HC2010, HC2011と同等の規模の収集に成功
• 共通ツール HASC Tool の高度化
• 詳細分析はまだまだ可能
– 大規模データを縦横無尽に解析する
ツール・ノウハウがまだまだ必要
Google Group の ML に
ぜひ、ご参加ください!
http://hasc.jp HC2013の実行委員も募集中!