1. 8月26日 口述試験：
(3)様々なセンサ技術を用いた
人間行動取得の試み
慶應義塾大学
河野 慎
（受験番号: 40016）

2. 様々なセンサ技術を用いた
人間行動取得の試み
背景: ライフログ
• 日々の生活を記録していく
• 対象領域(日々の生活) {実世界 情報空間}
– 主観的・客観的に人々が認識してきたもの
– 無意識的（ 主観 客観）に認識していたもの
• クローズド と オープン
– 自分のための情報
• 記憶補助
– 他の人と共有する情報
• 食べログ
• Instagram
• Facebook
• ユーザプロファイリング
– 各個人の特徴を抽出
– 情報検索，レコメンド，ヘルスケアに活用
2
8/26
東京大学大学院学際情報学府 口述試験
思い出をしっかり保存

3. 様々なセンサ技術を用いた
人間行動取得の試み
分野: 行動認識(Activity Recognition)
• 日々のユーザの行動を認識する
– 食事，運動，睡眠
• データの取得
– １つの(複数の)ウェアラブルセンサ，
ウェアラブルデバイスを装着
• 特徴量(パラメータ)の設定
– センサから取得した数値
– 対象とする行動に合わせる
• 識別器(機械学習)
– 特徴量をもとに行動を認識
• SVM
• ベイジアン
• K-means
3
8/26
東京大学大学院学際情報学府 口述試験
NIKE Fuelband
Google glass

4. 様々なセンサ技術を用いた
人間行動取得の試み
研究例: BodyScope※
• 取得対象行動:
– 食べている，飲んでいる，話している，
笑っている，咳き込んでいる
• 装着デバイス:
– 喉にマイクロフォンを装着
– 音の波形を取得する
• 識別器:
– SVM(Support Vector Machine)
• One-against-One
高い精度で行動を認識可能
想定環境だけでなく実際の環境でも利用可能
処理に時間がかかるため，リアルタイム☓
4
8/26
東京大学大学院学際情報学府 口述試験
※Yatani, Koji, and Khai N. Truong. "BodyScope: a wearable acoustic sensor for activity recognition."
Proceedings of the 2012 ACM Conference on Ubiquitous Computing. ACM, 2012.

5. 様々なセンサ技術を用いた
人間行動取得の試み
行動認識手法における課題・困難
• データ取得
– ウェアラブルセンサの性能
• バッテリー・安全性
• リアルタイム性・精度
• 導入時のユーザの負担
• データ処理
– アルゴリズムの性能
• フィードバック時間の短縮
• 適合率・再現率の向上
• 多くの研究がなされている
– 多様性への対応
• 想定された行動にのみ対応
• 想定外の行動は対象とならない
5
8/26
東京大学大学院学際情報学府 口述試験

6. 様々なセンサ技術を用いた
人間行動取得の試み
今後の展望: 多様性への対応
• 多様性対応の重要性
– センサが取得できる情報に限界
• 精度や粒度は今後向上していくと考えられる
– 人間の行動すべてを記述できない
• アプローチ
– 潜在的因子の発見[1][2][3][4]
• データ間に存在する関係性
• 教師なし学習や強化学習，集合知
– SOM(Self-Organizing Map)[3]
– 遺伝的アルゴリズム
– 協調フィルタリング
– 物理センサ以外ののものを利用
• 物理センサでは難しいコンテクストを取得
• 参加型センシング[13]
– 人間がセンサとなる
6
8/26
東京大学大学院学際情報学府 口述試験
Boys be ambitious

7. 様々なセンサ技術を用いた
人間行動取得の試み
まとめ
• ライフログ研究の一分野：行動認識
– ウェアラブルセンサを用いた研究の紹介
– 手法の課題・困難
• データ取得
• データ処理
– 今後の展望
• 多様性への対応
• ご清聴ありがとうございました
8/26
東京大学大学院学際情報学府 口述試験
7

8. 様々なセンサ技術を用いた
人間行動取得の試み
以下予備スライド
8/26
東京大学大学院学際情報学府 口述試験
8

9. 様々なセンサ技術を用いた
人間行動取得の試み
解決策の提案
• ウェアラブルセンサ
– 消費電力の制御
– 導入の容易性
• 意識させない = 普段使っているものに取り入れる
• 手法
– 特徴量の増加
• 従来では分類しきれなかった行動を細分化
– 識別器の選定
• 教師なし学習
9
8/26
東京大学大学院学際情報学府 口述試験

10. 様々なセンサ技術を用いた
人間行動取得の試み
行動認識手法
• スマートフォン[5][6]
– スマートフォンに内蔵されているセンサを利用
• 歩いている，階段を登っている(降りている)，座っている
• GPS[7]
– 位置情報をもとに行動を認識
• 仕事している，寝ている
• 加速度センサ[8][9][10]
– 身体に(一つもしくは複数の)センサを装着
• 姿勢，歩いている，座っている，話している
• ウェアラブルカメラ[11]
– (手元の)画像を解析して行動を認識
• ドアを開ける，拭いている，食べている，寝ている
• RFID[12]
– 手袋にRFIDタグを装着
• 手を洗っている，ご飯の準備をしている
8/26
東京大学大学院学際情報学府 口述試験
10

11. 様々なセンサ技術を用いた
人間行動取得の試み
研究紹介: BodyScope
• 対象とする行動(12種)：
– 座っている
– 深呼吸
– 食事(クッキー)
– 食事(パン)
– 飲み物(水)
– 飲み物(熱いお茶)
– 話している
– 囁き
– 口笛
– 笑い声
– ため息
– 咳
8/26
東京大学大学院学際情報学府 口述試験
11
座っている(平常時) 深呼吸
飲み物(水) 飲み物(熱いお茶)

12. 様々なセンサ技術を用いた
人間行動取得の試み
• 特徴量:
– ZCR(Zero-Crossing Rate)
– Total Spectram Power
– Subband Power
– Brightness
– Spectral Rolloff
– Spectral Flux
– MFCC(Mel-Frequency Cepstral Coefficient)
• 識別器:
– SVM，Naïve Bayes, K-近傍法
8/26
東京大学大学院学際情報学府 口述試験
12
研究紹介: BodyScope

13. 様々なセンサ技術を用いた
人間行動取得の試み
• 実験(想定環境):
– 参加者：10人
– 12種の行動をそれぞれ10回ずつやってもらう(1200サンプル)
• 考察：
– 同じ行動でもユーザによってスペクトログラムが違う
– トレーニングデータにそれぞれのユーザが含まれている必要が
ある
8/26
東京大学大学院学際情報学府 口述試験
13
研究紹介: BodyScope

14. 様々なセンサ技術を用いた
人間行動取得の試み
8/26
東京大学大学院学際情報学府 口述試験
14
研究紹介: BodyScope

15. 様々なセンサ技術を用いた
人間行動取得の試み
8/26
東京大学大学院学際情報学府 口述試験
15
• 実験(実世界):
– 参加者: 5人
– 普段通りの生活
研究紹介: BodyScope
SVMによる結果
Naïve Bayesによる結果

16. 様々なセンサ技術を用いた
人間行動取得の試み
参考文献
16
8/26
東京大学大学院学際情報学府 口述試験
[4]Zhang, Hao, and Lynne E. Parker. "4-dimensional local spatio-temporal features for human activity recognition." Intelligent
Robots and Systems (IROS), 2011 IEEE/RSJ International Conference on. IEEE, 2011.
[3]高須賀清隆, 丸山一貴, and 寺田実. "閲覧履歴を利用した協調フィルタリングによる Web ページ推薦とその評価." DBWS2007
107.131 (2007): 115-120.
[2]Yin, Jun, andYan Meng. "Human activity recognition in video using a hierarchical probabilistic latent model." ComputerVision and
Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on. IEEE, 2010.
[1]Wang,Yang, and Greg Mori. "Human action recognition by semilatent topic models." Pattern Analysis and Machine Intelligence, IEEE
Transactions on 31.10 (2009): 1762-1774.
[5]Kwapisz, Jennifer R., Gary M.Weiss, and Samuel A. Moore. "Activity recognition using cell phone accelerometers." ACM
SIGKDD Explorations Newsletter 12.2 (2011): 74-82.
[7]Liao, Lin. Location-based activity recognition. Diss. University of Washington, 2006.
[9]Farringdon, Jonny, et al. "Wearable sensor badge and sensor jacket for context awareness." Wearable Computers, 1999.
Digest of Papers.The Third International Symposium on. IEEE, 1999.
[10]Foerster, F., M. Smeja, and J. Fahrenberg.“Detection of posture and motion by accelerometry: a validation study in
ambulatory monitoring.” Computers in Human Behavior 15.5 (1999): 571-583.
[11]Sundaram, Sudeep, and Walterio W. Mayol Cuevas.“High level activity recognition using low resolution wearable vision.”
ComputerVision and Pattern RecognitionWorkshops, 2009. CVPRWorkshops 2009. IEEE Computer Society Conference on. IEEE, 2009.
[12]Philipose, Matthai, et al.“Inferring activities from interactions with objects.” Pervasive Computing, IEEE 3.4 (2004): 50-57.
[8]Yuuki Nishiyama，et al. DALT:Detection Algorithm of Throwing form Changing to Prevent the Baseball Player ’s
Throwing Related Injuries PERVASIVE 2012 UbiHealth
[6]Botía, J.A.“Real Time Activity Recognition Using a Cell Phone’s Accelerometer and Wi-Fi.” Intelligent Environments;
Workshop Proceedings. IOS Press, 2012.
[13]Burke, J., Estrin, D., Hansen, M., Parker,A., Ramanathan, N., Reddy, S. and Srivastava, M.B.: Participatory sensing, SENSYS,ACM (2006)
[14]阿部 匡伸. ライフログ活用技術の動向と研究所の取り組み. NTT技術ジャーナル2010