空気を読む家のキッチン(3-2)

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
協働プロジェクト『空気を読む家』 
キッチンにおけるデータ収集（２）
2019年2月5日
先端IT活用推進コンソーシアム
ナチュラルユーザーインターフェース活用部会リーダー
岡村和英(株式会社テクリエ)

Today’s Topics

3
NUI活⽤部会のとりくみ
キッチンにおけるデータ収集
今後の取り組み

4

活動テーマ
⼈の⾃然な振る舞いや仕草を
ユーザーインターフェースとする
ナチュラルユーザーインタフェース
（NUI）を追求
様々なデバイスを実際に使⽤したり
プロトタイプの開発を通して
現時点での限界や可能性を探求
5

ゴール
協働プロジェクト「空気を読む家」
のなかで
⽇常的な⼈間の振る舞いが
⾃然なインターフェースとして
システムと繋がるような
フレームワークを検討・開発する
6

活動内容
NUI技術及び事例の調査
勉強会・ハンズオンの開催
NUIデバイスを⽤いたアプリ試作
NUIフレームワークの検討・開発
7

活動内容
8
実際のデバイスに
触れてみたい

活動内容
9
もっと⾊々な⼈に
知ってもらいたい

デジタルガジェット祭り
10
各種デバイス、およびそれを利⽤したアプ
リケーション等を紹介・展⽰。最新デバイ
スを⾝近に触れる機会を提供。

11

12

活動内容
16

NUIを活⽤した乗⾞券販売機
17
TheEyeTribeTracker
視線を検出する
アイトラッキングセンサー
LeapMotion
指と⼿の動きを検出する
モーションセンサー

18

活動内容
19

20
空間OS
訪問者情報
在宅状況
室温
状態
取得
Hueブリッジ照明
制御
来客の通知
・知⼈、宅配便など
→ ⼈がいる部屋の電灯を点滅
・セールスマン
→ 何もしない（無視）
来客だよ！
アラート！
空間OSによる照明制御

21
在室状況
起床時刻
睡眠度
起床制御
07:30
2 of 9
在室
起床時間にはちょっと
早いけど、睡眠が浅いから
環境⾳楽と優しい照明で
ゆっくりと起こし始めよう
空気を読む家における起床
空間OS
状態取得
睡眠レベルや起床すべき時刻に基
づいて、起きやすい状態の時に⽬
覚めを誘う
超指向性スピーカーで狙った
ところに⾳を届ける

ログファイル
睡眠環境データの収集
22
約0.5秒毎に温度や光
量などのデータを測
定し、送信
受信したデータを10秒単位
に集計。平均値（⾳量のみ
最⼤値）をplotlyに送信し、
リアルアイムでグラフ描画
受信したデータを逐次、
⽇毎のログファイルに保存
クラウド部会の
データ解析担当者に提出

23

冷蔵庫の奥で
忘れ去られているモノ
ありませんか？

検討過程は
荒本さんの資料に
詳しいので省略

重さ（＝圧⼒）で
モノの有無を判定する

システム構成
27
•  冷蔵庫の棚を想定した
板の４隅の裏側に感圧
センサーを取り付ける
•  冷蔵庫内のESP32 (M5
Stack) からBLEで測定
データを送信する
•  冷蔵庫外のRaspberry Pi
でデータを受信し、
WebSocketサーバーへ
転送する
•  WebSocketクライアン
トへデータを通知する

冷蔵庫に
電気機器を⼊れて
⼤丈夫？

今回はあくまで
コンセプト検証が⽬的

冷蔵庫の機能として
実現される想定なので
センサー部以外は
庫内には⼊らないはず

実装⽅法
31
•  ESP32側はArduino開発環境で実装
–  MicroPythonがBLEに対応していなかった！！
–  ADコンバーター経由でセンサーの出⼒電圧を取得
–  BLEのAdvertiseパケットで測定データをブロードキャ
スト送信
•  RaspberryPi側はpythonで実装
–  Pybluezパッケージを⽤いてAdvertiseパケットを受信
–  フォーマットが⼀致するデータのみを抽出
–  JSON形式に変換、時刻情報や発信元BDアドレスなど
を付与してローカルホスト上のWebSocketサーバーへ
送信
–  WebSocketサーバーは受け取ったデータを全クライア
ントに通知するだけ

実装⽅法（続き）
32
•  WebSocketクライアントとはJavaScriptで実装
–  今⽇は mac & chrome で実⾏
–  受信した測定データを蓄積＆解析
•  モノが置かれた、取り除かれたの判定
•  置かれた／取り除かれた場所を推測
•  置かれた／取り除かれたモノを推測
–  Highchartsでグラフ表⽰
–  Three.jsで圧⼒分布をビジュアライズ

デモ

34
BLEで送信されたデータをJSON化
データ値を電圧に変換
電圧からセンサーの
コンダクタンス値を算出
ざっくり300のべき乗で
⾮線形化

35
質量に変換
質量の変化を検出
圧⼒を視覚化
⻘＜＜＜⻩
置かれたモノ、
置かれた場所を推測

36
この辺にビール⽸が置かれたみたいだよ？
２つのセンサーが
⼤きく変化

37
この辺に２本めのビール⽸が置かれたよ？
１つのセンサーが
⼤きく変化

38
この辺にあったビール⽸が取り除かれたよ？
２つのセンサーが
⼤きく変化

感想
39
•  圧⼒のかかり具合が均等化できない！
–  ちょっとした歪みが⾼さの違い＝ガタツキとなって
しまう
–  センサー⾯との間にボルト＋ナットを挟むことで微
調整したものの、、、
–  結果として、重さの偏り（＝位置情報）の精度が低
くなってしまった
•  抵抗値から圧⼒値への変換がうまくできなった！
–  重さが増える（圧⼒が⾼くなる）ほど、抵抗値の変
化が少なくなる
–  センサーのデータシートにグラフデータとして掲載
されてはいるけど、数式や換算表に落とし込めな
かった
–  いちおうそれっぽい感じの式を作ってみたけど期待
する値には程遠かった
–  結果として、モノの判定の精度が低くなってしまっ
た

でも
⼀番の問題は、、、

感圧センサーが
届いたのが
先週の⾦曜⽇
（＝４⽇前）

とにかく
時間がなかった！

43

今回システムの改良
44
•  データ測定点の追加
– センサーをつけた⼩さいパネルを敷き詰めて
みたい
– 位置情報の精度は⾼まりそうだが、設置⾯の
ばらつきがより⼤きくなるのでは？
•  機械学習的な⼿法によるデータ補正
– 設置精度を⾼めるよりも、誤差があることを
前提として補正を⾏ってはどうか？
– ある決まったものを繰り返し置くことでキャ
リブレーションすればいいのでは？
– センサーデータ→圧⼒値→重さの変換も機械
学習で賄う！

空気を読む家とNUI
•  空気を読む家＝ユーザーインターフェー
スを必要としない家？
– 空気を読む＝オートメーションとは限らない
– ⾃動化がすすんでも明⽰的な操作が必要とさ
れる場⾯は存在する
– その時々に応じて必要・適正な操作を促し、
導くことも空気を読んでいるといえるのでは
ないか？
45

最新情報は
こちらをご参照ください
http://aitc.jp
https://www.facebook.com/aitc.jp
ハルミン
AITC⾮公式イメージキャラクター

空気を読む家のキッチン(3-2)

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (6)

Ähnlich wie 空気を読む家のキッチン(3-2)

Ähnlich wie 空気を読む家のキッチン(3-2) (20)

Mehr von aitc_jp

Mehr von aitc_jp (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (9)

空気を読む家のキッチン(3-2)