空気を読む家のキッチン(3-1)

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウエアジャパン2019
協働プロジェクト『空気を読む家』
キッチンにおけるデータ収集
2019年02月05日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会リーダー荒本道隆

クラウド・テクノロジー活用部会のご紹介
■背景/活動目的
７年目は、特に音を使った機械学習を中心に、様々な技術について
「実際に触ってみる」を実践した。
８年目も、引き続き部会内勉強会や部会内ハンズオンの開催を継続しつつ、前
期の内容に加え、外部出力するためのロボットなど、さらに幅広いクラウド関連
の各要素技術の活用に挑戦する。
・測定（センシングなど）： Arduino,RaspberryPI を使ったセンシング
・収集（ネットワーク）：無線LAN, Bluetooth, 電子署名, セキュリティ
・蓄積（KVS, クラウドサービスの利用）： RDF, SPARQL, IaaS の利用
・分析（統計処理、オープンデータの利用、アルゴリズム）： R, 遺伝的アルゴリズ
ム, ディープラーニング
・出力（ビジュアライゼーション、外部操作）： R, D3.js, ロボット, ROS
これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使った
ことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを
使ったプロトシステムを開発し、運用を行う。
2

具体的な活動内容
• 月１回（13:30～17:30）のミーティング
• 情報交換（イベント、ニュース、その他）
• 東京都立産業技術研究センター
IoTテストベッド見学会
• 新しいサービスや面白い技術を触ってみる
• ROS(Robot Operating System)2
• 量子コンピュータ
• 書籍輪読
• 去年『仕事ではじめる機械学習』
• 今年『ゼロから作る Deep Learning ②』
• 気象庁XML取得APIを運用 http://api.aitc.jp/
– 運用期間を2021年8月まで延長
3

気象庁XMLの取得APIのアクセス数
4
REST API SPARQL WebSocket
年／月リクエスト数ユニークIP リクエスト数ユニークIP リクエスト数ユニークIP
2017/04 428,595 289 64 39 2,173 117
2017/05 452,716 441 100 40 923 155
2017/06 461,664 124 120 53 1,100 179
2017/07 485,524 139 205 54 1,743 164
2017/08 473,130 147 433 70 98,483 187
2017/09 487,245 582 503 62 79,967 191
2017/10 414,585 779 48 27 42,216 166
2017/11 302,232 558 67 30 1,552 148
2017/12 253,900 431 53 27 546 112
2018/01 349,202 265 32 28 758 162
2018/02 341,489 348 225 32 534 134
2018/03 388,140 294 77 22 1,580 148
2018/04 357,686 328 18 17 418 128
2018/05 368,571 460 39 26 369 108
2018/06 343,283 477 49 36 521 116
2018/07 257,046 351 55 35 463 103
2018/08 247,556 379 51 37 1,921 109
2018/09 290,163 319 29 24 504 128
2018/10 797,226 329 24 20 970 115
2018/11 1,742,973 843 59 15 200 106
2018/12 1,262,362 577 26 18 499 118
2019/01 154,889 469 45 21 521 123

キッチンにおけるデータ収集
冷蔵庫編

やりたいこと
• 今回の『空気を読む家』のテーマ
• ビール：冷えている物があと何本？ → 在庫管理
• プリン：賞味期限切れを通知 → 期限管理
• ジュース：外気温だと味が悪くなる → 品質管理
• 冷蔵庫の中にある物の在庫管理 → 在庫、期限
• 冷蔵庫の外に出ている時間を測る → 品質
• 今回は冷蔵庫にフォーカス
冷蔵庫を改造すると怒られそうなので、復元可能な範囲で
6

実現方法を検討－内蔵方式
• 冷蔵庫の中に設置
案１：BLEタグを対象物に付ける
案２：Arduino＋圧力センサ＋モバイルバッテリを設置
• 課題
• 冷蔵庫の中と外で通信できるのか？
• ダメなら、扉が開いている間のみ通信を行う仕組みが必要
• 外気温との温度差による結露
• リチウムイオンバッテリが濡れると、爆発の恐れが？
• 動作温度
• 電池やバッテリは、一般的に5度を下回ると良くない
• 冷蔵室の中は、約3～6度
7

実現方法を検討－観測方式
• 冷蔵庫の外に設置
• カメラを冷蔵庫上部に設置し、内部を撮影する
• 物体認識で、何がどこにあるか把握
• 課題
• 扉が開いている間しか、撮影できない
• どうやって「扉が開いている」を知るか？
• ARマーカー or 画像 or e.t.c....
• 後ろに隠れた物は、分からない
• カメラ設置に、家族の賛同が得られるか？
• 冷蔵庫の近くは、カメラに映る危険がある
• 冷蔵庫を開けると、確実にカメラに映ってしまう
8

• 検証方法
• 冷蔵庫内にBLEタグを設置
• 外のRaspberyPi3で測定
• 検証結果
• 冷蔵庫の外からでも、問題なく中の電波が取れた
• 冷蔵庫の外：-40～-75
• 冷蔵庫の中：-60～-80
• 冷蔵庫の奥と、扉のポケットで、強さが違う
• BLEタグの向きが変わっただけでも、強さが大きく変わった
• 映画の影響で、「冷蔵庫は小さな電波暗室」と思い込んでいた
• 昔の冷蔵庫は磁石が付くので、電波が届かないかも
課題：冷蔵庫の中と外で通信できるか？
9
BLEタグを
外に出した
範囲が重なっている

• 構成
• 対象物にBLEタグを付ける
• 上に載せる、もしくは、輪ゴムで止める
• 基準用に、常に冷蔵庫内に１つ置く
• 外のRaspberry Pi3で、電波強度を測定する
• クラウドに測定した電波強度を送る
• 懸念点
• BLEタグが１個1,500円する
• どんなに高価なプリンにつけても、勿体ない
• 温度・加速度センサと合わせて、ワインなどを管理
冷蔵庫の中に設置：案１を実装
10
クラウド

データ量
• BLEタグのビーコンの電波強度を全て記録
• タグ数：4個／1軒あたり
• 間隔：約２秒（かなりバラバラ）
• 値の範囲：-35 ～ -105
• 通信量
• 2秒ごと、4個のBLEタグの電波強度をクラウドに送信
• 一番手軽なHTTPを利用したので、ムダが多い
• 「自宅＝Internet使い放題」の場合が多いはず
• 削減方法
• 「状態が変化した時」だけ通知する
• 軽量なプロトコル（MQTTなど）にする
11

データ蓄積量
• レンタルサーバ上のRDB（MySQL）に格納
• 今回は、小規模な実験で必要な性能で良しとする
• 実測値：7日間ｘ 1軒ｘ 4タグで、約100万レコード
• つまり、1分1タグあたり25レコード
• RDBを使用しているので
• 時間が経つと蓄積量が多くなり、参照や挿入が遅くなる
• NoSQLも検討した方が良いが、今回は対象外とした
• 発表当日の状態
• 17日間動かして、550万レコード
12

受信した電波強度－１
• 扉を閉じている状態
• ４つのBLEタグを冷蔵庫の中に置いた
• -55～-90 の間を変動している
13

• 扉を開けて、BLEタグを１つ外へ出した
• 開けた瞬間だけ、値が大きくなる
• 注意：短時間だと、扉を開けた事が分からないかも
受信した電波強度－２
14
扉を開けた
BLEタグを
外に出した

• 冷蔵庫の扉の開閉
• 開：基準タグが -50 を超えた → 見逃しあり
• 閉：一定時間、基準タグが -50 を超えなかった → 遅延あり
• 対象物の位置
• 出：対象タグが -50 を超えて、扉が「閉」状態 → 遅延あり
• 入：一定時間、対象タグが -50 を超えなかった → 遅延あり
判定方法
15
10秒で、たまに誤判定
20秒で、ほぼ誤判定しない理想
現実

• 30分間、対象タグを外に出した場合
• 最初の2分間
判定方法検証－１
16
扉を開けた
誤判定した
とても小さい値も
たまに出る
「外」と判定

• 30分間、対象タグを外に出した場合
• 最後の2分間
判定方法検証－２
17
仕舞った
扉を開けたことを
見逃した

実装について
• Raspberry Pi3側は awk で実装
• btmon（BLEモニタ）コマンドの出力をawkに流し込む
• awk で、77Step を記述
• クラウドへの送信は、awk内からcurl コマンドを実行
• HTTPを使って送信
• DNS参照が何故か毎回遅いので、/etc/hosts にIPを記述
• サーバ側は php で実装
• 以前に作成したIoT用の可視化ツールを流用
• ２軒ｘ４タグｘ２秒周期で、性能上は問題ナシ
18

空間OSとの連携
• 状態が変化したら、空間OSに通知する
• 冷蔵庫の扉：閉、開
• プリン1の位置：入、出
• HTTPを使って送信
• curl コマンドを叩くだけ
19

部会メンバによる実験の様子
• 花粉症対策で、ヨーグルトを１日１個必ず食べる
• ヨーグルトが無いと、BLEタグを冷蔵庫の上へ置く
20

• 夜にヨーグルトを食べている
• 2/1 はタグ無しのヨーグルトを食べた
• グラフ通り、残ヨーグルトは１個（本人に確認済み）
部会メンバによる実験の結果
21
スタート
ble2を
食べた
ble4を
食べた

• 扉の開閉で、電波強度の変化が少ない冷蔵庫もあった
• BLEタグ、Raspberry Pi3、使用しているソフトウエアは同じ
• 基準タグの変化量が、非常に少ない
やってみて分かった事
22
我が家の冷蔵庫
Uさん宅の冷蔵庫
物を取り出したのに、
それらしい記録がない

感想
23
• ログを取っておくと、何かに使えるかも
• 朝、冷蔵庫を開ける習慣があるなら
→ 気温と、起床時刻との相関
→ 体重と、冷凍庫の開閉回数との相関
• 今回は、電子工作が一切不要だった
• 機器を買うだけなので、ハードルが低い
• BLEタグを見分けるためのシールを貼った
• BLEタグの電波をどこまで信じられるか？
• 一方的に電波を出し、上下幅がかなりあり、判定が難しい
• 基準に複数のBLEタグを使うことで、誤差を減らせる
• 4つで0.5秒周期相当
1

http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター
AITC クラウド活用部会への参加、
お待ちしてます

空気を読む家のキッチン(3-1)

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie 空気を読む家のキッチン(3-1)

Ähnlich wie 空気を読む家のキッチン(3-1) (20)

Mehr von aitc_jp

Mehr von aitc_jp (20)

空気を読む家のキッチン(3-1)