Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウエアジャパン2021
協働プロジェクト『空気を読む家』
ドコでナニしている？
～ 空間OSとフィジカルの連携 ～
2021年02月03日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会 リーダー 荒本道隆

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
やりたいこと
・ドコでナニしてる？ を知る
・自宅の中で → 一般家庭で導入可能な価格、大きさ
・寝起き直後の人が → パジャマ姿、寝ぐせアリ、化粧ナシ
・どこにいるか？ → どの部屋の、どこに居るか
・何をしているか？ → カメラで姿勢検出するなら、プライバシーに配慮
・どうする を示唆する
・トイレや寝室に移動 → 各部屋にデバイスを設置
・やる事が多い → 手を塞がないよう、音（音楽、音声）や光でお知らせ
状況を選曲やテンポや色で伝える
本当にヤバイ時は、音声で伝える
付加機能で、ニュースの読み上げ（非常に余裕がある朝）
2
バーチャルとリアルの橋渡し

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
もう１つのテーマ
・これまでのITフォーラムの成果を活用しよう
・2016年：『空気を読む家』におけるデータ解析
寝室：Webカメラ、人判定、寝ているか？
https://www.slideshare.net/aitc_jp/201624-os-57987229
・2017年：『空気を読む家』におけるデータ解析
寝室：センサ、環境データを0.5秒周期で記録、データを可視化
https://www.slideshare.net/aitc_jp/2017it-forum-aitc4
・2018年：『空気を読む家』におけるオブジェクト認識技術
リビング：ラズパイ＋Webカメラ、重さで物を見つける
https://www.slideshare.net/aitc_jp/2018-it4
・2019年：キッチンにおけるデータ収集
キッチン：ラズパイ＋BLEタグ、電波強度を測定、冷蔵庫のドアの開閉
https://www.slideshare.net/aitc_jp/31-133093969
・2020年：室内を画像処理で把握
実家：姿勢検出、物体検出、サーモグラフィ
https://www.slideshare.net/aitc_jp/it2020-aitc4
3

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2016年：寝室：人判定、寝ているか？
4

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2017年：寝室：環境データを0.5秒周期で記録
5

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2018年：リビング：重さで物を見つける
6

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2019年：キッチン：電波強度を測定
7

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
2020年：実家：姿勢検出、物体検出、ｻｰﾓｸﾞﾗﾌｨ
8

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
・実現方法
・BLEタグ → 電波強度で「近い」「遠い」「とても遠い」が分かる
・TWELITE CUE → 電波強度で「近い」「遠い」「とても遠い」が分かる
・Webカメラ → 姿勢検出で人が居るか分かる。細かい位置まで分かる
設置する部屋を制限する
ドコで？
9
電波を
出す
電波を出す
加速度計
電波を受信
空間OS
色＆点滅
電波強度から距離を推測
人検出
姿勢検出

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
リビング
・実現方法
・BLEタグ → どこにいるか、何の近くにいるかで推測
・TWELITE → どこにいるか、何の近くにいるかで推測
・Webカメラ →細かい位置と、姿勢検出で「立つ」「座る」「寝る」
キッチン トイレ
ナニをしている？
10
お風呂
寝室
姿勢検出
リビングの電波が一番強い
→ リビングに居る
座っている
→ 朝食を食べている

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
キッチン
リビング
・実現方法
・音（音楽） → 選曲とテンポで状況を伝える。近く音量Up、他は音量Down
・音（音声） → インフメーションやニュースを読み上げる
・光（照明） → 色と点滅で「急げ」を伝える
どうする
11
トイレ
お風呂
寝室
姿勢検出
音量ゼロ

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
こうなる
12

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
・寝起きなのでデバイスを身に付けたくない
・スリッパにタグ（6.5g）を２つ付ける
・安価にシステムを構築したい
・ラズパイとUSBデバイス → 合計約2万円ｘ3
・スピーカーはそこそこ良いものにする
システム構成
13
空間OS
タグ＆
加速度計
BLEタグ
USBカメラ
ラズパイ
タグ親機
USBスピーカー
どの部屋に居るか
部屋内の位置
立つ／座る／寝る
曲、音量、テンポ
読み上げテキスト

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
電波強度から部屋を推定
・３ヵ所のラズパイで電波強度を測定し、一番電波が強い部屋に居る
・動いていなくても、電波強度はブレる
・加速度が変化しなければ、「人は動いていない」で補正する
・動いていない間の平均値を算出
・遮蔽物があると、電波が弱くなる
・スリッパの上に、ほぼ水平に配置
14
2019年：

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
室内で姿勢検出をやってみたー１
・カメラを設置する位置を工夫する
15

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
室内で姿勢検出をやってみたー２
・人が居る状態
16

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
室内で姿勢検出をやってみたー３
・真横から撮れば、頭の位置で「立つ」「座る」は判定できそう
・カメラを２つにすれば、より正確な位置が出せそう（X軸、Y軸）
17

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
姿勢検出速度に不満がある場合
・ラズパイ４で0.3FPS程度
・３秒間隔でしか検出できない
・他の処理が重くなってしまう
・NVIDIA Jetson Xavier/Nano に置換すれば、高速化
・全て Linux なので、移行し易い
18
2020年：

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
自宅内にカメラを常時設置できるのか？
・キッチンにカメラを置くのは、家族に猛反対されるかも
・寝起き姿でウロウロするから
・サーモグラフィ（低解像度）なら、許してもらえる？
• Lepton 3.5（サーモグラフィ）（合計約５万円）
• 解像度：160x120
• 測定温度：-10～140℃（-10～400℃）
• 温度の分解能：0.05℃
• 高解像度なものは、購入時に手続き（BIS-711）が必要
19
ドアを開ける人 買いたての缶コーヒー：55度 コンロの火：400度以上

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
音＆光による通知について
・全てのラズパイで、同時に曲の再生を開始する
・一番近いラズパイだけ音量Up、それ以外は音量ゼロ
家族が別の部屋でまだ寝ていても、迷惑にならない
・人が部屋を移動したら、それぞれ音量を変化させる
曲の途中で部屋を移動したときに、切り替えをスムーズにするため
・テンポの変更
ダウンロード → 速度変換処理 → 再生
・テキストの読み上げ
・全てのラズパイで読み上げると、一番近いラズパイから聞こえる
・「Open JTalk」で、漢字まじりの文章を読み上げる
・光による通知
・電球の代わりに、色を指定できるLED電球に交換
20

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
クラウド・テクノロジー活用部会のまとめ
・この５年間で、さまざまな蓄積ができた
・今回は、残念ながらデモ無し
・2021年夏の発表に向けて、これから実装＆実証実験を開始
・新規の技術＆アイデアも検索中
・技術以外の課題が、色々と出てきそう
・どこまでカメラを設置できるか？
・同じ部屋の中で複数人が同時に動いたら？
・別の部屋に人が居る場合は、どうする？
・未検討部分
・オープンデータの活用方法
・バスの時刻表、現在位置
・電車の遅延情報
・天気予報／現在の天気
・桜の開花状況
21

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター
最新情報は、
こちらをご参照ください