3-2)『空気を読む家』とメタバース駆動開発構想

2. 2 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家のコンセプト •CC 機械学習 •DeepLearninｇ • ： •時系列DB •RDF •SPARQL • ： •家電 •住宅設備 •ロボット • ： •センサー •カメラ •マイク • ： • 感情や状況の取得 • 家の中だけではなく、家の外の出来事も含めたコンテキストセンシング • 行動を分析し、居心地の良さを定義する • 何をすると居心地が良くなるか • 居心地が良くなる空間 OS •標準的データ形式 •データ永続性 •セキュリティ •分散台帳型

3. 3 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. これまでの取り組み俯瞰 2015 2016 2017 2018 2019 1st 玄関 2nd 寝室 3rd 寝室 (シナリオ) 3rd 寝室 (実証実験) 4th リビング (シナリオ) 4th リビング (実証実験) 5th キッチン (シナリオ) 5th キッチン (実証実験) 快適な目覚め密度の濃い睡眠来客通知不在時清掃失くし物/忘れ物賞味期限切れ課題集合知適正解/ 妥協点協調フィルタリング人と機械の協働空間OS ロボット掃除機パラメトリックスピーカーメーターOCR 圧力センサー温度センサー気圧センサー ‘(活動量計）スマートスピーカートゥールミン・モデル BLEタグ(電波強度) RaspberyPi3 安心安全 2020 6th 家全体 (実証実験) 7th 家全体 (実証実験) 2021

4. 4 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. これまでの取り組み俯瞰 2015 2016 2017 2018 2019 1st 玄関 2nd 寝室 3rd 寝室 (シナリオ) 3rd 寝室 (実証実験) 4th リビング (シナリオ) 4th リビング (実証実験) 5th キッチン (シナリオ) 5th キッチン (実証実験) 快適な目覚め密度の濃い睡眠来客通知不在時清掃失くし物/忘れ物賞味期限切れ課題集合知適正解/ 妥協点協調フィルタリング人と機械の協働空間OS ロボット掃除機パラメトリックスピーカーメーターOCR 圧力センサー温度センサー気圧センサー ‘(活動量計）スマートスピーカートゥールミン・モデル BLEタグ(電波強度) RaspberyPi3 安心安全 2020 6th 家全体 (実証実験) 7th 家全体 (実証実験) 2021 まずはバーチャル空間と空間OSを用いた、あるいは意識した実証である 6番目と7番目の実証についてご紹介します 6番目：空間OSを介したリアル・バーチャル連携 7番目：空間OSのエージェント連携をバーチャルでシミュレーション

7. 7 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. ITフォーラム2020デモ構成カメラサーモグラフィスマート照明ハンドトラッキングセンサバーチャル空間のレンダリング裸眼立体視ディスプレイ AWS上の空間OS シングルボードコンピュータノートPC 姿勢推定AI 物体検出AI リアル空間バーチャル空間姿勢（ポーズ情報、立位臥位）モノの存在室温照明ONOFF

11. 11 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. シナリオの実装イメージ目標：出発の時間までできるだけ家で快適な行動をできるように「空気を読んで」支援する – リアル・バーチャルの連携 – エージェント連携 – カームテクノロジー ※ 本実証はシミュレーションの一部まで検証

12. 12 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. ITフォーラム2021 モデリングと実装 Unity & AI Planner バーチャル空間でシミュレーションリアル空間のセンシング・ディスプレイ位置検知、姿勢検知、音楽 ※空間OSでの実際のデータ連携は未実装ドメイン、タスク、コンテキスト朝の行動の知識構造をモデリング

15. 15 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 実証を通じて見えてきたもの • 知見 • マンガ駆動開発による作るものの可視化と価値観の共有 • 空間OSによるリアル・バーチャル連携開発の役割分担（実装、テストの生産性UP!) • バーチャル空間を用いた可視化、シミュレーションのよさ（パっと見てわかりやすい） • 課題 • 高速に仮説検証を回せない（シナリオの仮説検証があっているかはデモが完成したとき） • 現実の空間を用意することの困難さ（常設で検証できる環境の用意は特に困難） • 各種センサーやディスプレイの調達コスト及びリードタイム • デモで検証できる価値も検証の参加者も限定的（本来想定していた状況とは乖離がある） • 実証を通じてデータの蓄積ができていないため、データを元にした改善ができていない。 • バーチャル空間の価値を引き出せてはいない（基本的に見るだけ） →バーチャル空間を中心としたの開発の可能性

17. 17 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 現状の開発の流れ（マンガ駆動開発とデモ実装）実世界課題空気を読む家スタジオデモ環境（物理）解決案（マンガで表現）空気を読む家スタジオあるべき姿と現状の整理アプローチの検討実装検証・フィードバック（できてない）アクター INPUT OUTPUT 空気を読む家スタジオ課題解決案（マンガで表現）空気を読む家スタジオデモ環境（物理）実世界

18. 18 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 現状の問題点実世界課題空気を読む家スタジオデモ環境（物理）解決案（マンガで表現）空気を読む家スタジオあるべき姿と現状の整理アプローチの検討実装検証・フィードバック（できてない）アクター INPUT OUTPUT 空気を読む家スタジオ課題解決案（マンガで表現）空気を読む家スタジオデモ環境（物理）実世界本当に解決すべき課題かわからない本当に適切なアプローチかわからない実装と実世界にはギャップが多い。。。プロジェクト参加者が多様とはいえない実世界へのフィードバックの道のりは遠い。。。

19. 19 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. メタバース思考とは： • 観察によるユーザーのモデル化でなく、自らユーザーに変身して思考 • 想像したサービス・社会制度を体験可能な形で社会実験、課題を洗い出す • アウトプットは物理世界だけでなくメタバースを前提としてもよい • 物理法則でなく、心理・認知科学的知見が制約条件（参考）デザイン思考：デザイナーの発想法をベースとした手法。フィールドワークでユーザーモデルを構築、プロトタイプで検証ＳＦ思考(ＳＦプロトタイピング) ：ＳＦ作家の思考法と未来学が源流。予想外の未来社会を考え、課題を想定し、バックキャストで開発を行う。引用:東京大学稲見先生「メタバース思考～創造と交流を加速する「もしもボックス」～」メタバース思考

20. 20 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. メタバースメタバースについては様々な定義があるが、ここではメタバースを3D空間のあるコミュニケーション・プラットフォームとして扱う。メタバースは以下の4つの特徴をもつ ① 3次元のシミュレーション空間（環境）を持つ。 ② 自己投射性のためのオブジェクト（アバタ）が存在する。 ③ 複数のアバタが、同一の3次元空間を共有することができる。 ④ 空間内に、オブジェクト（アイテム）を創造することができる。（バーチャルリアリティ学 7.2.1 サイバースペースとコミュニケーション） 3D空間アバタメタバース仮想環境

21. 21 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. メタバースでの検証の導入実世界課題空気を読む家スタジオ解決案（マンガで表現）空気を読む家スタジオあるべき姿と現状の整理アプローチの検討メタバースに実装、検証実世界へ実装、フィードバックアクター INPUT OUTPUT 空気を読む家スタジオ課題解決案（マンガで表現）空気を読む家スタジオ実世界検証環境（メタバース）検証環境（メタバース）次の課題へ課題、解決案実装の修正物理的な実装前に「体験」することで早めの検証、改善

22. 22 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心とした空気を読む家メタバース駆動開発構想 ①ユースケース、アイデアの空間OSのコンテキスト、バーチャルエージェント化物理空間での生活バーチャル空気を読む家バーチャルなエージェント ②体験可能な検証環境としてバーチャル空間化 ③繰り返し検証、モデル・エージェント改善 ④検証したモデルをリアルで実装、リアルのコンテキストをフィードバックし改善最初はできることが小さくても。。空間OSの成長とともに、より「空気を読む家」にバーチャル空気を読む家もまた成長

23. 23 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. メタバース駆動開発の必要性 • 家の中はある意味最小の社会であり、年齢、性別の異なる家族で構成 • 家は日常の多くを過ごす空間であり、各自の要求は複雑 • 家を中心として、さまざまなステークホルダーもまた存在（ご近所、市町村、etc.) → 特定の専門家のみではなく、多様な参加者による多様な視点の反映が可能な開発にする必要性

24. 24 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. メタバース駆動開発のメリット（環境面） • 物理的制約の緩和 • リアルでは困難な状況設定もメタバースなら可能（再現、統制可能な環境） • 前提となる環境を3Dデータを元に構築 • 検証したい介入条件（エージェント）もバーチャルに定義 • オンラインで参加、体験可能（様々な形の参加が可能に） • よりデータを活用した開発 • 体験の状況を記録、分析可能 • データを元に体験の状況を簡単に再現可能 • データを蓄積し、エージェントのふるまい改善 Virtual Living Lab (稲見自在化身体プロジェクト)

25. 25 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. メタバース駆動開発のメリット（アバタを通じた体験）状況に合わせてアバタを変えることで体験やコミュニケーションが変化 • アバタによって空間に対する感覚が変わる。 • アバタによって創造性も変わる • アバタによってコミュニケーションも変わる [3] Ichino et al. 2022 [2] Buisine et al. 2020 [1] Banakou et al. 2013 [1] Banakou D, Groten R, Slater M. Illusory ownership of a virtual child body causes overestimation of object sizes and implicit attitude changes. Proc Natl Acad Sci USA. 2013 Jul 30;110(31):12846-51. [2] Buisine, S., & Guegan, J. (2020). Proteus vs. social identity effects on virtual brainstorming. Behaviour & Information Technology, 39(5), 594–606. [3] Ichino et al.. 2022. "I've talked without intending to": Self-disclosure and Reciprocity via Embodied Avatar. Proc. ACM Hum.-Comput. Interact. 6, CSCW2, Article 482, 2022, 23 pages.

26. 26 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. メタバース駆動開発に向けた課題 • 空間OSのデータ表現、データ構造とメタバース（3D環境）への相互変換： • GLTF, USD, VRM等のまずは静的な3Dデータの取り込みから • システムアーキテクチャの標準化：モジュラーなメタバース構築フレームワーク • OpenXR, VRTK, Mozilla Hubs, Microsoft Mesh等、どこまで採用？ • 開発コミュニティの形成： • OSS, Web3(DAO)の考え方を応用 • 検証環境の準備コスト：メタバースのコンテンツ作成コストが高い問題 • 3D空間の作成, インタラクティブなオブジェクト・エージェントの定義, etc. → 画像生成AI, 3Dモデル生成AI, 自然言語処理AIの更なる発展に期待 VirtualCollaboBase

27. 27 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心とした空気を読む家メタバース駆動開発を通じて、 • メタバースを活用したリアルとバーチャル連携の価値の創出 • 人と人、人とエージェントが協働しやすい情報空間についての設計・実装 • オープンなコミュニティでの開発、検証実現したいこと

28. 28 Copyright © 2023 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. • 空間OSにおける空間の構造、人間（ユーザ）に関する基礎的なデータモデル検討 • メタバース的には3D空間の構造、アバタに関するデータモデル • 空間OSのデータをUnityで活用するためのツール開発（OSS） • 空間OS to Unity ドライバ、コンパイラ • 空間OS SDK for Unity 今後にむけて 3D空間アバタ

3-2)『空気を読む家』とメタバース駆動開発構想

Du liest eine Vorschau.

Hier ansehen

3-2)『空気を読む家』とメタバース駆動開発構想

Weitere Verwandte Inhalte

Ähnlich wie 3-2)『空気を読む家』とメタバース駆動開発構想 (20)

Weitere von aitc_jp (20)

Aktuellste (20)