講演者：谷口 彰 (立命館大) 発表タイトル：確率的生成モデルに基づくロボットの場所概念形成と語彙獲得 概要：位置情報・言語情報・画像情報といったマルチモーダル情報から，ロボットが場所概念（場所のカテゴリ）や場所に関する語彙を獲得・活用する一連の研究について紹介する。 https://sites.google.com/view/language-and-robotics/#h.aisb1vgpr7de

1. 確率的生成モデルに基づく
ロボットの場所概念形成と語彙獲得
立命館大学
情報理工学部
講師 谷口 彰
第8回 Language and Robotics研究会
(2022/10/10) 講演
1

2. 自己紹介
氏名： 谷口 彰 職位：講師
所属： 立命館大学 情報理工学部 創発システム研究室
略歴
 2013年 3月 立命館大学 情報理工学部 知能情報学科 卒業 学士（工学）
 2015年 3月 立命館大学大学院 情報理工学研究科 博士前期課程 修了 修士（工学）
 2018年 3月 立命館大学大学院 情報理工学研究科 博士後期課程 修了 博士（工学）
 2015年 5月～2017年 3月 立命館大学 総合科学技術研究機構 リサーチアシスタント
 2016年 4月～2016年 7月 Visiting research student, Centre for Robotics and Neural Systems
Research Group, Plymouth University, U.K.
 2017年 4月～2019年 3月 日本学術振興会 特別研究員 (DC2, PD)
 2019年 4月～2022年 3月 立命館大学 情報理工学部 特任助教
 2022年 4月～ 立命館大学 情報理工学部 講師
主な研究テーマ：「確率的生成モデルに基づくロボットによる場所概念および語彙の獲得」
 位置情報・言語情報・画像情報といったマルチモーダル情報から，教師なし機械学習手法により
場所概念（場所のカテゴリ）や場所に関する語彙の獲得を目指す研究．
 記号創発ロボティクス・機械学習・知能ロボット 2

3. 目次
1. SpCoSLAM 1.0/2.0
1. グラフィカルモデル
2. オンライン学習
2. SpCoNavi
1. Control as Inferenceの導入によるパスプランニング
3. SpCoTMHP
1. トポロジカルマップと階層的プランニング
4. SpCoAE
1. 能動探索による学習
5. この他の場所概念の研究
6. まとめ・今後の展望
7. おまけ（時間があれば紹介）
1. HF-PGM：海馬体を参照した確率的生成モデル
2. 音声言語の二重分節解析を担う確率的生成モデル
QA用slido
https://app.sli.do/event/74BFGELpd
K5L8TmdPopc1k
3

4. １．ノンパラメトリックベイズモデルとSLAMの
統合による地図と場所概念の逐次学習
２．場所概念と地図と言語モデルのスケーラブル
なオンライン学習
SpCoSLAM
• Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, and Tetsunari Inamura,
"Online Spatial Concept and Lexical Acquisition with Simultaneous Localization and
Mapping", IROS2017, pp.811-818, Sep, 2017. [IEEE Xplore] [arXiv] [video] [Slide]
• Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, and Tetsunari Inamura,
"Improved and Scalable Online Learning of Spatial Concepts and Language Models
with Mapping”, Autonomous Robots, 44(6), 927-946, 2020. [LINK]
4

5. 研究背景
• 人間の様々な生活環境で動作するロボットは，未知環境において
適応的に場所概念（場所のカテゴリ知識）や語彙を学習すること
が求められる．
– 対象の範囲が明確ではなく，環境や人によって異なる場所概念を事前に
人手で設計することは難しい．
– ロボットが自らの経験を元に自律的に概念を形成する必要がある．
このあたり？
“きっちん”
“だいどころ”
“おかって”
視覚情報
（場所の画像特徴）
音声言語（場所の名前）
位置分布（空間的な広がり）
マルチモーダル情報に基づく場所概念
5

6. 研究目的
未知な環境においてロボットが周囲の環境情報および発話音声から
地図と場所概念と語彙を逐次的に獲得
6

7. SpCoSLAM [Taniguchi 17]
マルチモーダル情報に基づくノンパラメトリックベイズモデルとSimultaneous Localization
And Mapping (SLAM) 、語彙獲得の統合モデル
[Taniguchi 17] Taniguchi, A., et al. : Online Spatial Concept and Lexical Acquisition with Simultaneous Localization and Mapping, IEEE/RSJ IROS, pp. 811-818 (2017)
地図
位置分布
(ガウス分布)
自己位置推定
1

t
x

xt

xt 1
t
z
t
u
t
C
t
i

l
 

0
0,
m
0
0,
V
1

t
z
1

t
u
1

t
z
1

t
u

LM
t
y
AM
t
S

l

t
f 
∞
∞
m
l
W
k

k

SLAM
場所
画像
単語
音声認識・語彙獲得
マルチモーダル
カテゴリゼーション “Third table”
“Meeting space”
7

8. 場所概念のオンライン学習
• 未知環境下からの地図・場所概念・語彙の逐次学習が可能
– Rao-Blackwellized Particle Filter に基づくオンライン学習アルゴリズムをSpCoSLAMの
確率的生成モデルに適用
[Taniguchi 20] Taniguchi, A., et al. : "Improved and Scalable Online Learning of Spatial Concepts and Language Models with Mapping",
Autonomous Robots, 44(6), 927-946, 2020.
8

9. SpCoSLAMのオンライン学習
• FastSLAM
• SpCoSLAM
自己位置 地図 制御値 計測値
場所概念の隠れ変数
場所概念のパラメータ
ハイパーパラメータ
言語モデル
音響モデル
音声情報
画像情報
言語モデル更新 パラメータ更新
Rao-Blackwellized
particle filter (RBPF)
9

10. オンラインアルゴリズムの導出 2.0
• 時刻tにおける重点重み
重み𝜔𝑡 =
目標分布
提案分布
前時刻の重み
画像特徴の周辺尤度
分割単語の周辺尤度
Sampling Importance Resampling (SIR)
位置分布の周辺尤度で重み付された潜在変数の周辺尤度
Fast SLAMの重み
サンプリングの計算で
既に計算済み 10

11. オンラインアルゴリズムの導出
• Particle filterの時刻tにおける提案分布
前時刻t-1の言語モデルを用いたWFST音声認識（音節ラティス）
と音声認識結果を用いた教師なし単語分割によって近似する
FastSLAM
の提案分布 隠れ変数𝑖𝑡, 𝐶𝑡のパラメータΘに対する周辺分布
WFST音声認識
教師なし単語分割
WFST：Weighted Finite-State Transducer 11

12. G. Neubigらの音声認識ラティス（単語グラフ）の教師なし形態素解析手法
音節認識のゆらぎを抑える効果について
Graham Neubig, Masato Mimura, and Tatsuya Kawahara. Bayesian learning of a language model from
continuous speech. IEICE TRANSACTIONS on Information and Systems, Vol. 95, No. 2, pp. 614-625, 2012.
“ゆらぎ”とは … 発話音声全体を通して、同じ単語として発話した部分の
認識結果が個々の発話によっては異なっているような状態
ラティス（単語グラフ）：音節認識結果の多くの候補をコンパクトに表現できる
発話文「ここはそうはつけんです」 1-best：ここわそはつけんせ
2-best：こごわそふぁつけんせ
す
3-best：ここわそうはつけんで
・・・
N-best認識結果
認識されたラティスの例
ｓ こ
こ
ご
わ
そ
し
ふぁ
う
は
つ け ん
せ
で す
は
/
ｓ
12

13. [81] Graham Neubig, Masato Mimura, and Tatsuya Kawahara. Bayesian learning of a language
model from continuous speech. IEICE TRANSACTIONS on Information and Systems, Vol. 95, No. 2,
音声認識ラティス（単語グラフ）の教師なし単語分割
音節認識のゆらぎを抑える効果について
ｓ こ
こ
ご
わ
そ
し
ふ
ぁ
う
は
つ け ん
せ
で す
は
/
ｓ
発話文「ここはそうはつけんです」
発話文「そうはつけんはここだよ」
ｓ
こ
こ
ご
ろ
そ
ふ
ぁ
き
ゅ
は
つ
け ん
で
だ
よ
わ /
ｓ
発話文「そうはつけんだよ」
ｓ
う よ
そ
ふ
ぁ
き
ゅ
は
つ
け
ん
だ
で ろ
/
ｓ
1-best：ここわそはつけんせ
1-best：そふぁつけわごこだよ
1-best：そうふぁつきゅんでよ
1-bestのように認識結果を一つに決定し用いるのではなく、ラティスを用いるこ
とによって音声認識のあいまいさを保ったまま単語分割が行える 13

14. 相互推定の流れ
※初期の言語モデルは日本語音節のみ
O1,1 O1,2 O1,3
O2,1 O2,2 O2,3
O1,4
単
語
列
の
選
択
・
更
新
“このばしょはし
ろいたな”
“ここはてれびま
えだよ”
てびまえ
おおきなたな
しろいたの
発話教示 音声 認識ラティス 単語列
場所概念獲得
言語モデル
日本語音節
＋
選択された単語列
音
声
認
識
単
語
分
割 O1,1 O1,2 O1,3
O2,1 O2,2 O2,3
O1,4
複数候補
14

15. 地図と場所概念と語彙の逐次学習
ステップごとの学習の様子
◦ 地図上に位置分布をプロットした
◦ 各位置分布に対して推定された語彙の確率上位3単語
15

16. まとめ
• 場所概念獲得と地図生成を同時に逐次的に行う推論アルゴリズム
を構築
– Rao-Blackwellized Particle Filtersに基づくFastSLAMのアルゴリズムを
拡張した
• SpCoSLAM 2.0 オンライン学習アルゴリズムを提案
– データ数の増加に対し精度を保ちつつスケーラブルな学習が可能
• 事前に語彙を持たないロボットによる新規な環境上でのオンライ
ン場所概念獲得の実験
– 地図と場所概念の逐次的な学習が可能であることを示した
– 位置予測・名前予測のタスクにおいて有効性を示した
16

17. 場所概念を用いた確率推論に基づく音声命令からのパスプランニング
• SpCoNavi：確率的生成モデルに基づく音声命令からの経路計画
– Control as probabilistic inference（確率推論による制御）に基づく軌道の確率
推論
– 音声発話命令 𝑦𝑡をゴールシグナルを表す観測変数であるとみなす
• ロボットが自律的に獲得した場所の概念・語彙を活用
• ゴールとして地図上の座標点を指定する必要がなく、人の音声命令から目的地までの
ナビゲーションが可能
Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, and Tetsunari Inamura, "Spatial Concept-Based Navigation with Human Speech Instructions via
Probabilistic Inference on Bayesian Generative Model." Advanced Robotics, Vol. 34, No.19, pp.1213-1228, Sep, 2020. [LINK] [arXiv]
17

18. Reinforcement Learning and Control as Probabilistic Inference [Levine 18]
事後分布 𝑝(𝜏|𝑜1:𝑇) における最大事後確率の推論がプランニング問題に対応する．
𝒪𝑡 = 1のとき最適であることを表す．
報酬関数
𝒪𝑡の生成過程
状態遷移確率（ダイナミクス） 累積報酬
[Levine 18] Levine, S.: Reinforcement Learning and Control as Probabilistic Inference: Tutorial and
Review, arXiv preprint arXiv:1805.00909 (2018)
＋ optimality variables
グラフィカルモデル
行動と状態遷移
行動 𝑎𝑡 と状態 𝑠𝑡 の遷移を表すグラフィカルモデルに
最適であることを表すバイナリ変数 𝒪𝑡 を導入する．
最適な軌道分布
軌道：𝜏 = {𝑠1:𝑇, 𝑎1:𝑇}
計画区間：𝑇
(Planning Horizon)
18

19. 提案手法：SpCoNavi
SpCoSLAMの確率的生成モデルに基づく音声命令からの軌道の確率推論
音声発話命令 𝑦𝑡をゴールシグナルを表す観測変数であるとみなす．
環境の各状態ごとに動的計画法に基づくViterbi algorithmによって，
確率値を計算し，軌道 (Viterbi path) の推定を行う．
← 軌道の確率分布
音声命令 軌道
学習済み
パラメータ
状態遷移確率 コストマップ
単語の出力確率 事前確率
位置分布 位置分布の事前確率
19

20. Control as inference [Levine 18]
強化学習との関係性
◦ 確率的生成モデル上の推論として、
いくつかの強化学習のアルゴリズムが導出できる
[Levine 18] Levine, S.: Reinforcement Learning and Control as Probabilistic Inference: Tutorial and
Review, arXiv preprint arXiv:1805.00909 (2018)
方策関数
報酬関数
SpCoNaviにおいては ← 軌道の確率分布
報酬関数
20

21. 実験結果（𝑇＝300）
" ** にいって"と発話したときの出力確率（カラーマップ）と軌道（赤色）
共有席
教員研究室
休憩所
場所概念の
学習結果
ｓ
21

22. まとめ
• 音声命令からの経路計画をControl as inferenceに基づく確率推論
として定式化
• 自律的に獲得された場所概念を用いたパスプランニングを実現
• 今後の課題
– リアルタイムなナビゲーションのための計算量の削減法の検討
– 場所概念形成とのシームレスな統合
22
本研究の一部は，JST AIP-PRISM JPMJCR18ZC，JST CREST JPMJCR15E3，JSPS 科研費
JP17J07842，JP16H06561，JP16K12497 の助成を受けたものである．

23. Spatial Concept-based Topometric Semantic Mapping for
Hierarchical Path-planning from Speech Instructions
(Preprint)
https://arxiv.org/abs/2203.10820
23
Hierarchical spatial representation
provides a mutually understandable
form for humans and robots to
render language-based navigation
tasks feasible.

24. 1

t
x

xt

xt 1
e
C
e
i

LM
e
y AM
e
S

l

e
f 
𝐿
l
W
t
z
t
u
1

t
z
1

t
u 1

t
z
1

t
u
m
t
o
1
t
o  1
t
o 
0
0,
m
0
0,
V
k

k

T
o
E
C
E
i
E
y
E
S
E
f
T
z
T
u
T
x
l
 
k
 
𝐾
 
Hidden semi-Markov model
(Topological level)
𝑖𝑒: Index of place
𝑓𝑒: Image feature
𝑆𝑒: Words
Speech recognition
Word segmentation
Multimodal mixture model
(Semantic level)
𝑂𝑡: Event-driven
variable
𝑢𝑡: Action variable
𝑦𝑒: Speech signal
𝑧𝑡: Depth sensor data
Simultaneous localization
and mapping (SLAM)
(Metric level)
SpCoTMHP: spatial concept-based topometric semantic mapping for
hierarchical path planning
24

25. CaIに基づく階層的パスプランニング
事前計算可能
場所の切り替わりがガウス平均（付近）だと仮定
𝑖1:𝐸に対する総和をargmaxに置き換える
トポロジカルマップ上での最大化問題になる
真面目に解くと
計算量が膨大に
なる
25

26. Experiment I: Result
Semantic map Environment
26

27. Experiment II: 実験結果
Normalized mutual information (NMI) and adjusted Rand index (ARI) are the most widely used in clustering
tasks for unsupervised learning. 27

28. Experiment II: 実験結果
28

29. CONCLUSIONS
• We realized topometric semantic mapping and hierarchical
path planning
– with place-transition patterns based on multimodal observations by
robots.
• The navigation experiment using human speech instruction
– showed that the proposed path planning improves the performance
and reduces the calculation cost compared with conventional
methods.
29

30. 環境の能動的な探索による
効率的な場所概念の形成
Efficient Spatial Concept Formation
by Active Exploration of the
Environment
30

31. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
このあたり？
“きっちん”
“だいどころ”
“おかって”
視覚情報
（場所の画像特徴）
音声言語（場所の名前）
位置分布（空間的な広がり）
 人間の生活環境で動作するロボットは，周囲の環境や人とのインタラ
クションから自律的に場所概念（場所のカテゴリ知識）を形成するこ
とが求められる．
• 環境へ適応させるための，人手による学習用データの収集は負担となる．
• 効率的に場所概念を形成するため，能動的な探索により場所に関する情報を得る
ことが重要である．
研究背景
マルチモーダル情報に基づく場所概念
31

32. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 We aim to improve the efficiency of place concept formation by autonomous active search
of mobile robots．
• Reducing the workload of users
• Improving learning accuracy by searching to reduce uncertainty
 Active exploration of robots
• Decide where to ask for the name of the place and move to that position
Purpose
“tv” “sofa”
“entrance”
“kitchen”
32

33. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 場所概念形成の確率的生成モデルにおいて，パーティクルフィルタよる
オンライン学習と情報利得(Information Gain; IG) 最大化に基づく能動
的な探索を組み合わせた能動学習手法 SpCoAE を提案
SpCoAE：
移動先決定
移動
マルチモーダル
情報の収集
場所概念の
オンライン学習
ロボットによる
能動的な探索
ロボットの位置
＋
ユーザによる
名前の発話
Spatial Concept Formation with
Information Gain-based Active Exploration
IGが最大となる探索候補点を選択
オンライン学習による場所概念の形成
観測する位置の選択
“This place is
living room.”
Word
information
Position
information
𝑥, 𝑦 = (1.8, −2.0)
能動的な探索による場所概念形成の流れ
この場所の名前を
教えてください
33

34. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 最終ステップの分布と次のステップの分布の KLダイバージェンスを最小化する観測
点𝑎∗を推定する問題として定式化
𝑎∗
= minimize
𝑎
KL 𝑝 Θ, 𝐶1:𝑁, 𝑖1:𝑁 𝑥1:𝑁, 𝑆1:𝑁, ℎ , 𝑝 Θ, 𝐶1:𝑁, 𝑖1:𝑁 𝑥𝑛0∪𝑎, 𝑆𝑛0∪𝑎, ℎ
 しかし，真の 𝑥1:𝑁, 𝑆1:𝑁 も 𝑥𝑛0∪𝑎, 𝑆𝑛0∪𝑎 も，次の点に移動する前には観測できないため，
上式の期待値を計算する．
SpCoAE：能動探索・移動先の決定方法
最終ステップ 次のステップ
𝑎∗
𝑛0：既に観測された候補点番号の集合
34

35. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 式変形すると，次のステップの分布と現在のステップの分布のKLダイバージェンス
の期待値の最大化（つまり，IGの最大化）となる．
𝑎∗
= argmax
𝑎
𝔼 KL 𝑝 Θ, 𝐶1:𝑁, 𝑖1:𝑁 𝑥𝑛0∪𝑎, 𝑆𝑛0∪𝑎, ℎ , 𝑝 Θ, 𝐶1:𝑁, 𝑖1:𝑁 𝑥𝑛0
, 𝑆𝑛0
, ℎ
= argmax
𝑎
IG Θ, 𝐶1:𝑁, 𝑖1:𝑁; 𝑥𝑎, 𝑆𝑎 𝑥𝑛0
, 𝑆𝑛0
 点𝑎で観測されるであろう単語𝑺𝒂を疑似観測としてサンプリングすることでIGを近似
計算
SpCoAE：能動探索・移動先の決定方法
現在のステップ
次のステップ
𝑎
𝑎 𝑎
𝑎
𝑎∗
35

36. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 手法ごとの学習結果の一例
Experimental result (Example)
SpCoAE
Random IG min
Ground Truth
※手法ごとに色はランダムに決定
36

37. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 ARI (Step-by-step)：観測済みステップの推定値のみを評価
• 例： 𝑛 = 6ステップ目まで観測 (0 ≤ 𝑛 < 𝑁)
真のクラスタリング結果 [0, 0, 1, 1, 2, 2]
推定結果 [0, 0, 3, 3, 2, 2]
実験結果（実験環境５）
𝑛
全体的にSpCoAEが他の手法に対して上回っている
 各ステップにおいて，より正確に場所概念を学習できるような移動先を選択
できている
Index 𝑖 の結果
Index 𝐶 の結果
37

38. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 ARI (Predictive padding)：観測済みステップの推定値＋最終ステップまでの予測値で評価
• 例： 𝑛 = 6ステップ目まで観測 (0 ≤ 𝑛 < 𝑁)
真のクラスタリング結果 [0, 0, 1, 1, 2, 2, 4, 5, 1, 2, 2, …, 4]
推定結果 [0, 0, 3, 3, 2, 2, 0, 1, 3, 2, 2, …, 0]
実験結果（実験環境５）
𝑛 𝑁
未観測ステップを予測分布から
のサンプリングにより穴埋め
Index 𝑖 の結果
Index 𝐶 の結果
途中のステップまではSpCoAEがRandomにやや劣るが，後半ステップではSpCoAEが最高値
 環境全体を素早く網羅する点においては Random が有効であるが，
より正確な場所概念を学習する点においては SpCoAE が有効である
38

39. ｚｚｚｚｚｚｚｚｚｚｚｚｚｚｚ
 まとめ
• ロボットによる場所概念のオンライン学習において，Information
Gainの最大化に基づいた能動的な探索手法SpCoAEを提案した．
• より正確な場所概念の形成を行えるという意味において，能動的な
探索の有効性を示した．
 今後の課題・展望
• SpCoSLAMへの適用
• 画像情報も含めた場所概念の学習
• SLAMと統合し，地図生成も同時に行う手法への拡張
まとめ・今後の展望
39

40. 創発システム研究室での取り組み：事例紹介
場所概念に基づくセマンティックマッピング
場所概念に基づく曖昧な命令からの推論
場所概念の学習と他の環境への転移
ロボットの内部知識の可視化 40

41. これまでの研究：動画の関連文献
• SpCoSLAM：場所概念のオンライン学習
– Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, and Tetsunari Inamura, "Online Spatial Concept and Lexical Acquisition
with Simultaneous Localization and Mapping", IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2017),
pp.811-818, Sep, 2017.
– Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, and Tetsunari Inamura, "Improved and Scalable Online Learning of
Spatial Concepts and Language Models with Mapping", Autonomous Robots, 44(6), 927-946, Feb. 2020.
• 場所概念に基づく曖昧な命令からの推論
– Shota Isobe, Akira Taniguchi, Yoshinobu Hagiwara, and Tadahiro Taniguchi, "Learning Relationships between Objects and Places
by Multimodal Spatial Concept with Bag of Objects", International Conference on Social Robotics (ICSR), pp.115-125, Nov, 2017.
• ロボットの内部知識の可視化
– L. El Hafi, S. Isobe, Y. Tabuchi, Y. Katsumata, H. Nakamura, T. Fukui, T. Matsuo, G. A. Garcia Ricardez, M. Yamamoto, A. Taniguchi,
Y. Hagiwara, and T. Taniguchi, "System for Augmented Human-Robot Interaction Through Mixed Reality and Robot Training by
Non-Experts in Customer Service Environments", Advanced Robotics, Vol. 34, No. 3, Feb. 2020.
• 場所概念に基づくセマンティックマッピング
– Yuki Katsumata, Akira Taniguchi, Yoshinobu Hagiwara, and Tadahiro Taniguchi, "Semantic Mapping Based on Spatial Concepts for
Grounding Words Related to Places in Daily Environments", Frontiers in Robotics and AI, Vol. 6, No. 31, 2019.
– Y. Katsumata, A. Taniguchi, L. El Hafi, Y. Hagiwara, and T. Taniguchi, "SpCoMapGAN: Spatial Concept Formation-based Semantic
Mapping with Generative Adversarial Networks", IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2020),
pp. 1-8, Online, Oct. 2020.
• 場所概念の学習と他の環境への転移
– Yoshinobu Hagiwara, Keishiro Taguchi, Satoshi Ishibushi, Akira Taniguchi, Tadahiro Taniguchi, "Hierarchical Bayesian Model for the
Transfer of Knowledge on Spatial Concepts based on Multimodal Information", (Accepted to Advanced Robotics), 2021.
動画コンテンツ
• https://youtube.com/playlist?list=PLau2XPzh0eZnjO9a22RehimVt5gn1j_Lx
• https://youtube.com/playlist?list=PLDyf5Cyt8JrMgJhd8JetvNDSNvnBDOI_J
• https://emlab.jimdofree.com/multimedia/ 41

42. まとめ・今後の展望
• 場所概念形成・語彙獲得に関する一連の研究について紹介
• 確率的生成モデルにより、学習・行動・タスク実行を確率推論として
表現可能
– サンプリング、Control as inference、情報利得最大化
• 言語と結びつけた上で、さまざまなタスクへ応用可能な汎用的な知識
獲得が重要
– Cross-modal inference
• 今後の展望・課題
– 人とロボットの（もっと幅広い自由な）言語的インタラクション
• 教えているのか、命令なのかの区別
• ロボットによる様々な質問
• 指差しやジェスチャーなどの活用、指示語の理解
– 常識的知識・大規模言語モデルの活用
• いかにその環境独自のローカルな知識と繋ぐか
• 新語・未知語への対応
https://youtu.be/UBgZGRG00eA 42