全日本CV勉強会で使われた資料です。コンピュータビジョンによるインタラクションをした話を書いております。

1. インタラクションのための
コンピュータビジョンのお仕事
CyberAgent AI Lab 尾崎安範

2. インタラクションのための
コンピュータビジョンとはなにか︖

3. インタラクションとは︖
• ユーザとシステムが相互に影響を及ぼし合う現象

4. そのためのコンピュータビジョンとは︖
• ユーザの状態を⾮接触に認識するための主な技術

5. それを⽣業としている⼈がこちら
• 尾崎安範 (Yasunori OZAKI)
サイバーエージェント 研究員 兼
⼤阪⼤学 招聘研究員 兼
⼤阪⼤学 ⽯⿊研究室 社会⼈博⼠２年⽣
← NTT研（開発寄り） 研究員
← 東⼤ 情報理⼯
最近やっていること
ロボットとインタラクションするための研究開発
@alfredplpl

6. 例えば、どんなお仕事があるのか
• 歩⾏者を認識できる⾃律型ロボットでお店へ誘導（岡藤先⽣との共同研究）
• 歩⾏者を認識できる⾃律型ロボットで都知事をおもてなし（岡藤先⽣との共同実験）

7. ロボットでお店へ誘導
• ロボットの前に⽌まってもらったあと、お店（めんたいパーク）にて⽔に交換できる
クーポン券を発⾏して、お店へ誘導する
[1] Okafuji et al., "Please Listen to Me: How to Make Passersby Stop by a Humanoid Robot in a Shopping Mall", HRI 2020 LBR
[2] https://www.cyberagent.co.jp/news/detail/id=23420
[2]より引⽤
[1]より引⽤

8. お店へ誘導する様⼦
• 近くにいる⼈に対して、挨拶したり、困ってみせたり、ダンスして⾒させたりする

9. 誘導するためのセンサシステム
• 視野⾓220度奥⾏き4m以内にいる⼈を測定できるセンサシステムを作成
５つのRealSense D415をコンピュータに接続
[3] Okafuji et al., “Behavioral assessment of a humanoid robot when attracting pedestrians in a mall”, arXiv
[3]より引⽤

10. 誘導するための認識システム
• ５つのセンサから受け取ったカラー画像や深度画像を５つの画像認識 エンジンで処理。
• その後、５つの処理結果を１つの結果になるように統合している
センサシステム
仮想マシン
画像認識エンジン ROS
ROS
仮想マシン
画像認識エンジン ROS
画像認識エンジン
年齢、性別、
三次元⾻格など
[3]より引⽤

11. お店へ誘導した結果
• 困っている⾏動が⼀番誘導できた
でも、これ詐欺っぽいよね・・・
[1]より引⽤

12. 都知事をお・も・て・な・し
• Tokyo Robot Collection 2019という夏祭りのイベントでたこ焼きロボットの宣伝をした
• その様⼦を⼩池都知事が視察した

13. 都知事をおもてなしできなかった
• しかし、センサシステムにトラブルが⽣じ、都知事を本番で認識してくれなかった。
“「たこ焼き、くださいな」。⼩池⽒は注⽂に即座に
対応できないコミュニケーションロボットにも顔を
近づけて優しく接した。時間がたってから「話しか
けて」などとねだるのを聞き「すねているわね」と
改めて近づいていき「たこ焼き⾷べました」と話し
かけていた。”[3]
[3] "夜の東京でロボ実験、⼩池都知事が視察 調理や運搬", ⽇本経済新聞電⼦版, 2019

14. まとめ
• インタラクションのためのコンピュータビジョンのお話をした
⼈⽣うまく⾏くときもあれば、うまく⾏かない時もあるよ︕
• ⼀緒に働いてくれる博⼠インターンシップの⽅を募集中だよ
研究テーマ「通⾏⼈の状態認識モデルを⽤いた新しいサイネージ広告の研究開発」など
• ⼀緒に働いてくれるリサーチサイエンティストの⼈も募集中だよ
博⼠インターンシップ リサーチサイエンティスト