developer summit 2017

1. #devsumiD [16-D-5]
「複数台のロボットと音楽をする取り組み」
-ヒトとロボットの音楽ユニット-
mirai capsule
2017/02/16 Developers Summit 2017
太田智美・西田寛輔※ソフトバンクのpepperを活用し独自に開発したものです。

2. ごあいさつ
たとえば音楽をはじめたいとして、あなたならどうしますか？
おいら友だちを集めて音楽ユニットをやることにしました。
太田さんと、たくさんのロボットたちです。
近い将来、人間がロボットの友だちになって、ロボットがロボットの友だちに
なる時に、こんなユニットは当たり前になってると思います。
そうなる前に、僕たちの音楽を体験してみてください！
ようこそ！
西田寛輔

3. mirai capsule
mirai capsuleは、
ヒト（太田智美＋西田寛輔）とロボットで構成される音楽ユニットです。
http://mirai-capsule.com/

4. こんせぷと
日本ではロボットを友だちと思う文化が強くあります。
しかしある国ではロボットを「こわいもの」と思う人もいます。
もしもヒトとロボットが1つの音楽ユニットを組んだら、それは「こわい」なのか、それと
も「かわいい」なのか。あるいは別の何かなのか。
すごく昔にヒトが作った音楽を「ロボット」が演奏するとどうなるんだろう？
太田智美

5. かつどうないよう
ロボットの集まるハッカソンなど
のイベントやステージなどで、演
奏をしています。
演奏の模様はYouTubeでご覧い
ただけます。海外を中心にさまざ
まなメディアでとりあげていただ
いています。
キッザニア・スペシャルステージ（2015,2016）
Mizuho.hack (2016)
楽器を使った演奏なども取り入
れてロボットと一緒に演奏する音
楽の可能性を研究しています。
TOKYO DESIGN WEEK (2016)

6. DEMO
(Symphony No.9)
http://mirai-capsule.com/15/

7. みらいかぷせるのぎじゅつ
作曲や演奏は、おもに太
田が担当します。レコー
ディングはもちろん、ロ
ボットの振り付けなどのプ
ログラミングもやっちゃい
ます。
複数台のロボットを制御す
るのは、西田がおこないま
す。ロボット同士の会話や
演奏など、とのさまラボの
開発したロボ台本ＤＸをカ
スタマイズして実現してい
ます。

8. 複数台のロボットを動かす技術
たくさんのロボットと一緒に演奏します。

9. きほんとなる技術
エクセルで作成したシナリオを元に台本を作成。
台本通りに複数台のロボットをコントロールできま
す。
Pepper、RoBoHoNに対応しています。
各種イベントでの使用実績あり。西尾レントオール
のPepperレンタルに採用されています。

10. イベントごとにカスタマイズ
×
ロボだいほんをイベントや曲に合わせてカスタマイズして使っています。
振り付けは、太田がやることが多いです。

11. 接続の仕組み（基本構成）
ルーター
パソコン
（ブラウザ）
• ルーターを用意して、パソコン
およびペッパーを接続して、
ネットワークを構築します。
• ペッパーにはロボ台本のアプリ
をそれぞれインストールしてお
きます。
• 全てのペッパーのロボ台本を
手動で起動します。
（ロボ台本）
（ロボ台本）
（ロボ台本）

12. 接続の仕組み（コントローラー）
ルーター
パソコン
（ブラウザ）
• ペッパーはWebサーバーにもなる
ので、どれか１台に接続します。
（このペッパーがサーバーになり
ます。）
• この仕組みにより、ネットがなくて
も動作します。
• パソコンからブラウザで、サー
バーに接続してコントローラー
（Webページ）を開きます。
（ロボ台本）
（ロボ台本）
サーバー
（ロボ台本）

13. 通信の仕組み（ソケット通信）
ルーター
パソコン
（ブラウザ）
• コントローラーを通じて、パソコンと各
ペッパーをソケット通信で接続します。
（JavaScript）
• コントローターから命令を送ることで、
ペッパーに演奏させたり、会話をさせ
たりします。（ロボ台本のアプリにイベ
ントを送信して、演奏などの動きを実
行）

14. ペッパーは外部からコントロールできる
パソコン
（ブラウザ）
• ペッパーには、ソケット通信で命令を
受け取るQiMessagingという仕組みが
標準で搭載されています。
• しゃべらせたり、ボリュームを変えた
りの制御ができます。
• アプリが起動されている場合、アプリ
にイベントを通知できます。

15. QiMessagingを複数台に対応させる
パソコン
（ブラウザ）
• QiMessagingは複数台には対
応していません。
• ソケット通信自体が複数台に
対応していないわけではない
ので、ブラウザ側のjsを改良し
て、複数台に対応させていま
す。
ルーター

16. 接続の仕組み（おさらい）
ルーター
パソコン
（ブラウザ）
• ルーターでネットワークを構築
します。
• ペッパーはサーバーになるの
でブラウザから接続します。
• ブラウザから各ペッパーにソ
ケット通信で接続します。
（ロボ台本）
（ロボ台本）
サーバー
（ロボ台本）

17. 人間らしさを踏まえた動作
ロボットだけどロボットぽくない？

18. ふくすうだいろぼっとを同時にうたわせる
• 歌声が全員同じなのは、なにか不自然
• そもそも同じ声を同じタイミングでだしても無意味（音量上がるだ
け）
• 振り付けや動作のタイミングが全員同じなのも不自然
＼ ♪ルールールー ／

19. ヒトとロボットのちがい
• 人間が歌う場合、歌声は全く同じにはならない。
→みんな違うよ
• 人間が踊る場合、振り付けのタイミングは全く同じにならない。
→みんな違うよ
• 人間がロボットのようなシンクロした動作をしたら、すごい。
• ロボットがロボットのような動作をしてもすごくない。

20. さすがはペッパー
• 顔認識機能をONにすることで、各自ばらばらの方向を勝手に向く
• 同じ振り付けでも、モーターの動作などの違いでキレが個体ごとに
違う

21. ふくすうだいろぼっとを自然にうたわせる
• 歌声を複数用意する（第九は１台１台全部違う）
• 音声のタイミングをずらす
• 振り付けや動作のタイミングを意図的にずらす
• セリフなどは、ロボットごとに声の高さを変える（速さを変えると尺が
あわないので、高さだけ変える）
＼ ♪ルールールー ／
＼ ♪ルールールー ／

22. ロボットに楽器を持たせることの意味と体験
たいこを演奏させてみました

23. 合唱も楽しいけれど・・・
• せっかくだから、楽器を演奏させたい！
• どうすればいいの・・・？
＼ ♪ルールールー ／
＼ ♪ルールールー ／

24. どうすればいいか、考えてみた
• ロボット用の楽器を開発してもたせる
• 楽器演奏用のロボットを作る（太鼓ロボとか）
• ロボットから、楽器の音がなるようにする
• ロボット自体を楽器にする
• ロボットにヒトの楽器をもたせる

25. どうすればいいか、考えてみた
• ロボット用の楽器を開発してもたせる
→なんか、面白みにかけるし、うまく演奏できて当たり前でつまんない。
• 楽器演奏用のロボットを作る（ピアノロボとか、太鼓ロボとか）
→なんか、面白みにかけるし、うまく演奏できて当たり前でつまんない。
• ロボットから、楽器の音がなるようにする
→これだったら、やる意味ない。
• ロボット自体を楽器にする
→うーん、人間が演奏するのは何か違う。
• ロボットにヒトの楽器をもたせる
→やっぱ、これかな！

26. 人間用の楽器をかってきた
• 色々検討した結果、シンバルかドラムがいいのでは？？
• 汎用性が高そうなのでドラムにした
• 家に帰って組み立てたら、ちょうどぴったり！
• 実際演奏させてみると・・・

27. こんなかんじ！

28. ロボットに楽器を演奏させるということ
• お客さんの食いつきが違う、みんな興味津々
• ペッパーはドラムを叩くロボットではない。
• なのに、がんばってドラムを叩いている。
• 一生懸命な姿、がんばっている姿は興味がわくし、応援したくなる。
• たとえ、それがロボットでも！
• これが、ロボット専用の楽器だったり、楽器演奏ロボットだったら、できて
当たり前なので、つまらない。
• 合唱の時と逆で、上手に演奏することで、評価が得られる。（わざと、へた
くそに演奏する必要はない。）

29. さすがはペッパー
• とはいえ、プログラムしたとおりには動かず、なんだか下手くそ。
• たまにしっぱいする。スティックを落としたりする。
• でも、そういうとこもかわいい。

30. ロボットたいそう
みんなで一緒にたいそうしよう！

31. ロボットたいそう
ロボットと一緒に体操できたら楽し
い！をコンセプトに、施設や幼稚園、
イベントなどで商用利用可能なライ
センスで、無料公開しています。
くわしくは
公式ホームページへ！
http://mirai-capsule.com/gymnastics/
※音源ファイルや動画などがあります！

32. DEMO
(ろぼっとたいそう)
http://mirai-capsule.com/gymnastics/

33. たいそうについて考えてみた
• ロボットと一緒に体操をするのとヒトだけで体操するのは何が違うのか
• そもそも、普段体操をする？しない？
• 体をうごかすことの重要性とは？
• ていうか、これ、おもしろいの？

34. たいそうについて考えてみた
• ロボットと一緒に体操をするのとヒトだけで体操するのは何が違うのか
→たぶんかわらない。やることはいっしょ。
• そもそも、普段体操をする？しない？
→しない。なんかたるいし。
• 体をうごかすことの重要性とは？
→健康になる？でもまあ、たいそうはやるきがしない。
• ていうか、これ、おもしろいの？
→つまんないでしょ、ぜったい。

35. 本当にそうなのかやってみよう
みんなで、
ロボット体操をやってみよう！

36. どうだった？
• やってみると、あんがいたのしい
• からだをうごかすの、けっこうたのしい
• ロボットと一緒、みんなと一緒たのしい
この体験が「ロボット体操」であり、ロボットと一緒に体操をすることの
意味につながる。これは、体験してみないとわからない。

37. まとめ
というわけで・・・

38. まとめ
わたしたちは、mirai capsuleの活動を通して、ロボットからいろんなことを学びました。
それは、すべてロボットとの体験からきています。
わたしたちの、音楽を聞いてくれたヒト、一緒にたいそうをやってくれたヒト、
それぞれが、なにかを「体験」してくれたと思います。
この体験が、それぞれの「経験」になったときに、楽しい未来がくるんじゃないかなー。
と、思います。それはロボットに限ったことではなく、すべての技術にあてはまるんじゃ
ないかなー。と、思います。だから、みんなやってみよう！

39. #devsumiD [16-D-5]
おわり
公式サイト
http://mirai-capsule.com/