Tech-Circle Pepperハンズオン勉強会での発表資料です。 http://techcircle.connpass.com/event/16275/

1. Pepper meets
Machine Learning
Tech-Circle#7
2015/07/23 @Atelier-Akihabara
Koji Shiraishi @shiraco

2. TIS株式会社 戦略技術センター
白石康司
@shiraco
機械学習/自然言語処理/
対話技術/Pepper
Python/R/Ruby
自己紹介

3. TIS/戦略技術センター
IoT
Cloud
自然言語処理／対話技術／環境認識／ロボット
CPS／センサーデバイス／ドローン
クラウドオーケストレーション／SDN
AI
facebook（Tech-‐‑‒Sketch）
http://techcircle.connpass.com/
https://www.facebook.com/techsketch
技術勉強会（Tech-‐‑‒Circle）
SIerの研究開発部門

4. 本日の内容
• Pepperのプロフィール
• なぜPepperだったのか
• Pepperをどうするか
• Pepperアプリの開発方法
• ハンズオン

5. 今日のゴール
• PepperからWeb APIを活用できるようになる
• その結果、Pepperをクラウドにつないで、賢い対話アプリを
作れるようになる

6. 本編の前に

7. Softbank Robotics Corp. 2014 All rights reserved. 3
テーブル毎に
⾃自⼰己紹介
してみませんか？
※１⼈人30秒
・お名前
・所属
・本⽇日の勉強会に参加しようと思った理理由

8. About Pepper

9. 人間と対話して提案できるロボット
Pepper
ホテルのお客様への最適な旅行
プランを探してくれるPepperコ
ンシェルジュ
youtube
https://youtu.be/LmbT4W9odtQ
https://youtu.be/85ujkBJtKQk

10. Pepper概要（ハードウェア）
http://www.softbank.jp/robot/products/spec/

11. Why Pepper?

12. AIへの取り組み
特定ドメインで⼈人をサポートし、パートナーとして働くシステムを考察
質問応答によるサポート
薬剤師の代理理もしくは補助
として症状を聞き出しなが
ら薬の選択をサポートする
薬コンシェル
状況認識識による⽰示唆
会議診断⼠士「さゆり」
嗜好理理解による推薦
観光コンシェルジュ
会議中の参加者の表情認識識
から会議の状態の良良し悪し
を判定しアドバイスを⾏行行う
対話によりユーザの嗜好を
引き出しそれぞれにあった
観光コースを⾃自動⽣生成し、
推薦を⾏行行う

13. 対話の価値
• ユーザーが検索できないことを対話で導ける
• 体全体を使ってジェスチャーでユーザへ伝えられる
• 様々なセンサーを利用してテキスト以上の情報を取得できる

14. 対話の必要性
・ユーザーの、⾔言葉葉にはしにくい気分や感情といった雰囲気を汲み取れる
・対話を深めることにより、ユーザーの真に求めている欲求を把握できる
対話によって⽣生まれる価値
京都でわくわくできる場所
を探したいのに
居酒屋探してるわけじゃない
のになー
従来の検索索の問題点

15. 対話インターフェイスとしてのPepper
• 人型なので心理的に話しかけやすい
• 自律的に移動することができる
• 今後、広く普及する可能性が高い

16. http://ascii.jp/elem/000/001/020/1020941/

17. How to dialog doing?

18. Pepperを使った対話の事例
対話により相⼿手の嗜好を推定し、そ
れに合った観光ルートを提案する
単純な⾳音声対話だけでなく、画像な
ど複合的な要素で判断を⾏行行う。
対話による観光ルートの推薦

19. 人物の認識
• Pepperのカメラにより話者の属性（年齢・性別）を捉え
る
• 対話による表情の変化などを把握
• 過去にあったことがある人物か判定

20. 対話
• 話者に問いかけるべき内容を判断する
• 話者に自然言語で問いかける
• 話者が話しかけた内容を理解する

21. Pepperを機械学習で賢くする

22. 機械学習とは
⼈人間と同様、経験（データ）によって学習して賢くなるアルゴリズム
22
学習⽤用データ
機械学習アルゴリズム
特徴抽出
モデル化
未知データ
特徴抽出 推定
モデル
×
○
○
×
○
○
？ ？ ◯
モデル参照学習⽤用データ
未知データ
学習フェーズ
推定フェーズ
さらに継続的学習でアルゴリズムが成⻑⾧長する
教師あり学習の場合

23. ʻ‘ʼ’機械学習ʼ’ʼ’ で何ができるのか？
スパム検知
商品
レコメンデーション
医療療診断
クレジットカード
不不正検知
数字認識識
⾳音声認識識
形状検出
顔検出
私達の⾝身近な機械学習

24. 主な機械学習タスク（クラス分類、クラスタリング）
● ⼊入⼒力力データの中から何らかの共通の特徴をもつデータをまとめる
● 例例：顧客をクラスタリングし特徴的な共通点を⾒見見つけ適したマーケティングを実施、など
クラス分類
クラスタリング
● ⼊入⼒力力データをあらかじめ定められたクラスに分類する
● 例例：⾳音声認識識、⽂文字認識識、疾病判定、スパムメール判定、など
学習⽤用⼊入⼒力力データ モデル 推定結果
学習フェーズ 推定フェーズ
未知の⼊入⼒力力データ
？
⼊入⼒力力データ 推定結果
学習・推定フェーズ

25. Google Speech API
• 音声をテキストに変換するAPI（Speech To Text）
• 回数制限 : 50回/1日
https://console.developers.google.com/

26. ReKognition API
• 顔画像から属性を取得
• 年齢
• 性別
• 人種 etc.
• 回数制限 : 1,000call / 一ヶ月
https://rekognition.com

27. 音声認識API (Google Speech API)
画像認識API (ReKognition API)
Ʃ
ƫ
Pepper with Cloud
APIs

28. Pepper Development

29. Choreographeの基本
（復習）

30. Softbank Robotics Corp. 2014 All rights reserved. 8
Pepperを操るSDK
“Choregraphe”

31. Softbank Robotics Corp. 2014 All rights reserved.
Choregrapheとは
9
Boxを
ドラッグ&ドロップ
Boxをつなげる ペッパーが動く
ペッパーだよ
●ドラッグ&ドロップのみで簡単なロボアプリ開発が可能なSDK

32. Softbank Robotics Corp. 2014 All rights reserved.
ビュー
●初期設定で表⽰示されるビューは下記５つ
10
ボックス
ライブラリ
フロー
ダイアグラム
パネル
ポーズ
ライブラリプロジェクト
の内容
初期ビュー
ロボット
アプリ
ケーション

33. Softbank Robotics Corp. 2014 All rights reserved.
ビューの修正
●本⽇日使⽤用する”ロボットビュー”を表⽰示する
11
メニュー > 表⽰示
“ロボットビュー” を選択する
1
“ロボットビュー”をクリックする
2

34. Pythonボックスカスタマイズ

35. Pythonボックス
• 入力に対応したメソッドを
定義
• onInput_onStart(self, p)
• 入力変数の型を える
• 呼び出されたメソッド内で
出力シグナルを定義
• self.onStopped(p)
• 出力変数の型を える

36. ボックスとボックスライブラリの考え方

37. ボックスとボックスライブラリ
• ボックス
• Pepperアプリの処理の最小単位
• ボックスライブラリ
• ボックスをまとめて再配布でき
る単位にしたライブラリ
よしもとロボット研究所モーション効率化ライブラリ
http://pepper-atelier-akihabara.jp/archives/259

38. Tech−Circleボックス

39. techcircle_box
ハンズオンでつかうボックス
をまとめたライブラリ
• google speech to
text box
• rekognition box
https://github.com/shiraco/techcircle_box

40. Hands-on

41. Hands-on
http://bit.ly/tc0723
ハンズオンへのリンク
∼はじめに∼ Pepperに接続してみる
∼基本編A 対話基礎∼ Dialogを使ってPepperと対話してみる
∼基本編B 音声認識∼ Google Speech APIを使ってPepperにあなたの名前を知ってもらう
∼基本編C 画像認識∼ ReKognition APIを使ってPepperにあなたの見た目の印象を聞いてみる

42. Softbank Robotics Corp. 2014 All rights reserved.
ロボットに接続しよう
12
接続ボタンをクリックする
1
接続したいPepperを選択し、
“選択”をクリックする
2
（選択したいロボットがない場合は、）
IPアドレスを⼊入⼒力力し、”選択”をクリック
3

43. Softbank Robotics Corp. 2014 All rights reserved.
ロボット名とIPアドレスを確認する
13
胸のボタンを⼀一度度押すと、Pepperが話します
こんにちは、僕は”Pepper 51”です。
僕のIPアドレスは、”10.1.122.165”です。
ロボット名
IPアドレス

44. Hands-on A 対話の基本を抑える

45. ∼基本編A 対話基礎∼
Dialogを使ってPepperと対話してみる（所要時間目安: 15分）
① (復習) Speech Reco. + SayでPepperと対話してみる
② Dialogを使ってPepperからの質問に答えてみよう
http://qiita.com/shiraco/private/182a95873cd6f5274d9b
ここで学ぶこと！
・Pepperの機能としての対話の仕組みの理解

46. ① (復習) Speech Reco. + SayでPepperと対話してみる

47. ② Dialogを使ってPepperからの質問に答えてみよう

48. Let's Hands-on

49. (参考)Pepperは人間が喋った任意の言葉を認識できるか？
(参考)音声認識 - Pepperは人間が喋った任意の言葉を認識できるか？ - Qiita
http://qiita.com/songchongok/items/c4acde4320ef39128c87

50. Pepperを賢くできる
[Pepper 基本プラン | 料金 | ロボット | ソフトバンク]
(http://www.softbank.jp/robot/price/basic/)
Q: ［Pepper］クラウド音声認識エンジンは、利用できる上限回数を超えるとどうなりますか？
A: 一日の上限回数に達すると、高精度な認識機能に利用制限がかかります。
http://faq.mb.softbank.jp/detail.aspx?
cid=82718&id=e42493153726c6c43526c7a375365616936686c7553624650396c394a46355a6f70516e324e79576f36
78493d
デメリット
• お金がかかる(14,800円×36ヵ月/1台)
• Pepper以外で使えない
• 上限回数がある(Googleなどの音声認識APIでも上限はある)

51. Hands-on B 耳を研ぎ澄ませる

52. ∼基本編B 音声認識∼
Google Speech APIを使ってPepperにあなたの名前を知ってもらう（所要時間目安: 15分）
① Google Speech APIをターミナルから実行してみる
② Google Speech APIを使ってPepperにあなたの名前を確実に覚えてもらう
③ (おまけ) よしもとロボット研究所モーションボックスライブラリでPepperに動きを付
けてみよう
http://qiita.com/shiraco/private/460b9a6ce7c9426d6be3
ここで学ぶこと！
・PepperからWeb APIの呼び出し方の基本
・クラウドでの音声認識方法

53. ② Google Speech APIを使ってPepperにあなたの名前を確実に覚えてもらう

54. Let's Hands-on

55. Record Sound for Google STT ボックス

56. HTTP Google STT ボックス

57. Get Name ボックス

58. Hands-on C 心の目をひらく

59. ∼基本編C 画像認識∼
ReKognition APIを使ってPepperにあなたの見た目の印象を聞いてみる（所要時間目安: 20分）
① ReKognition APIをブラウザから体験してみる
② ReKognition APIをターミナルから実行してみる
③ Pepperにあなたの性別と年齢を聞いてみる
http://qiita.com/shiraco/private/9836048e30612bb96582
ここで学ぶこと！
・クラウドでの画像認識の方法

60. ③ Pepperにあなたの性別と年齢を聞いてみる

61. Let's Hands-on

62. Take Face Picture ボックス

63. HTTP ReKognition ボックス

64. Get Face Info ボックス

65. Hands-on

66. Developer Program スタート
https://www.aldebaran.com/ja/developerprogram

67. Pepper アプリストア

68. “Enjoy Pepper!”

69. 参考資料
• ソフトバンク http://www.softbank.jp/robot/products/
• Aldebaran Robotics https://www.aldebaran.com
• ワークショップの資料を公開しました | Pepper アトリエ秋葉原 with SoftBank
http://pepper-atelier-akihabara.jp/archives/439
• モーション作成を効率化するボックスライブラリを公開 | Pepper アトリエ秋葉
原 with SoftBank http://pepper-atelier-akihabara.jp/archives/259
• Qiita:Atelier-Akihabara http://qiita.com/Atelier-Akihabara
• 音声認識 - Pepperは人間が喋った任意の言葉を認識できるか？ - Qiita http://
qiita.com/songchongok/items/c4acde4320ef39128c87