JXUGC #25 最新情報アップデート＆LT 大会 での発表資料です https://jxug.connpass.com/event/138707/

1. モバイルのVUI対応と
Xamarin・Azure・C#
平林 拓将（ひらりん）
himarin269 / himanago
JXUGC #25 最新情報アップデート＆LT 大会
2019/8/31

2. 自己紹介
• Name
• 平林 拓将（ひらりん）
• Work
• 研修講師 / 社内システム開発
• Azure / Xamarin / LINE Bot
• Like
• C# ＆ Microsoft Azure
• LINE関連API
• スマートスピーカー＆VUI
• Social
• Twitter：@himarin269
• GitHub：himanago
• Blog：http://himanago.hatenablog.com/

3. スマートスピーカーが好きです

4. スマートスピーカーとは
スマート スピーカー
賢い 音声再生デバイス
AIアシスタント
＝ ＝
内蔵されたマイク・スピーカーを通して
AIアシスタントとの音声による対話から
さまざまなことを実現するデバイスのこと
⇒

5. Voice User Interface（VUI）
• 「声」による対話形式での操作
アレクサ、
いま何時？
18時50分です。

6. スマートフォンでもVUI！
iOS：Siri Android：Googleアシスタント

7. スマートフォンアプリのVUI？
• 例えば、こういうことがしたい
○○って
メモして
音声で指示
メモ
App
メモApp
バックエンド
メモデータ保存
手で操作せずにアプリの機能を使う
（できればアプリ立ち上げも避けたい）

8. これを実現するには
• Androidユーザー向け
• アプリは変えない
• Actions on Google（AIアシスタント用の拡張スキル）を作る
• iOSユーザー向け
• アプリを SiriKit に対応させる
直接呼べるカスタムスキルが作成できる
直接呼べるカスタムスキルが作成できない

9. 一般的なアシスタントのカスタムスキル
• スキルの呼び出し（起動リクエスト）
ユーザー デバイス アシスタント バックエンド
PG
DB
or
or
“星占い”
を開いて
該当スキルを探す
起動時の応答内容を返す
星座を
教えてください

10. 一般的なアシスタントのカスタムスキル
• 発話の意図に合わせた処理（インテントリクエスト）
ユーザー デバイス アシスタント バックエンド
PG
DB
or
or
やぎ座を占って
発話内容を解析
解析された意図に沿う
処理と応答
大吉です

11. 自然言語処理のしくみ
• ユーザーの発話（Utterance）を解析して意図（Intent）を読み取り、
その中から意味のある単語（Slot）を抽出する仕組み
ミックスピザを
3枚届けて
わかりました、
お届けします
インテント：ピザを注文したい
スロット：ミックスピザ(種類)/3枚(数量)

12. スキル開発の流れ
① 各プラットフォームで対話モデルを作成する
ASK
（Alexa Skills Kit）
Dialogflow
CEK
（Clova Extensions Kit）
Amazon Alexa Google Assistant LINE Clova
理解してほしいIntentごとにサンプル発話をいくつか登録しビルド・テストする

13. スキル開発の流れ
② 対話モデルと連携するバックエンドを作成する
ASK
Dialogflow
CEK バックエンド
HTTPで
JSONをやりとり

14. 一方、SiriKit は…
• 限られたドメインの操作のみ対応（自分で自然言語モデルを作れない）
ドメインの名前 できること (作ることができる Intent)
VoIP Calling 通話の開始、通話履歴の検索
Massaging メッセージの送信、受信メッセージの検索
Payments ユーザー間の支払い、請求書の支払い
Lists and Notes メモの作成・検索、タスクの作成・検索
Visual Codes 連絡先と支払い情報の QR コードの表示
Photos 写真の検索と表示
Workouts フィットネスのためのルーチンワークの開始・終了・管理
Ride Booking 乗車とステータスの報告
Car Commands 車両のドアロックの管理、車両の状態の取得
CarPlay 車両の CarPlay システムとの連係
Restaurant Reservations レストランの予約の作成と管理
https://dev.classmethod.jp/smartphone/iphone/ios-11-siri-kit/

15. SiriKit の２つのしくみ
• Intents
• アプリ側にインテントに対応する処理を用意しておく
• IntentsUI
• Siri の応答結果の見た目をカスタマイズ

16. Xamarinでやるなら
• SiriKit 対応のコードを追加
• データ保存などのバックエンド処理を
モバイル用とActions on Google用で共通化
• 全体でモデルクラスを共有
すべて C#・Azure で統一すれば大部分が共有化できる？

17. Shell テンプレートで試してみた
• サンプルつくりました
• Shellのテンプレートをメモアプリと見立ててそのままVUI対応しようとしてみた
https://github.com/himanago/xamarin-with-vui-sample
• バックエンドについて
• モバイル用のバックエンドはテンプレートで作られる（ASP.NET CoreのWeb API）
• ActionのバックエンドはAzure Functionsを使用し、上記APIを呼ぶ
• 本当は認証・アカウント連携、データ永続化が必要（テンプレートなのでない）
• ついでに
• スマートスピーカーでも使えるように他プラットフォームにも対応
• Googleアシスタント/Alexa/Clova/Siriの４アシスタント対応は世界初！？
• 残念ながら…
• SiriKit を試すには Developer Program の登録が必要
https://developer.apple.com/support/app-capabilities/

18. プロジェクト構成
モデルクラスなど
Googleアシスタント/
Alexa/Clova用FunctionApp
※ロジック部分は共有
SiriKit用
バックエンド処理
（ASP.NET Core）
※テンプレートから

19. アプリ内の機能をVUI対応させたい
メモ
App
出力（読み上げ）
Xamarin.Essentialsの音声合成を使う
入力（音声認識）
DependencyServiceでプラットフォームごとの音声認識機能で発話内容を得る
そこからさらにインテントを解析し、それぞれの処理を実行
※音声認識利用の詳細はQiita「【Xamarin.Forms】音声認識の使い方」参照
https://qiita.com/microwavePC/items/40b1016cf84ea89c4ed1

20. LUISで自然言語処理
• DialogflowはXamarinからは呼べなそう…
• そこでLUISを使い同様のインテント解析を行わせる

21. 全体構成まとめ
ASK
Dialogflow
CEK
LUIS
iOS
Android
Azure WebApps
(MobileAppService)
Azure Functions
(AssistantService)
Google
アシスタント
Siri
メモ
App
Xamarin.
Forms
SiriKit

22. まとめ
• モバイルのVUI対応も C# ＆ Azure でクロスプラットフォーム
対応していける
• AndroidならActions on GoogleでOK
• iOS/Siriでは現状アプリに統合する必要がある（SiriKit）
• ちなみにSiriショートカットで「OK Google」を登録できる
• Xamarin.FormsのアプリをVUI対応するには
DependencyService＋Xamarin.Essentials＋LUISで実現可能

23. 宣伝
【す22D】Azure＋AIアシスタント・スマスピ本（単著）
• Logic Appsでの完全ノンコーディング開発法
• Azure Functionsでの応用的なクロスプラットフォーム対応
• 今日の話（Xamarin.Forms＋VUI）もちゃんとまとめられたら入れる予定
【す23D】LINE API Expert本（共著）
• C# 新SDK＋AzureでClovaスキルを作る方法について書きました（裏技付き）
• 他にも多くのLINE APIについて基本から応用まで360ページ超で解説
9/22(土)の技術書典7で本を出します！（2冊）
https://techbookfest.org/event/tbf07/circle/5069404383477760
https://techbookfest.org/event/tbf07/circle/5677593911099392