Azureのサーバーレスで限界を超えよう～スマートスピーカースキル開発を題材に～
•
0 gefällt mir•1,323 views
Azure FunctionsをはじめとしたFaaS/サーバーレスの活用・応用例（特にDurable Functionsの活用）を、スマートスピーカースキルの開発を例に紹介します。 はじめにスマートスピーカースキルの概要と得意/苦手分野やその開発方法を紹介し、そのあとにAzureでのサーバーレス開発であればその可能性を大きく広げることができる、という話をします。 サーバーレスやスマスピ開発ではロングランニングの処理やコールドスタートの問題が弱点になりますが、Azure Functionsの拡張機能であるDurable Functionsや他のAzureサービスを組み合わせて使うことでそれらを克服できるという実装例をいくつか提示したいと思います。 https://jazug.connpass.com/event/115696/
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Azureのサーバーレスで限界を超えよう～スマートスピーカースキル開発を題材に～
Ähnlich wie Azureのサーバーレスで限界を超えよう～スマートスピーカースキル開発を題材に～ (20)
Mehr von 拓将 平林
Mehr von 拓将 平林 (14)
Kürzlich hochgeladen
Kürzlich hochgeladen (10)
Azureのサーバーレスで限界を超えよう～スマートスピーカースキル開発を題材に～
- 1. Azureのサーバーレスで限界を超えよう ～スマートスピーカースキル開発を題材に～ 平林 拓将（ひらりん） himarin269 / himanago Global Azure Bootcamp 2019@Tokyo 2019/4/27
- 2. 自己紹介 • Name • 平林 拓将（ひらりん） • Work • テクニカルトレーナー/アーキテクト • Grails/Xamarin/Azure/LINE Bot • Like • C# ＆ Microsoft Azure • LINE関連API • Social • Twitter：@himarin269 • GitHub：himanago • Blog：http://himanago.hatenablog.com/ プロフィール画像迷走中 （Linux使いではありません）
- 3. 本セッションのゴール • スマートスピーカーの概要を理解する • スマートスピーカースキルの一般的な開発方法と注意点を理解する • Azureを用いたスキル開発手法を知る • Azureを活用してスマートスピーカースキル開発にチャレンジ！ 制約の多いスマートスピーカースキル開発において Azureがどのように威力を発揮できるかをお話しします
- 4. 本日お話しすること ① スマートスピーカースキルの概要と得意/苦手分野・開発方法 ② Azure Logic Apps による完全ノンコーディング＆ クロスプラットフォーム対応スキル開発 ③ Azure Functions でのスキル開発とその問題点・克服法 ④ Durable Functions でスキルの常識を覆そう！
- 6. スマートスピーカーとは 6 スマート スピーカー 賢い 音声再生デバイス AIアシスタント ＝ ＝ 内蔵されたマイク・スピーカーを通して AIアシスタントとの音声による対話から さまざまなことを実現するデバイスのこと ⇒
- 7. スマートスピーカーでできること • 「声」による対話形式での操作 • VUI（Voice User Interface）が中心となるデバイス • インターネット経由でAIアシスタントを呼び出す • AIアシスタントにさまざまなことを依頼できる （天気、アラーム、ラジオ、音楽再生、調べもの、家電操作 など） • 必要に応じて追加スキルを使用できる （世界中の開発者が開発しストアに公開している） 7 アレクサ、 いま何時？ 18時50分です。
- 8. スマートスピーカーとAIアシスタント メーカー AIアシスタント スマートスピーカー Alexa Amazon Echo Amazon Echo Dot Amazon Echo Plus Amazon Echo Spot Amazon Echo Show Googleアシスタント Google Home Google Home mini Google Home Hub（日本未発売） Clova Clova Wave Clova Friends Clova Friends mini Clova Desk Apple Siri Apple HomePod（日本未発売） Cortana Harman Kardon Invoke（日本未発売) 8
- 9. ウェイクワード（ホットワード）の違い • Alexa • Alexa / Amazon / Echo / コンピューター • Googleアシスタント • OK, Google / ねぇGoogle • Clova • Clova / ねぇClova / Clovaさん / Clovaちゃん / Jessica 9 これらの言葉を聞き取ると、スマートスピーカーは それに続く言葉を指示と認識して動いてくれる
- 10. どんなスキルが求められるか • スマホよりスキル！という場面で使うもの • 運転中、料理中、トレーニング中など「手が離せないとき」に使うもの • 就寝時にベッドに入ったあとなど「その場を動きたくないとき」に使うもの • 老人、子供、怪我や障害などで「スマホがそもそも使えないとき」に使うもの • 習慣化されたものや生活に溶け込んだもの • スマートホーム系のスキル • 決まった時間に行うルーティン系スキル • 朝出かける前など急いでいるときに使えるもの • 出前やショッピングなどの注文系スキル • その他音声UIならではのもの • 記録系・子育て系 • 暇つぶし系・癒し系 • 音楽系・コミュニケーション系 10 音声UIならでは といえる要素が 不可欠！
- 11. スキルの制約 • 複雑なパラメータの入力が必要なものは不向き • タイムアウトが非常にシビア • 返答も音声だけなので理解できる内容には限界がある • ClovaはLINE Botと連携が簡単にできるため「詳細はLINEに送信」などが可能 • ディスプレイ付きデバイスの登場で表現範囲は広がった シンプルな対話で完結するものでなければならない！
- 12. スキル実行の流れ • スキルの呼び出し（起動リクエスト） 12 ユーザー デバイス アシスタント バックエンド PG DB or or “星占い” を開いて 該当スキルを探す 起動時の応答内容を返す 星座を 教えてください
- 13. スキル実行の流れ • 発話の意図に合わせた処理（インテントリクエスト） 13 ユーザー デバイス アシスタント バックエンド PG DB or or やぎ座を占って 発話内容を解析 解析された意図に沿う 処理と応答 大吉です
- 16. スキル開発の流れ ① 各プラットフォームで対話モデルを作成する 16 ASK （Alexa Skills Kit） Dialogflow CEK （Clova Extensions Kit） Amazon Alexa Google Assistant LINE Clova 理解してほしいIntentごとにサンプル発話をいくつか登録しビルド・テストする
- 18. HTTP(S)が話せてJSONを扱えればスキル開発できる！ Azure では…… Web Apps Functions Logic Apps などが使える！ Bot Services
- 19. ①のまとめ • 日本で多く使われる3大プラットフォーム（Amazon / Google / LINE）のスキルのしくみ、開発方法はほぼ同じ • ウェイクワードでスキルを呼び出されると、対話モデルが発話 からインテントとスロットを解析 • スキルのバックエンドにはHTTP(S)でJSONがやりとりできる サーバーを使う
- 20. 本日お話しすること ① スマートスピーカースキルの概要と得意/苦手分野・開発方法 ② Azure Logic Apps による完全ノンコーディング＆ クロスプラットフォーム対応スキル開発 ③ Azure Functions でのスキル開発とその問題点・克服法 ④ Durable Functions でスキルの常識を覆そう！
- 21. 3大プラットフォームへの対応 • 対話モデルとバックエンドはHTTP・JSONでやりとり ASK Dialogflow CEK バックエンド JSONスキーマは 各プラットフォーム ごとに異なる
- 24. Logic Appsを使うメリット ② Logic App同士やAzure内外のサービスとの連携がしやすい HTTPトリガーで作った 別のフローも簡単に呼び出せる
- 27. Logic Appsでクロスプラットフォーム対応 • 共通ロジックを対話モデルとのアダプター役フローから呼び出す • 各アダプターのHTTPリクエストURLを対話モデルに設定 ASK Dialogflow CEK 共通ロジック アダプター
- 30. ちなみに • Microsoft Flow（フリープラン）ではHTTP関連のフローを作れなくなった 社内でハンズオンを 行う前日夜に知る Microsoft Flowで準備していた記事を Logic Appで行うように 書き直して当日の朝投稿
- 31. ②のまとめ • Logic Appsを使うとノンコーディングでHTTPトリガーのフ ローが作成可能 • Logic AppsはJSONなどデータの扱いもお手のもの • Logic Appsでお手軽スキル開発に挑戦しよう ★解説記事はこちら（再掲） https://qiita.com/himarin269/items/f5d00e649899288e8596
- 32. 本日お話しすること ① スマートスピーカースキルの概要と得意/苦手分野・開発方法 ② Azure Logic Apps による完全ノンコーディング＆ クロスプラットフォーム対応スキル開発 ③ Azure Functions でのスキル開発とその問題点・克服法 ④ Durable Functions でスキルの常識を覆そう！
- 33. コードを書くならFunctionsがおすすめ！ • コードを書くだけで柔軟なサービスが作れるサーバーレス • 既存のWeb AppsやBot Servicesがあればその環境をそのまま流用可 （スマートスピーカースキル用のControllerを追加する）
- 35. オーソドックスなコールドスタート対策 • App Serviceプランを使う • Webアプリ同様で常時稼働したサーバー上で動かせる • サーバーレスのコストメリットの恩恵が受けられない • サーバーが寝ないように定期的にpingする方法もある 常時接続オンにできるのは 「S1」以上の価格レベル
- 37. Logic App Function App ＜ゲートウェイ＞ ＜プログラム本体＞ ①起動リクエスト ②定型レスポンス ③起こす 起動リクエスト コールドスタートが速い Logic Appを間に配置！ ねぇClova、 “適当星占い” を開いて 星座を教えて ください 定型文の返却と同時に Function Appの 空関数へのリクエスト
- 38. Logic App Function App ＜ゲートウェイ＞ ＜プログラム本体＞ ①インテントリクエスト ②動的なレスポンス インテントリクエスト Functionsに動いて ほしいときはスルー みずがめ座 今日は絶好調！ とてもよい1日 になりますよ！ ③リクエストを そのまま渡す ⑤レスポンスを返す ④処理を実施 すでに起きているので速い
- 39. クロスプラットフォーム対応する場合 • プラットフォームごとにLogic Appゲートウェイを用意する ASK Dialogflow CEK ゲートウェイ メインロジック
- 40. API Managementでも同様のことが可能 参考） スマートスピーカーのバックエンドとしての Azure Functions のコールドスタート対策 -かずきのBlog@hatena https://blog.okazuki.jp/entry/2019/03/10/111526 XMLで定型文の返答と Function Appへのアクセスを 切り替えるポリシーを設定
- 41. ③のまとめ • VUIのタイムアウトはシビア・コールドスタートは大敵 • 作りたいものの特性を踏まえてコールドスタート対策を！ • Logic Appはコールドスタートが速くフロー作成も柔軟 • Function Appを起こす仲介役におすすめ ★ソースコードはこちら（Functionsのみ） https://github.com/himanago/LazyHoroscope ★解説記事はこちら https://qiita.com/himarin269/items/87b57cac400bfc2ff8ea
- 42. 本日お話しすること ① スマートスピーカースキルの概要と得意/苦手分野・開発方法 ② Azure Logic Apps による完全ノンコーディング＆ クロスプラットフォーム対応スキル開発 ③ Azure Functions でのスキル開発とその問題点・克服法 ④ Durable Functions でスキルの常識を覆そう！
- 43. DEMO
- 47. すごいところ どんなセリフでも 自由なタイミングで しゃべるよ！ 対話が原則のClovaスキルの常識を覆す！ その場で何でもしゃべってくれる！ いつまでも続くスキルのセッション！ → 話しかけなくてもClovaだけがしゃべりだす → 自由な言葉を言わせることができる → セッションが勝手に切れず長時間遊べる
- 51. Durable Functionsでできること 関数チェーン ファンアウト/ファンイン 非同期 HTTP API 監視 人による操作 複雑＆ステートフルなワークフローをシンプルに実装可能 "Durable"な（＝持続性のある/丈夫な）処理をシンプルな関数コードの組み合わせだけで作れる！
- 52. Durable Functionsの基本 • 3種類の関数を作って使う OrchestrationClient （Starter） Orchestrator関数 Activity関数 • 外部から呼び出し/実行される 関数本体で、CEKやMessaging APIからのHTTPリクエストで 呼び出されるもの • Orchestratorを起動する役割を 持つ • Activityを呼び出し、オーケス トレーションを担当する • ランダム値やI/O処理、非同期 APIの呼び出しを直接行うこと は禁止（Activityにやらせる必 要がある） • Orchestratorからの実行指示で 起動する関数 • アプリケーションの機能を担当 する Activity関数 Activity関数 履歴などの実行情報をストレージに書き込んで勝手に管理してくれる！
- 53. 各関数で使用する代表的なメソッド • 関数同士を連携させて"Durable"な処理を作る部品が揃っている！ 関数 メソッド名 処理内容 OrchestrationClient StartNewAsync Orchestratorを開始する。 TerminateAsync Orchestratorを終了する。 GetStatusAsync Orchestratorの状態を取得する。 RaiseEventAsync 任意の名前のイベントを起こす。 Orchestrator関数 CallActivityAsync Activityを呼び出して実行する。パラメータで好きな値を 渡せる（タプルやコレクションも使えるのでかなり自由）。 CallActivityWithRetryAsync 失敗した場合にリトライするCallActivityAsync。 CallSubOrchestratorAsync 別のOrchestratorを実行する。 CallSubOrchestratorWithRetryAsync 失敗した場合にリトライするCallSubOrchestratorAsync。 ContinueAsNew 今回実行した際の情報をパラメータとして渡して状態を 維持し、自身を再実行する。 WaitForExternalEvent 指定した名前のイベントが起きるまで待機する。 GetInput 呼び出し元から渡されたパラメータを取得する。 Activity関数 GetInput 呼び出し元から渡されたパラメータを取得する。
- 57. しくみ解説～ Botで操る腹話術 OrchestrationClient Orchestrator 起動時 or 読み上げ終了時 WaitForExternalEvent RaiseEventAsync LINE Botとの連携も自在な"Durable Session" • 状態を確認し、完了するまで 無音無限ループで待機させる OrchestrationClient GetStatusAsync 無音mp3のPlayFinished時 無音mp3の再生指示 • 完了していたらセリフをしゃべらせ、 Orchestratorを再実行
- 59. 腹話術の反応をよくする • host.json で「maxPollingInterval」の設定を変更すればOK { "version": "2.0", "extensions": { "queues": { "maxPollingInterval": "00:00:05" } } } イベント発生の監視の 間隔を短くできる （Durableだとデフォルトは30秒） ★ 詳細・その他設定項目はここ https://docs.microsoft.com/ja-jp/azure/azure-functions/durable/durable-functions-bindings#host-json
- 60. 翻訳機能を追加！ Cognitive Services (Traslator Text API) 「声」でやりとりする スマートスピーカーは 外国語学習と相性がいい！ LINE Botからのオーケ ストレーター起動が されている場合翻訳 翻訳先言語はカスタム ステータスに入っている レスポンス音声の 言語を指定
- 61. ④のまとめ • Durable Functionsでスキル開発の限界を超えよう • マルチターンのやりとりでのセッション管理も可能 • 外部連携もステートフルな処理も「コードだけ」 • サーバーレスの究極系のひとつといえるのでは https://github.com/himanago/ClovaVentriloquism ★ソースコードはこちら
- 62. 本セッションのゴール • スマートスピーカーの概要を理解する • スマートスピーカースキルの一般的な開発方法と注意点を理解する • Azureを用いたスキル開発手法を知る • Azureを活用してスマートスピーカースキル開発にチャレンジ！
- 64. 過去のアワードにて（LINE BOOT AWARDS 2018） • 「Clova＆LINEで絵本読み聞かせ」でファイナル進出！ ClovaとLINEが同期して 絵と読み聞かせ音声が 同時に楽しめるスキル 10月の3連休で一気に作って入賞できた！ この10連休でアワードにチャレンジしよう！！
- 66. 本セッションのゴール • スマートスピーカーの概要を理解する • スマートスピーカースキルの一般的な開発方法と注意点を理解する • Azureを用いたスキル開発手法を知る • Azureを活用してスマートスピーカースキル開発にチャレンジ！ Azureの力でスマートスピーカーを大きく進化させよう！