Cogbot Meetup Online #39 - Azure OpenAI GA キャッチアップ Azure OpenAI Service 資料

1. ㊗ Azure OpenAI Service GA!
マイクロソフト と OpenAI のパートナーシップによる変革
& Azure OpenAI Service 概要
2023/3/2
Ayako Omori
Microsoft Japan

2. Agenda
マイクロソフトの AI の変革＆OpenAI とのパートナーシップ
Azure OpenAI Serviceとは？
Microsoft 製品で進む AI 活用

3. Ayako Omori
Azure Specialist - App Innovation
Technical Evangelist
Microsoft Japan
ayomori.com
slideshare.com/ayomori
github.com/ayako
@ayako_omori
#JAZUG #Cogbot #Developer

4. マイクロソフトの AI の変革
& OpenAI とのパートナーシップ

5. MicrosoftとAIの沿革

6. MicrosoftとAIの沿革
To be continued…

7. 人工一般知能 AGIが
（Artificial General Intelligence）
人類に利益をもたらすようにする
地球上のすべての人と組織がより多くのこ
とを達成できるようにする
中長期的な戦略的
パートナーシップ
（2019年～）
複数年にわたる大規模投資
主にNLPモデル開発における
Computing resource
GPT-3/3.5含む、
次世代AIモデルの
独占的ライセンスの保有
OpenAI社における
Exclusive Cloudとしての
Microsoft Azureの採択

8. GPT-3
テキストの生成と理解
Codex
コードの生成と理解
DALL·E
テキストプロンプトから画像を生成
(preview)
ChatGPT
自然な会話を自動生成
(Coming soon)
人工一般知能 AGIが
（Artificial General Intelligence）
人類に利益をもたらすようにする
地球上のすべての人と組織がより多くのこ
とを達成できるようにする

9. Microsoft Teams
Premium
Viva Sales Edge
直近で実装を発表した製品群
Bing
• 議事録作成
• 自動要約
• 会議録画チャプター分け
• 対話型のレコメンデーション
• よりスムーズな検索体験
• Outlookと統合し、
Dynamic365との
商談状況の連携
• シナリオ別の
メール返信自動生成
(Join the waiting list)
(Private Preview)
(Coming soon)
Azure OpenAI
Service
ChatGPT
on Azure
(Coming soon)
(申請式)
• PaaSとして組み込みが可能
• Microsoft Managedサービス
• エンタープライズレベルの セキュリ
ティとネットワーク

10. Partner
Solutions
Power BI Power Apps Power Automate Power Virtual Agents
Azure Machine Learning
Vision Speech Language Decision OpenAI Service
Immersive Reader
Form Recognizer
Bot Service Video Indexer Metrics Advisor
Cognitive Search
AI開発者&
データサイエン
ティスト
ビジネス
ユーザー
機械学習プラットフォーム
カスタマイズ可能なAIモデル
Azure Cognitive
Services
シナリオベースのサービス
Azure Applied AI
Services
アプリケーション
プラットフォーム
AI Builder
オフィスワーカー向け
アプリケーション/OS
Azure Machine Learning
GitHub
開発者プラットフォーム
GitHub
Teams Edge Bing Viva Sales
GitHub Copilot

11. Azure OpenAI Serviceとは？

12. Partner
Solutions
Power BI Power Apps Power Automate Power Virtual Agents
Azure Machine Learning
Vision Speech Language Decision OpenAI Service
Immersive Reader
Form Recognizer
Bot Service Video Indexer Metrics Advisor
Cognitive Search
AI開発者&
データサイエン
ティスト
ビジネス
ユーザー
機械学習プラットフォーム
カスタマイズ可能なAIモデル
Azure Cognitive
Services
シナリオベースのサービス
Azure Applied AI
Services
アプリケーション
プラットフォーム
AI Builder
オフィスワーカー向け
アプリケーション/OS
Azure Machine Learning
GitHub
開発者プラットフォーム
GitHub
Teams Edge Bing Viva Sales
GitHub Copilot

13. 13
Azure OpenAI と Cognitive Services
Rich language understanding
100 languages translation
Breakthrough visual recognition
Vision Service
Speech Service
Language Service
Decision Service
OpenAI Service
OpenAI
Human-like language generation
Realistic image generation
Advanced code generation
Cognitive Search
Form Recognizer
Immersive Reader
Bot Service
Video Analyzer

14. 14
WHAT IS
GPT-3
• 大規模で高度な自然言語モデル
• GPT-3 は大きい – 1750 億個のパラメータをもつ
• 次の言葉を予測する、など 追加の学習なしに ほとんど
の言語タスクで利用可能
• Few Shot Learning などのユニークな機能をもつ
• ファインチューニング可能

15. 16

16. Azure OpenAI Service
GPT-3 Codex
DALL·E (preview) ChatGPT
(coming soon)

17. 18
GPT-3
モデル
+
OpenAI API
June 2020
Customize
モデル
(ファイン
チューニング)
June 2021
Sept 2021
GitHub
Copilot
on Azure
OpenAI
Codex
モデル
Aug 2021
Embeddings
&
Instruct GPT
Jan 2022
DALL-E and
CLIP モデル
Jan 2021
Dall*E 2
Oct 2022
パブリック
プレビュー
May 2021
Power Platform Fx
Power BI DAX
showcase GPT-3
April 2022
July 2019
OpenAI との
ストラテジック
パートナーシッ
プ
Sept 2020
GPT-3 AI モデル
を独占的にライ
センス契約
CYQ1 2023
ChatGPT
Dall*E2
プレビュー
Dall*E2 API
text-davince-003
Nov 2022
Jan 2023
Extending
partnership
Azure OpenAI
Jan 2023 GA
+ text-davince-003

18. 生成型AI ( ジェネレティブ AI )
プロンプト:
AI セミナーで Speech Services と
Azure OpenAI のトピックを扱うセッションを担当
します。
楽しそうなセッションタイトルを考えてください。
応答:
"話が止まらない！Speech Services と
Azure OpenAIで自然な会話を実現する"
プロンプト:
Table customers, columns =
[CustomerId, FirstName, LastName,
Company, Address, City, State,
Country, PostalCode]
Create a SQL query for all
customers in Texas named Jane
query =
応答:
SELECT *
FROM customers
WHERE State = 'TX' AND FirstName =
'Jane'
プロンプト:
A cat dancing at Shibuya Scramble
応答:
GPT-3 Codex DALL·E (preview)

19. Azure OpenAI Studio
oai.azure.com

22. API Url, Header
Request Body

23. RestAPI で POST
結果取得

24. Azure OpenAI Studio: 情報抽出
26
プロンプト
回答の指示

25. Azure OpenAI Studio: 情報抽出
27
回答

26. Azure OpenAI Studio: 情報抽出＆分類
29
プロンプト
回答の指示

27. Azure OpenAI Studio: 情報抽出＆分類
30
回答

28. Azure OpenAI Studio: GTP-3.5 要約
32
プロンプト
回答の指示

29. Azure OpenAI Studio: GTP-3.5 要約
33
回答

30. 34
Azure OpenAI Serviceの導入事例
OpenAIモデルを利活用するシナリオ例
コンテンツ
自動生成
カーマックス
（米国）
中古車レビューの要約
Webコンテンツ自動生成
要約
試合状況の実況の要約
試合記事の自動生成
全米女子プロバスケット
ボールリーグ
（米国）
コード
自動生成
コード自動生成
エンジニアの生産性向上
トレレント
（カナダ）
検索
D365内の顧客データを
横断的に検索可能
ファームランズ
（ニュージーランド）

31. 35
CarMax は Azure OpenAI Service を使用して 車両と店
舗のレビューの要約 マーケティング コンテンツの作成 車両ト
リムの比較の準備を行っています
OpenAIを使用することで マーケティングフリーランサーの支出
を削減し 競合他社よりも迅速に顧客に新しい情報を提供
することができます
“ OpenAIは当社の企業マーケティング戦略を根本的に変えました”

32. 36
OpenAI | 機能とユースケース
コールセンター分析
カスタマーサポートの会話ログの分類
自然言語を SQL に(またはその逆)
変換
専門文書の要約
(例:財務報告、アナリスト記事)
コードにコメントを追加
コードの記述
特定の製品/サービスの
レビューを検索
ソーシャルメディア トレンドの要約
情報発見と
ナレッジマイニング
コールセンター分析
顧客からの問い合わせに対する回答を自動
的に生成
マーケティングメッセージやタグラインの
生成
Chatbot の裏で
質問と回答
GPT-3 GPT-3
Embeddings (埋め込み)
CODEX

33. 37
Power BI
Web
アプリケーション
Cosmos DB
PDF OCR
パイプライン
Azure Cognitive
Search
Azure OpenAI
Service
Azure Forms
Recognizer
ドキュメント
ドキュメントやナレッジの検索
ドキュメントから豊富な洞察を抽出し、要約する
Azure Functions
キーワード検索でドキュメントを絞る
GPT-3 が要約を作成して質問に回答
埋め込みを利用した回答

34. 39
アシスタント AI – Powered By Chat GPT3.5

35. 40
Speech API と OpenAI を使用したコンタクトセンター分析
通話記録から豊富な分析情報を抽出する
コールセンター
エージェント
人間対人間の
会話
発話者
テレフォニー
サーバー
Azure
Storage
Azure Cognitive Services –
Speech & OpenAI
インテリジェントな文字起こし
Speech-to-Text Azure OpenAI
Service
会話の傾向
&インサイト
Power BI Insights
(ほぼリアルタイム)
音声
ファイル
概要、通話理由などを含む
詳細な通話履歴
CRM
GPT-3 が 感情分析 や 分類、
または 要約を実行

36. 41
OpenAI Embeddings – セマンティック検索

37. 42
OpenAI Embeddings – セマンティック検索

38. 43
Cognitive Search – セマンティック検索

39. 44
Cognitive Search – セマンティック検索

40. 45
Embeddings (埋め込み) モデルを利用した セマンティック検索の実装イメージ
Cosmos DB

41. Cognitive Service との違い
Cognitive Service for Language
テキスト要約 (Extractive | Abstractive Summarization))

42. Language Studio
language.cognitive.azure.com

45. Abstractive
Summarization
(同義語などの言い換えアリ)
Extractive
Summarization
(原文から抽出)

46. OpenAI Service ではできないもの
Cognitive Services - Speech Service
カスタム音声作成&生成 (Custom Speech)

47. Speech Studio
speech.microsoft.com

51. 58
Azure OpenAI と Cognitive Services
Azure OpenAI Cognitive Services
文章要約 Text completion ドキュメント要約（抽象、抽出）
(日本語の抽象要約は3月頃プレビュー開始予定)
文章分類 Text completion カスタムテキスト分類
固有名詞抽出
キー フレーズ抽出
感情分析
Text completion カスタム固有表現認識
名前付きエンティティの抽出
キーフレーズ抽出
感情分析
質問回答 Embeddings カスタム質問と回答
セマンティック検索 Embeddings Cognitive Search
コピーライティング Text completion NA

52. 59
Azure OpenAI Service の 利用申請
 利用申請が必要な Cognitive Services は Azure OpenAI だけではないので 特別なわけではありません

53. Microsoft 製品で進む AI 活用

54. Microsoft Teams
Premium
Viva Sales Edge
直近で実装を発表した製品群
Bing
• 議事録作成
• 自動要約
• 会議録画チャプター分け
• 対話型のレコメンデーション
• よりスムーズな検索体験
• Outlookと統合し、
Dynamic365との
商談状況の連携
• シナリオ別の
メール返信自動生成
(Join the waiting list)
(Private Preview)
(Coming soon)
Azure OpenAI
Service
ChatGPT
on Azure
(Coming soon)
(申請式)
• PaaSとして組み込みが可能
• Microsoft Managedサービス
• エンタープライズレベルの セキュリ
ティとネットワーク

55. Partner
Solutions
Power BI Power Apps Power Automate Power Virtual Agents
Azure Machine Learning
Vision Speech Language Decision OpenAI Service
Immersive Reader
Form Recognizer
Bot Service Video Indexer Metrics Advisor
Cognitive Search
AI開発者&
データサイエン
ティスト
ビジネス
ユーザー
機械学習プラットフォーム
カスタマイズ可能なAIモデル
Azure Cognitive
Services
シナリオベースのサービス
Azure Applied AI
Services
アプリケーション
プラットフォーム
AI Builder
オフィスワーカー向け
アプリケーション/OS
Azure Machine Learning
GitHub
開発者プラットフォーム
GitHub
Teams Edge Bing Viva Sales
GitHub Copilot

56. Provide editor context
Provide suggestions
Improve suggestions

57. YouTube
クラウドデベロッパーちゃんねる
くらでべ Copilot

58. ミーティング チャット 通話 共同作業 自動化
• 背景画像の変更
• 発話書き起こし
• ノイズキャンセル
• スペルチェック
• 返信文のレコメンド
• 翻訳
• スケジュール提案

59. (OpenAI/GPT-3機能：今後実装予定 )
• Teams Premiumに最新のAIモデル
を活用した高度な会議機能を実装
• GPT-3モデルが組み込まれ会議中に
発話された音声データから自動的に
書き起こしを生成（翻訳も可能）
• 生成された書き起こし文から自動で
要約され議事録が完成
• 会議録画データの自動チャプター
分け、誰がどの部分で発話したかも
可視化が可能

61. (OpenAI/GPT-3機能：Private Preview )
• Viva SalesはGPT-3モデルを統合、
Outlook画面から遷移することなく、
お客様情報、商談管理に関連する
CRM/SFAデータ
(Dynamics365/Salesforceなど)の
閲覧が可能
• OpenAIの提供するGPT-3シリーズ
のモデルを統合させ、用途にあった
返信文言を自動生成+レコメンド
• 営業担当者の対応の手間をAIの力
を使って最小化させ生産性の向上へ

62. 20年前の検索画面 現代の検索画面

63. Bing の新しいテクノロジー: Prometheus
https://news.microsoft.com/ja-jp/2023/02/28/230228-building-the-new-bing/

64. AI機能を搭載した
Copilot (副操縦士)
新しい検索体験

65. Bing Chat 検索
75
 企業で求められる検索
− 検索のスコープが分っている
− ソースを明示できる
− ドメイン以外の回答はしない

66. Agenda
マイクロソフトの AI の変革＆OpenAI とのパートナーシップ
Azure OpenAI Serviceとは？
Microsoft 製品で進む AI 活用

67. 2023年3月16日(木)開催!!
「Azure AI Day 2023」
https://aka.ms/AzureAIDay2023
最新のAI/機械学習の利活用戦略や
AI関連製品のアップデートも併せてデジタ
ルイベントにてお届けします

69. Thank you ♡