1. Build 2017 更新情報
Cognitive Services 編
Build 2017 と de:code 2017 の更新情報

2. ABOUT ME
@BEACH_SIDE
横浜 篤
よこはま あつし
http://beachside.hatenablog.com/
株式会社アイティーブレーン
Edge Technology and Projects 部
部長
Using…
C#, ASP.NET, Azure, Machine Learning, Xamarin ….
開発者募集しています♪
C#er ♪
Cogbot
コミュニティ
BEACHSIDE BLOG

3. 2017年6月16日時点の情報となります。

4. 本セッションでお伝えしたいこと
•Cognitive Services の最新情報を共有
•お試し利用したいというモチベーション

5. アジェンダ
Cognitive Servicesとは？をおさらい
1. Cognitive Services の概要
最新情報その1
2. Custom Vision Service
最新情報その2
3. Video Indexer
最新情報その3
4. その他の更新情報

6. super super Easy !
Flexible !
Tested !
2017-05 最新情報の前に..
Cognitive Services の概要

7. Microsoft
Cognitive
Services
Give your apps a human side
• 人工知能アルゴリズムのコレクション
• Easy
– REST API が公開されているので、利用が容易
– SDKもあり数行のコーディングから利用可能
• Flexible
– あらゆるプログラミング言語、プラットフォームから呼び出せる
• Tested
– Microsoft Research や Bing や Azure Machine Learning の
エキスパートによって構築
– ドキュメントやサンプルコードも豊富に用意
microsoft.com/cognitive

8. Microsoft
Cognitive
Services
Give your apps a human side
Vision
Computer Vision API | Face | Emotion | Video | Content Moderator | Custom Vision Service |
Video Indexer
Speech
Bing Speech API | Speaker Recognition API | Custom Speech Service
Language
Language Understanding Intelligent Service | Web Language Model API | Translator Text API
| Bing Spell Check API | Translator Speech API | Text Analytics API | Linguistic Analysis API
Knowledge
Academic Knowledge API | Recommendations API | Knowledge Exploration Service | Entity
Linking Intelligence Service API | QnA Maker API | Custom Decision Service
Search
Bing Web Search API | Bing News Search API | Bing Image Search API | Bing Autosuggest
API | Bing Video Search API | Bing Custom Search
Labs
Project Prague | Project Johannesburg | Project Abu Dhabi | Project Nanjing | Project Cuzco |
Project Wollongong
画像/ビデオの理解、顔や感情識別、OCR、モデレート
音声→テキスト、テキスト→音声、音声識別
文章の理解、センチメントやトピックの評価
学術知識を活用した検索やデータマッピング
Bing 検索エンジンを活用した高度な検索
新しい Cognitive Services のテクノロジーラボ
microsoft.com/cognitive

9. Microsoft
Cognitive
Services
Give your apps a human side
Vision
Computer Vision API | Face | Emotion | Video | Content Moderator | Custom Vision Service |
Video Indexer
Speech
Bing Speech API | Speaker Recognition API | Custom Speech Service
Language
Language Understanding Intelligent Service | Web Language Model API | Translator Text API
| Bing Spell Check API | Translator Speech API | Text Analytics API | Linguistic Analysis API
Knowledge
Academic Knowledge API | Recommendations API | Knowledge Exploration Service | Entity
Linking Intelligence Service API | QnA Maker API | Custom Decision Service
Search
Bing Web Search API | Bing News Search API | Bing Image Search API | Bing Autosuggest
API | Bing Video Search API | Bing Custom Search
Labs
Project Prague | Project Johannesburg | Project Abu Dhabi | Project Nanjing | Project Cuzco |
Project Wollongong
microsoft.com/cognitive

10. Microsoft
Cognitive
Services
Give your apps a human side
Vision
Computer Vision API | Face | Emotion | Video | Content Moderator | Custom Vision Service |
Video Indexer
Speech
Bing Speech API | Speaker Recognition API | Custom Speech Service
Language
Language Understanding Intelligent Service | Web Language Model API | Translator Text API
| Bing Spell Check API | Translator Speech API | Text Analytics API | Linguistic Analysis API
Knowledge
Academic Knowledge API | Recommendations API | Knowledge Exploration Service | Entity
Linking Intelligence Service API | QnA Maker API | Custom Decision Service
Search
Bing Web Search API | Bing News Search API | Bing Image Search API | Bing Autosuggest
API | Bing Video Search API | Bing Custom Search
Labs
Project Prague | Project Johannesburg | Project Abu Dhabi | Project Nanjing | Project Cuzco |
Project Wollongong
microsoft.com/cognitive

11. Visual Intelligence Made Easy
2017-05 最新情報 – その１
Custom Vision Service

12. Custom Vision Service - 概要
• 独自に画像の分類器を ”Super Easy” に構築するためのサービス
• 画像のアップロード、タグ付け→トレーニング→評価を繰り返して分類器を構築する
• 分類するタグ1つにつき、30枚程度あればプロトタイプの作成が可能
• ポータルサイト（https://customvision.ai/）から作業可能
• REST APIを使って、プログラミングで各種作業が可能
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-vision-service/home

13. DemoCustom Vision Service
• プロジェクトの作成
• 画像アップロード、トレーニング
• 分類器の評価

14. Custom Vision Service - 解説 1
• 分類器を作成する際にドメインを選択することで、最適なトレーニング
• 選択できるドメインは、Generic（汎用）、Food（フード）、Landmarks（ランドマーク）、Retail（リテー
ル）、Adult（アダルト）
• 分類器の品質の指標として、以下の2つ
• k-fold cross validation (K-分割交差検証) を利用
• Precision（精度）
• 画像を分類したとき、どれくらい正しく分類されたか。例として、犬の猫を分類する分類器をトレーニングするために使用されたすべ
ての画像のうち、何パーセントが正しいか。100枚の画像のうち99枚を正しいタグ付けした場合、精度は99％になる。
• Recall（リコール）
• 正しく分類されるはずのすべての画像のうち、正しく識別した画像の数。リコールが100％というのは、分類器をトレーニングするため
に使用された画像のうち犬の画像が38枚で、分類器で犬の画像が38枚を検出した場合。
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-vision-service/home

15. Custom Vision Service - 解説 2
• トレーニングするごとに分類器のイテレーションが作成される
• トレーニングした結果、評価が思った通りに行かなければ、以前の状態に戻せる
• 誤って評価した画像の一部が赤い枠付きで表示
• 誤って評価した画像で特定の閾値を超えた画像が赤枠付きで表示されるため、それをもとに品質を向上す
るために必要な画像の傾向がわかる（かもしれない）
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-vision-service/home

16. Custom Vision Service - 解説 3
• 「オブジェクトの検出」ではなく「画像分類」をするもの
• 「オブジェクトが画像内のどこにあるか」ではなく、「画像が特定のオブジェクトであるかどうか」を識別する
• 必ずしも想定している分類をするとは限らない
• 猫と犬を分類したいときに、白い猫と黒い犬の画像しかアップロードしないと、白いものか黒いもので識別する
かも？
• タグ付けした分類しかしない
• 犬と猫を分類したいとき、犬と猫の画像でトレーニングを行うと、結果は2択（犬 or 猫）になる。ウサギの画
像を「その他」にしたい場合は、そのトレーニングが必要（つまりトレーニング用の画像も必要）。
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-vision-service/home

17. DemoCustom Vision Service
• テストした画像を使って再トレーニング
• 新たな画像を追加して再トレーニング
• 分類器の評価

18. Visual Intelligence Made Easy
2017-05 最新情報 – その2
Video Indexer

19. Video Indexer - 概要
• 動画をアップロードすることで、さまざまなInsightsが得れるサービス
• PC内の動画ファイル、もしくは動画のURLからアップロードできる
• ポータルサイト（https://vi.microsoft.com/）から作業可能
• REST API を使って、プログラミングで各種作業が可能
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/video-indexer/video-indexer-overview

20. DemoVideo Indexer
• 動画のアップロード～分析結果の確認
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/video-indexer/video-indexer-overview

21. Video Indexer - 解説 1
• Insights を得る ! とは…
• 音声をテキスト化し、8言語に翻訳、字幕を付けることが可能
• 話している音声とバックグラウンドのノイズを分離
• 会話（のテキスト）からセンチメント（ノーマル/ネガティブ/ポジティブ）を識別
• 動画内のテキスト（スライドとか）をOCRによってテキスト化
• 顔の識別
• 音声の識別（誰が話しているかを判別）
• キーフレームの検出
• キーワードの検出
• 事前に用意されている2000のオブジェクトをもとに注釈をつけてくれる
など。

22. Video Indexer - 解説 2
• 動画は、「Player」と「Cognitive Insights」というWidget で外部サイ
トに張り付けることが可能
• 自身のブログにて：「Azure の Video Indexer が凄いので試してみました♪」
http://beachside.hatenablog.com/entry/2017/05/16/190000
• Insightsを検索してヒットしたところを再生することができる
• 音声から生成されたテキストは、編集することが可能
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/video-indexer/video-indexer-overview

23. DemoVideo Indexer
• 動画を外部サイトで公開

24. Bing Custom Search
Custom Decision Service
Cognitive Services Labs
2017-05 最新情報 – その3
その他…

25. Bing Custom Search - 概要
• Web検索のカスタマイズサービス
• 検索対象として特定のドメインを追加、ブロック、Pinned（特定のクエリに対して常に最上位にランクする）
• 特定の検索結果をブースト（ランキングを上位にする）、Demote（ランキングを降格させる）、Pin to Top
（常に最上位にする）、ブロックする
• ポータルサイト（https://customsearch.ai/）から作業可能
• REST API で結果を取得
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/bing-custom-search/overview

26. Custom Decision Service - 概要
• 強化学習を使い、レコメンドのエンジンを構築
• ユーザーのレスポンスを動的に学習し、より好まれるコンテンツを表示する
• REST API でアクセス可能
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-decision-service/custom-decision-service-overview

27. Cognitive Services Lab - 概要
• 開発中のCognitive Services を公開
• 6つのプロジェクトを公開中
• Microsoft アカウント（またはGitHub, LinkedInのアカウント）で Sign up して利用
公式ドキュメント：https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom-decision-service/custom-decision-service-overview

28. DemoCognitive Services Labs
• Project Prague の動画紹介
（ https://www.youtube.com/watch?v=Jwk4iwpeVRU ）

29. その他
• Bing APIs の次期バージョン
v5 → v7へ。機能やパフォーマンスの改善。
• Presentation Translator
de:code 2017 のKeynote(40:30あたり)でPowerPointでプレゼンしているのを
リアルタイムに翻訳するデモ。
https://channel9.msdn.com/Events/de-code/2017/keynote-jp
• LUISの機能改善

30. super super Easy !
Flexible !
Tested !
おわりに

31. 関連リソース
Preview Pricing
• https://www.microsoft.com/cognitive-services/en-us/pricing
Documentation
• https://blogs.msdn.microsoft.com/bluesky/2017/05/11/build-
2017-cognitive-services-update-ja/
• https://channel9.msdn.com/Events/Build/2017
• microsoft.com/cognitive
Join Community
• https://www.facebook.com/groups/cogbot/
• https://stackoverflow.com/questions/tagged/microsoft-cognitive
• https://social.msdn.microsoft.com/forums/azure/en-
US/home?forum=mlapi
• https://cognitive.uservoice.com/

32. Thank you.
2017-6-16
Cogbot #6
Give your solutions a human side.