NAB Show 2019 までの幾つかの大型イベントを受けて、"AI for Media" = AI 技術の映像業界への応用 についての最新状況です。

1. AI for Media 2019 Spring
- IBC 2018 / NAB 2019 / Build 2019 update -
畠山 大有 | Daiyu Hatakeyama | dahatake
日本マイクロソフト株式会社
Cloud Solution Architect

2. データが
ビジネスを動かす
新しい原動力になる

3. 使い慣れた プログラミング言語, 開
発ツール,フレームワーク を選択でき
る
>90%
Fortune 500 の企業が
Microsoft Cloud を利用
業界最高峰の セキュリティ・コンプラ
イアンス
・プライバシー・透明性・倫理標準
On-premisesEdgeCloud
AI everywhere –
クラウド, Edge デバイス, オンプ
レミス
生産性の高いツールとサービスを進化し続
けさせ
迅速なサービス開発と市場投入を実現
Powerful
tools
Pre-Trained AI
services
Comprehensive
platform

4. MSR Beijing
MSR Cambridge
MSR Redmond MSR Montreal
MSR New EnglandMSR New York
96%
RESNET vision テスト
94.9%
Switchboard テスト
89.4%
Stanford CoQA テスト
69.9%
機械翻訳
Research system
39.5 Tera FLOPS
Intel Stratix 10
MSR India
MSR Shanghai
人と同等の
機械翻訳
人と同等の
物体認識
Switchboar
d
Switchbo
ard
cellular
Meeting
speech
IBM
Switchboard
Broadcast
speech
人と同等の
音声認識
人と同等の
会話形式のQ&A
初めて FPGA を
データセンターに展開

6. Customer Insights Sales Insights Virtual Assistants
Cash Flow
Forecasting
HR Insights
Churn Analytics Dynamic Pricing
Waiting line
optimization
Risk Management Quality Assurance Resource Planning
Lead Scoring
Intelligent
chat-bots
Financial
Forecasting
Employee Insights
Marketing Sales Service Finance Operations Workforce
Product
Recommendation
Predictive
Maintenance
Demand
Forecasting

7. 映像 意味づけ
メタデータ 自動

8. メタデータ = Asset

9. Cloud-based serverless workflow
 speech-to-text, face recognition など
メタデータ
https://customers.microsoft.com/en-us/story/esg-media-telecommunications-azure
「誰もその時点で見ていなかったとしても、私たちが番組に出したい場面を、
それが深夜の1:10 AM にキャプチャされたビデオから秒単位で見つけることができま
す。
これはリソースの大幅な節約になります。
- Lisa Perrin, CEO of Creative Networks at Endemol Shine Group -

10. Legend
Big Brother
Multi-camera
Production
毎分クリップ作成。
その後 Video AI を実行
• Video Analytics
• Audio Analytics
Low-res
Live stream
(RTMP)
High-res
Live stream
5 min MXF segments
Upload
Face Detection
Speech-to-text
Motion
Detection
Logger
サブクリッピング
スティッチング
Cosmos DB
Logic App
Azure
Media Services
Azure Storage
Low resolution flow
High resolution flow
Scene download request
出力
• Output copy
• Asset cleaning
Editor
Live
archive
Azure Media
Services
Encoder
Azure Storage
MXF Broadcast Quality
Video
Logic App
Video AI
Services:
• Face API
• Speech Analytics
MP4 file を
Social Media へ投稿
Import for Editing
Social media
Live Event

11. • Video Indexer メタデー
タ
エンゲージメント

12. 精度の追究だ
け

13. AI と 人 のコラボレーション

14. 写真の
Upload
映っているも
のはどれです
か?

15. 写真の
Upload
映っているも
のはどれです
か?

16. 写真の
Upload
映っているも
のはどれです
か?

17. AI everywhere !!!

18. Azure Bot Service
Azure Cognitive Services
Azure Cognitive Search
Azure Databricks
Azure Machine Learning
Pre-Trained ModelAI apps & agents Custom Build
Azure AI

19. Azure Cognitive Services
Language
Vision
Speech
Decision
Web search
Bing Spell Check
Custom
Vision
Personalizer
Form Recognizer
Neural Text-to-Speech
Anomaly Detector Content
Moderator
Content
Moderator
Custom Speech
Speech
transcription
Text-to-Speech
Conversation
transcription capability
Face
Video
Indexer
Ink Recognizer
Computer
Vision
Language
Understanding
QnA Maker
Text Analytics
Translator Text
Bing Web
Search
Bing Custom
Search
Bing
Video Search
Bing Image Search
Bing
Local Business
Search
Bing Visual Search
Bing Entity Search
Bing News
Search
Bing Autosuggest

20. Model の実体は、ファイル
<Python> Modelの保存
出力された Model <C#>Model の読み込み
<C#>Model の利用 (実行)

21. 一部の Container Support!

23. Video Indexer - Model と Services
Models Services Coming soon
Auto lang identification
Detect spoken language &
support multi language content
Linguistic Transcript
Convert speech to text in 10
languages and allow extensions
Captioning
Create captions in three formats:
vtt, ttml, srt
Two channels processing
Auto detect, balancing, separate
transcript and merge to single
timeline
Noise reduction
Clear up telephony audio or
noisy recordings (based on
Skype filters)
Transcript customization
Fit to Industry, market and
domain specific terms
Speaker enumeration
Map and understand who spoke
when
Speaker statistics
Statistics for speakers speech
ratios in the audio
Visual text recognition
Extract and group text that
appears in video as overlay,
slides or background
Keyword extraction
Find out the keywords discussed
in each segment
Sentiment analysis
Compare levels of positive vs
negative spoken or written
moments over the timeline
Visual content moderation
Detect explicit visuals such
nudity and racy content
Labels identification
Tag objects such as cat, table,
car, ball etc. when they appear
Brand detection
Track brand mentions in speech
or on screen overheads with
option to customize
Celebrity identification
Identify celebrities and see their
biography
Keyframe extraction
Auto detection of stable
keyframes in a movie
Shot detection
Detect when a shot starts/ends
based on visual analysis
Black frame detection
Identification of black frames in
a movie
Audio effects
Identify audio effects such as
clapping, silence, speech
Thumbnail extraction
Automatically extract best face
selection image
Artifacts
Rich next level of details via
artifact files
Inline editing
Make manual fixes for errors
detected
Sub-clipping
Source video is stored once for
multiple playlists of video
segments
Search
Understand the context of
search results
Widgets
Easily embed delightful widgets
of the insights and player
Recommendations
Find more videos with similar
people discussing similar topics
Custom face identification
Customize face identification
model
Face detection
Detect and group faces in the
video
Rest API
Easily integrate with your
application with REST API
Text content moderation
Detect explicit text in audio
Translation
immediate translate of source to
54 languages
Topic inferencing
Identify main topics of the
video
Emotions identification
Detect emotions expressed in
speech vocal signals

24. 複数の Pre-Trained API

25. Media Services APIs v3 新機能
新機能
• CMAF (MPEG Common Media
Application Format) のサポートによ
る
相互運用性の向上、低遅延
ストリーミング、CDN キャッシュ
の効率
の向上
• Live 配信 - 低遅延モード (8-10秒程
度)
• Live 配信 - 4K/HEVC サポート
• Live 配信 - インジェストURL の固定
化
• Analytics – 強化・集約化された
Video Analytics と Audio Analytics
開発生産性の向上
• コマンドラインからの管理
CLI 2.0 サポート
• 多様なプログラミング言語の
サポート
.NET Core, Python, Java,
Node.js, Go SDKs
他の Azure
Services との連携
• Event Grid
• Logic Apps / Azure
Functions
• ARM Template
• Role Based Access Control
(RBAC) による API レベル
でのより高度なセキュリ
ティ

26. Video Indexer 新機能
カスタマイズ
• Person –
50 人物モデル, 100万名登
録
• Person – Person 管理画面
• 言語モデル – Active
Learning: 編集画面での修
正結果を、学習対象にでき
る – Custom Speech
Services の連携
Model 追加・強化
• 言語 - 音声言語の自動判定
• Topic - 複数のオンソロジーを利用
• Wikipedia - 約1700万
• IPTC NewsCode -1階層まで
• Video Indexer - 2万, 3階層
• セマンティック シーン (Preview)
- 意味的に関連している複数のショット
など
から、シーンを抽出
• エンドロール クレジット 検知
• ライブ文字起こし (Private Preview)
• 複数言語文字起こし (Private Preview)
• アニメーション キャラクター 検出
(Private Preview)
機能拡張
• AI ベースのラフカットエ
ディター - Portal と REST
API
• 推論用のコンピューターの
オートスケールVTT エクス
ポート
• Live Streaming への Video
Indexer 適用のサンプル
コードを GitHub にて提
供

27. 丸投げ
精度の考え方

28. 分類モデルの評価 = Confusion Matrix
①True Positive（真陽性） : 100%に近いほど良好
⇒A/(A+C)
②False Positive（偽陽性） : 0%に近いほど良好
⇒B/(B+D)
③True Negative : 100%に近いほど良好
⇒D/(B+D)
④False Negative : 0%に近いほど良好
⇒C/(C+D)
⑤Accuracy（正解率） : 100%に近いほど良好
⇒「○」「×」を正しく予測できた割合
⇒(A+D)/(A+B+C+D) : 100%に近いほど良好
⑥Precision（適合率） : 100%に近いほど良好
⇒A/(A+B)
⑦Recall（再現率） : 100%に近いほど良好
⇒①に同じ
⑧F1 Score :1.0に近いほど良好
⇒⑥、⑦の複合指標
⇒2×(⑥×⑦)/(⑥+⑦)
検証用データ
推論で得た分類
○ ×
正解の
分類
○ A件 C件
× B件 D件
正解が「○」
のデータ
推論で「○」と
されたデータ
A件C件 B件
D件
推論結果の例 主な評価指標

29. Confusion Matrix for Karugamo
Karugamoが写っているの
に、
モデルは推論できなかっ
た
-> モデルの見逃し
あり[推
論]
なし[推
論]
あり[正
解]
XX XX
なし[正
解]
XX XX

30. Confusion Matrix for Karugamo
Karugamo でないもの
に、
Karugamo と推論
->モデルの過検知？
あり[推
論]
なし[推
論]
あり[正
解]
XX XX
なし[正
解]
XX XX

31. 何を優先するかは、一概に決められない!
再現率(Recall)
適合率
(Precision)
ヒット数↑
ノイズ ↑
精度↑
漏れ↑
再現率、適合率の最適な
ブレイクポイント

32. テスト と 本番 で 精度 が違う可能性があ
る!
プログラミ
ング
機械学習
アプローチ 演繹的 帰納的。つまりブラックボックスは
残る
機能保証 (≒ 精度):
Function Test
可能 訓練データ次第。ただ、統計の域を
出ない
性能保証:
Performance Test
可能 可能
妥当性確認試験:
Validation Test
可能 やってみないと、わからない
https://www.slideshare.net/hironojumpei/ai-129527593

33. 道具
理解

35. 秘訣

36. AI School
aischool.microsoft.com

37. Step-by-Step Learning Achievements スムーズな学習環境
 無料
 日本語対応
 ブラウザーのみ。ハンズオ
ン環境も含めて
 ダウンロード可能なサンプ
ルコード
 Product/Service, 技術レベル,
job role, などに応じたガイダ
ンス
 Videos, チュートリアル, ハン
ズオン
 スキルアップを促す
 ユーザー プロファイ
ル毎に
カスタマイズ
www.microsoft.com/learn

38. © 2019 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。