映像・放送業界における主要データである映像の解析エンジンとその活用の実装について Step by Step で解説。Video Indexer と Logic App の使い方を中心にしています。

1. 畠山 大有 | Daiyu Hatakeyama | @dahatake
Architect && Software Engineer && Applied Data Scientist (目指している)
Microsoft Japan
AI for Media
Technical Deep Dive

7. ツールによ
る
自動化

8. メタデータ

9. 映像 意味づけ
メタデータ 自動

10. Cloud
検索性
現場の課題
• コンテンツそのものではなく、シーン
の検索
• 高負荷なシーン、人物、場所、ブラン
ド、
テロップ、音声などへのメタデータ付
与作業
• 海外収録素材の翻訳の費用と時間の確
保
期待される効果
• シーン検索時間の実現
• 多言語の自動翻訳
• 特定トピックの自動検出
 多言語字幕作成
 固有名詞抽出
 トピック登録・抽出
 機械翻訳
 サムネイル作成
 顔登録・抽出
 Proxy 作成
 自動編集 (in点-out点指定)
 マルチデバイス 対応の
Web Player
 DRM 含めた暗号化
Proxy
映像
サムネイ
ル

11. Cloud
メタデータ
通知
現場の課題
• 刻々と追加される報道素材の検索
• 海外収録素材の翻訳の費用と時間の確
保
• 時間が無い中での不要なシーンカット
などの
ラフカット編集作業者と時間の確保
期待される効果
• 字幕文字列の自動作成
• シーン検索時間の短縮
• 多言語の自動翻訳
• 特定トピックの自動検出、ラフカット映像作
成、
マルチデバイスへのユーザー毎の通知
 多言語字幕作成
 固有名詞抽出
 トピック登録・抽出
 機械翻訳
 サムネイル作成
 顔登録・抽出
 Proxy 作成
 自動編集 (in点-out点指定)
 マルチデバイス 対応の
Web Player
 DRM 含めた暗号化
ラフカッ
ト
映像
 通知
サムネイ
ル

14. メタデータ

17. NEW!

19. Digital Feedback Loop
Data
AI

20. Data
AI

22. 付加価値を提供する
多くのパートナー
ソリューション
Streaming /
CDN
コンテンツ
保護
Processing取り込み
と保管
メディア 配信の コア 機能を
API として提供
Azure Media Services
PlayerAI
(Artificial
Intelligence)

23. Azure Media
Service serverless
翻訳
感情 キー
ワード

24.  Video と Audio
Azure
 Azure Media Services: 動画配信
 Azure Search: 全文検索
 既存システムへの容易な組み込みと、自動化のためのAPI
 カスタマイズ によるドメイン最適化
 独自の Data

25. Video Indexer Service
Azure Media servicesCognitive services
Gallery
Deep Search
Editor
On the fly preview
Segments Playlist
Player
Cognitive Insights
Cognitive timeline
Recommendations
Integration
RESTful API
Insights and player widgets
Video Indexer Core
StreamingIndexing
Azure Search
Search
Customize
Brands
Language
People
Azure Cosmos DB Azure Storage
保存 検索
Proxy 作成 ストリーミング

27. Serverless

28. • コードレス
Twitter
Connector

31. https://docs.microsoft.com/ja-jp/azure/media-services/video-indexer/connect-to-azure

36. https://docs.microsoft.com/ja-jp/azure/logic-apps/logic-apps-handle-large-
messages

37. https://api-portal.videoindexer.ai/
https://docs.microsoft.com/ja-jp/azure/media-services/video-indexer/video-indexer-use-apis

38. https://api-portal.videoindexer.ai/developer
https://www.videoindexer.ai/settings/account

45. triggerOutputs()[‘queries’][‘id’]
triggerOutputs()[‘queries’][‘status’]

48. body('Get_Video_Index')['videos'][0]['publishedUrl']
https://api-
portal.videoindexer.ai/docs/services/Operations/operations/Get-Video-
Index?

49. https://api-portal.videoindexer.ai/

50. https://docs.microsoft.com/ja-jp/azure/media-services/video-
indexer/logic-apps-connector-tutorial

53. https://docs.microsoft.com/ja-jp/samples/browse/?products=azure-media-services

54. Step-by-Step Learning Achievements スムーズな学習環境
 無料
 日本語対応
 ブラウザーのみ。ハンズオ
ン環境も含めて
 ダウンロード可能なサンプ
ルコード
 Product/Service, 技術レベル,
job role, などに応じたガイダ
ンス
 Videos, チュートリアル, ハン
ズオン
 スキルアップを促す
 ユーザー プロファイ
ル毎に
カスタマイズ
www.microsoft.com/learn

55. www.microsoft.com/ja-jp/events

56. aischool.microsoft.com

57. Invent with purpose.