HDMIキャプチャデバイスを用いたゲーム映像解析ソフトウェア「IkaLog」 Blackmagic Design製品を用いたゲーム動画解析 Aug 9, 2016 Blackmagic Creators Show 特別編「ディベロッパーセミナー」

1. 本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。

2. 2004
|
2011
2011
|
2014
2014
|
SEサービス プリセールス
@
So+ware
Research
Associates,
Inc.
システム構築、客先のシステム運用、提案でキャリアをスタート
→
プリセールス〜PMを担当するインフラエンジニア
システムアーキテクト
@
Trigence
Semiconductor,
Inc.
エンベデッド開発支援からITシステム管理まで多岐に対応
セールスエンジニア
@
Fusion-­‐io,
Inc.
高速半導体ストレージ ioDrive
/
ioMemory
シリーズの
SE
として活動

4. 様々なステージ
• ステージごとに幾つもの戦略
が知られている
• 敵がどう攻めてくるか知り、
予測する必要がある
ブキ編成
• 各ステージやルールに対して、
幾つかのブキが「有利」で
あることが知られている

5. HDMI
キャプチャデバイス
IkaLog
実行用PC

6. •
•
•
Nintendo
WiiU
＆ スプラトゥーン
{
“kills”:
5,
“deaths”:
1
}
IkaLog
映像
解析結果
ログファイル出力
外部ツール連携
外部Webサイト連携
蓄積／出力先

11. 録画ソフト 自動制御
AmaRecTV
カラーLED連動
Fluentd
転送
スプラトゥーン戦績記録SNS
CSV/JSONファイル保存
スクリーンショット保存
SNS投稿
IkaLog

12. •
•

13. 13

14. 自分が倒されて
行動不能だった時間
イカ（味方／敵 計８匹）の生死状況
チームのスペシャル発動、キル／デス
自分の塗り面積

19. データソース
hUps://stat.ink/enXre/user
【ピーク】
24時間あたり
370ユーザ、約15,000ゲームを分析
毎日 約200ユーザが利用
24時間あたり平均4500ゲームを処理

20. hUps://www.youtube.com/watch?v=iVMmSDWHmEo
各シーンへのリンク
味方・敵の構成、成績等

23. 大型スクリーンにWii
U出力
4台分を投影
UltraStudio
Mini
Recorderで
キャプチャした画像を用いて
関連機材を自動制御

28. 引用元 hUp://piroz.hatenablog.com/entry/2016/03/03/215511

29. DirectShow
(Windows)
AVFoundaXon
キャプチャライブラリ
videoInput
ライブラリ
AVFoundaXon
(MacOS
X)
キャプチャ用
開発ライブラリ
キャプチャ
フレームワーク
HDMI映像取り込みのための
キャプチャデバイス
ソース映像に忠実な製品を
開発のリファレンスデバイスとして選定
「スプラトゥーン」に特化した画像解析処理
・Wii
Uからの720p
HDMI入力映像を解析
・画像認識、機械学習の応用により
ゲーム状況をデータ化
Powered
by

30. •
•
•
•
•
•

31. キャプチャ環境
開発環境
録画データをコピー
開発結果をコピー
【Windows環境】
・映像キャプチャ用製品が多い
・キャプチャ時にOSクラッシュも度々・・・
・ここ10年Windowsを使っておらず、
慣れていなかった
【Mac環境】
・映像キャプチャ用製品が少ない、
もしくはサポートが限定的なもの多い
・Python開発に使いやすいUNIX
OS
・私がキャプチャデバイスを持っておらず
データコピーが苦痛だった

32. Blackmagic
Design
UltraStudio
Mini
Recorder
導入によるメリット
・テスト目的のキャプチャやデータ収集を開発機から直接行えるようになった
・開発中のコードをすぐにテストできるようになった
・画質にクセがなく、成果物が多くの環境でもほぼ動作する
データ収集、開発、テスト

33. •
–
–
•
–

34. –
•
•
–
•

36. ソース映像
マスク画像
加算画像
+
=
=
正しいマスクを加算すると画像が真っ白になる
違うマスクを加算すると画像が真っ白にならない

38. 38

39. •
–
–
•
–

41. 事前に学習してある文字データ
（正解がわかっている）
各画像に対して、どの文字が最も
近い（似ている）かを判定した結果

43. 43

44. •
•
•
•
他の装備品が被っている
保護色（１）
保護色（２）

45. 入力画像
ラプラシアン
フィルタ適用
グレー
スケール
特徴量画像
（合計64ドット)
Thanks
@itoooon
輪郭情報

47. •
•
–
•
•