「音声再生遅延推測機能」正式リリース！　ズレない！待たせない！快適なスマホゲームを実現する技術紹介

Copyright ©CRI Middleware Co., Ltd.
「音声再生遅延推測機能」正式リリース！
ズレない！待たせない！
快適なスマホゲームを実現する技術紹介
2015年7月17日
株式会社CRI・ミドルウェア
櫻井敦史
Game Tools & Middleware Forum 2015 TOKYO

2Copyright ©CRI Middleware Co., Ltd.
（株）CRI・ミドルウェア
音声・映像を専門としたミドルウェア開発会社
人工知能・CD・音声・映像技術の研究開発
セガサターン用ADX
PS2・GC・Xboxをはじめとする
マルチプラットフォーム展開
iOS/Android用CRIWARE
1990年
1995年
2001年
2011年～
2012年
採用タイトル 3,000 を突破

■ CRIのミドルウェア群の総称
機能別の名称
・CRI ADX2
オーディオ統合ソリューション
・CRI Sofdec2
動画再生ミドルウェア。アルファムービーなど
・ファイルマジックPRO
ファイル読み込み、圧縮/パッキング、ネットワーク対応
CRIWAREとは

CRIWARE 採用例（F2P）
iPhone & AndroidAndroidiPhone

モバイル環境での利用形態
● iOS ネイティブ開発
Objective-C からCRI API を呼び出す。64bit対応済。
● Android ネイティブ開発
NDKから CRI API を呼び出す。Android 5.0 動作確認済。
● Unity 5 / Unity 4 PRO (iOS, Android, PC, Mac)
ネイティブプラグイン提供。スクリプトから制御可能。
SofdecはAndroidマルチスレッドレンダリング非対応。
● cocos2d-x (iOS, Android, PC, Mac)
サンプルプログラムとムービ組み込みクラス提供。
2.x系と3.x系の両方をサポート。iOS 64bit対応済。

ADX2の概要

■ プログラマとサウンドデザイナの分業
パラメータ制御や再生タイミング、発音数制御などは、データ側に設定。
→プログラム側は単純な再生制御だけでＯＫ。
ADX2の基本コンセプト
音声ファイル
バイナリファイル
プログラマ
ADX2オーサリングツールゲームプログラム
音（キュー）を
デザイン
キューを
指定して再生！
サウンドデザイナー

CRI独自の音声コーデック
ADX 高音質・低負荷な1/4圧縮
HCA MP3/AAC同等の高音質・高圧縮
HCA-MX
HCAと同じ圧縮率・高音質だが、
複数再生時に非常に低負荷
HCA-MXを16音再生
（例）
モノラル48kHz
HCA-MXで圧縮して、
16本同時再生の場合、
iPhone4SでCPU約10%

イントロ付きループ
■ 途切れず、綺麗にループするBGM
- ループポイント付き波形の圧縮・再生に対応
- イントロ付きループBGMをプログラムの工夫無しで実現

音ズレ対策[Android]

音ズレが気になる演出１
■ リズムゲーム
- 音楽に合わせてタップ操作。
■ 音楽に合わせた、演出の切り替え
- 音楽に合わせて、照明が変化するライブシーンなど。

音ズレが気になる演出２
■ ユーザーの操作に合わせた音でも…
- スワイプに合わせて、SEの音階が
上がっていくような演出とか。
■ 口パクにこだわっても…
- ボイスに合わせて口パクをしっかり描画。

Androidの何が問題か？
■ サウンド再生レイテンシと、その端末差
再生のきっかけ
プログラムによる再生指示
スピーカーからの発音
・ユーザーのタッチ操作
・自動イベントシーンで指定の時間になった
など
ここにかかる時間が
「再生レイテンシ」
● Android の場合
- 遅い！
- 機種によって差が激しい！
遅いと 200msec以上。
- 誰も教えてくれない！

絵と音のズレ
■ 音ズレ問題をもう少し分解すると
（１）鳴っている音の時刻を正しく取れるか？
→リズムゲームの譜面表示、ライブ照明演出、口パク
（２）再生指示から音がなるまでのレイテンシ
→スワイプ操作音、リズムゲームのタップ音
（３）絵と音の同期は崩れないか？
→（のちほど補足説明）

絵と音のズレ
■ ADX2での対策方法
（１）鳴っている音の時刻を正しく取れるか？
→「サウンド再生遅延推測機能」で音ズレを調べて、
描画のタイミングを調整する（遅らせる）
（２）再生指示から音がなるまでのレイテンシ
→低レイテンシ再生モードを使用して、音を鳴らす。
＝ネイティブサウンドレンダラ指定でボイスプールを作成する。

新機能（今月リリース予定）
■ サウンド再生遅延推測機能
2015年2月にβ版機能としてADX2 SDKに搭載。
今月、正式機能としてリリース予定（関数仕様が刷新されます）
アプリが、ADX再生時刻に推測結果を加味して描画タイミングを
自動調整できるようになります。
Android端末毎の個別調整が不要になります。
※CRIなりの推測値のため、100％正しいとは保証できません。
あくまでもタイミング調整の参考値として扱ってください。

[Android] ①遅延推測機能
■ 推測結果の利用イメージ

■ アプリでの利用例（リズムゲームの場合）
初回起動時
ADX2で推測値を取得
タイミング調整の値として
遅延推測の値を保存
２回目以降の起動
タイミング調整値の読み込み
（起動のたびに調整値が勝手に変わらないように）
（ノートの表示時刻＋タイミング調整値）＞音声の時刻
の条件を満たしたらノート表示＝絵を遅らせる。
※ユーザーによるタイミング調整オプションは実装してください。
推測値はタイミング調整の初期値として使うことをお勧めします。

■ ADX2遅延推測の仕組み（概要）
ADX2出力バッファ Androidのサウンドバッファ
H/W
基本的な仕組みは単純です。
以下の要素を考慮しながら、ADX2時刻とのズレを計算します。
・ADX2出力バッファのデータ消費
・Androidのサウンドバッファ（OpenSLES）のデータ消費
・再生指示を出したタイミング
結果のゆらぎや異常系も考慮して、最終的な推測値を作ります。

参考情報：
■ Android側サウンドバッファの再生位置について
最初からOpenSLESのGetPositionを使えばいいのでは？
試してみると…
更新粒度に端末差が大きい。
再生位置が動き始めるまでの
時刻にゆらぎがある。
データ供給不足が起きると、
再生位置がリセットされる？
など、扱いに注意が必要。
同じnexus5で２回計測

■ 補正がうまくいかないケースもある…と思います…
端末差を考慮した推測方法ではないので、推測がうまくいかない
端末もあるのではないかと考えています。
XPERIAの xLAUDなど、端末側でサウンド最終段に特殊処理が
入るような場合は怪しいです。
（今回試したら、xLAUDが有効でも大丈夫でした）
今後も推測方法は見直していきたいので、ご意見や情報の
フィードバックをお待ちしています。

[Android] ②低レイテンシ再生
■ ADX2の低レイテンシ再生モードについて
Android版ADX2は、音ごとに２つの再生モードが指定できます。
●通常再生モード（ASR）
ADX側で全ての音をミキシングして、１つの音として出力。
最終段が１音なのでAndroidの端末毎の影響を受けにくい。
複数トラックの同期保証やDSPエフェクトなどが利用可能。
●低レイテンシ再生モード（NSR）
１つの音をAndroidの１音として直接出力する。
たくさん鳴らすと端末によって処理落ちしたりするので注意。
HCA-MXコーデックが使えないなど制限も多い。

[Android] ②低レイテンシ再生
■ 低レイテンシ再生モードの使いどころ
リズムゲームのタップ音や、スワイプ操作に合わせた音など。
リズムゲームの場合、連打されると処理落ちが発生する可能性も
あるので注意してください。
問題が出た場合は、発音数制御などの調整を検討してください。
※ADX2の遅延推測結果は、低レイテンシ再生の時刻には適用できませ
ん。（再生時刻との同期が必要なものは通常再生してください。）

絵と音の同期
■ 絵と音の同期は崩れないか？
再生開始の遅延時間がわかったとしても、再生途中で
（外部要因によって）絵と音の同期が崩れる可能性があります。
例えば…
・ユーザ操作によるポーズON/OFF
・アプリのサスペンド／レジューム
・プッシュ通知や電話着信
・スクリーンショットの撮影
・アプリの処理落ちや、データ不足等による音途切れ

絵と音の同期
■ 時刻精度と滑らかさ
この問題はADX2がまだ弱いところです。
リズムゲーム開発で困るので、改善検討中。
●ADX2の再生時刻系１：GetTimeReal
滑らかに時刻が増加しますが、ポーズ連打で音とズレが発生。
●ADX2の再生時刻系２：GetNumPlayedSamples
音と大きくはずれませんが、精度が粗く時刻が少しゆらぎます。

サウンドまわりのADX2 TIPS

導入事例
■ Unite 2015 のセッションで各種事例を紹介
2015年4月に開催された Unite 2015 にて、
「Unityで音を制す」と題した講演を行いました。
http://japan.unity3d.com/unite/unite2015/schedule
講演資料も講演動画も公開されていますので、
どうぞご覧ください。

リズムゲームを想定
■ 楽曲の追加配信に備えて
ADX2では「キューシート」という単位で
サウンドデータを圧縮・パッキングします。
リズムゲームの場合は追加配信に備えて、
曲ごとにキューシートを作るのが便利。

■ 曲リストでのプレビュー用データ１
曲リストで選択された時に、その曲のハイライトだけを再生したい
場合があります。専用素材を増やさずに、対応できます。
同じ曲データに対して、開始／終端／オートメーションを指定。
開始位置終了位置
オートメーション
でフェード指定

■ 曲リストでのプレビュー用データ２
ハイライト再生をループさせたい場合、もうひと手間。
キューリンクを使って、ハイライト再生をループ指定。
ループ指定
キューリンク
Preview_M003_One

簡単インタラクティブ
■ トラックごとの音量やパラメータをリアルタイムに変更
音楽を複数トラックにわけておいて、
ゲームからリアルタイムにコントロール。
ツール上でサウンド変化をデザイン。
（例１）
インストトラックとボーカルトラック。
（例２）
バトル曲とフィールド曲。
（例３）
バトルの盛り上がり別トラック。
などなど。
音量やエフェクト
を変更可能

フェードイン／アウト
■ データ側でもプログラム側でも設定可能
データでやるならエンベロープ設定。
カテゴリーリミットと組み合わせると、
簡単にクロスフェード設定できる。
（ただし必ず曲の頭がフェードインする）
プログラムでやるなら、プレーヤにフェーダーをアタッチ。
プログラムでフェード時間等を細かく指定できます。

ランダマイズ
■ パラメータだけでなく、鳴らす音自体もランダム可
複数のボイスをキューに登録して、
ランダムに再生することが可能。
ランダムの割合も変更可能。

特定音の強調
■ ジングルやボイスを強調する（ダッキング）
ジングルやキャラボイスなど強調したいサウンドがある場合、
音楽や効果音の音量を一時的に下げることが出来ます。
いろいろな効果音が同時に鳴っていても大丈夫です。
音量を下げる対象かどうかはカテゴリーで指定します。
変化
カテゴリ
トリガ
カテゴリ

ADX2/Sofdec2 の暗号化
● ADX2/Sofdec2データの暗号化
暗号化することで、iOS/Android含めた全機種でデータ共通利用可能。
Unityでは暗号キー＋認証ファイル＋暗号化データの組み合わせで使用。
Cocos2d-xでは暗号キー指定のみで使用可能。

デモアプリ
■ りんごウォーズ
- インタラクティブミュージック
- ジングル強調（ダッキング）

ADX2 最新情報

新機能（今月リリース）
■ トラック遷移（インタラクティブミュージックの新機能）
キュー内の別のトラックに、ビートに合わせて、同じ拍数の
ところに切り替わります。トラックごとのBPMが違っても大丈夫。
遷移３
遷移１
遷移２

■ トラック遷移時のクロスフェードと読み込み
ストリーム読み込み１
ストリーム読み込み２
新機能（今月リリース）
トラック遷移時は
クロスフェード方法を
詳細設定可能。
総トラック数に関わらず、
読み込みとデコードは
たかだか２本のみ。

機能拡張（今月リリース）
■ DSPバス本数を拡張
DSPバスの本数を従来の８本から、最大64本に拡張します。
各キューでのバスセンド設定は、テンプレート化して簡単指定。

機能拡張（リリース済）
■ 多言語対応データの設定方法を大幅拡張
従来の言語サブフォルダ指定は命名規則などの自由度がアップ。
サブフォルダとは別にトラック単位での言語指定にも対応しました。

リリース検討中
■ CRI Atom Craft プロジェクトの差分チェック
２つのプロジェクトファイルを比較して、設定値の何が変わったのか
などの差分を調べるツールを準備中です。
CRI Atom Craft 用の diff ツールとなります。
リリース検討中ですのでご興味の方はご一報ください。
仕様：
コマンドライン用ツール。
分析結果はテキスト出力。
プロジェクトのマージ機能はありません。

TIPS：設定値のコピペ
■ リスト表示情報の列コピー
右クリックから「列コピー」でCSVやテキストに落として、
編集後にペースが可能です。（プロジェクト全体のCSV出力は不要）

アルファムービー演出

アルファムービーの活用
■画面切り替え不要
- テクスチャ貼り付け + アルファムービ。
→好きなところに重ねて貼れる！
- ゲーム画面にムービを重ねられるので、
再生前後の画面の切り替えが不要。
- 再生キャンセルにも迅速に反応。
＜使用例＞
- 必殺技に派手なカットインをつけるとか…
- ゲーム画面をバックに、キャラをアニメーションさせるとか…
- 演出ムービの向こうに少しだけ透けてみえる敵キャラとか…
- 演出ムービを数パターン使い分けて、期待度アップを表現するとか…
- シーン開始時のキャプションに使うとか…

Android版デモのダウンロード
■ アルファムービデモのAndroid版
- http://crimw.me/alphamovie
- 「提供元不明のアプリ」のインストールを許可してください。
- 容量約23MByte
＜動作環境＞
ARMv7対応のCPU

検証用のサンプル素材
■ サンプル素材（AVI）と AfterEffectsプロジェクト
- CRIのSofdec2紹介ページからサンプル素材へのリンクがあります。
http://www.cri-mw.co.jp/alphamovie/index.html
- ドラゴン召喚AVI ＆女の子の射撃カットインAVI （アルファ値入り）
- 回る女の子のAfterEffectsプロジェクト（全素材入り）
- 魔法スキル系のエフェクトムービ素材AVI １８種（新公開）

ファイルのパッキングと
追加配信対策

リソース配信のストレス軽減
サーバー
インターネット
ゲーム
データ
ゲーム
データ
バックグラウンド
ダウンロード
ローカルストレージ
■ サーバーからローカルストレージにファイルコピー
- 追加データなどをゲームプレイを止めずに、バックグラウンドでダウンロード。
- ダウンロードするファイルはなんでもＯＫ。
- ネット切断時でも原則として自動で無限リトライ。

データ圧縮とパッキング
データファイル
パッキング
ツール
ランタイム
ライブラリ
パックファイル
システム
メモリ
個別ファイル
独自ファイル圧縮圧縮の有無を区別不要
圧縮の展開時
中間バッファ不要
■ ファイルシステム
- 非同期アクセス機能（ノンブロッキング読み書き/バックグラウンドローディング）
- 独自のデータ圧縮（展開時の中間バッファ不要）
- パッキング機能パックしたファイルも単独のファイルも区別せず読み込みが可能
※ Unityのモデルデータ等は、
アセットバンドルファイルのままがオススメ

■ ユーザーカスタム暗号化機能
パック（圧縮）した個々のファイルに対して、ユーザー独自の暗号化が
かけられるようになります。（※ Unity向けは未対応）
新機能（今月末リリース予定）
プロジェクトファイル
CPK
CPK暗号化ツールCpkFileBuilder
ユーザ暗号化ツール
圧縮済の個別ファイル
暗号化済ファイル
暗号化CPK
暗号化ファイル定義

Macツール仕込み中
■ Mac版 cpkmakec (コンソールツール）
いくつかの機能制限はありますが、cpkmakecのMac版は試作済です。
先行して試してみたいという方は、ご連絡ください。
その他ツールについては、目途が立ち次第お知らせします。

ゲームエンジン対応
■ 各種ゲームエンジン（スマートフォン）とのトピックス

Unity + CRIWARE
■ CRIWARE プラグイン for Unity
- ADX2 / Sofdec2 / ファイルマジックPRO すべてが対応。
- AndroidのマルチスレッドレンダリングにSofdec2は非対応。
（Unity側がネイティブプラグイン非対応のため……）
- PS4 / PS Vita /PS3 版のUnity対応プラグインも提供中。

アンリアル４ + CRIWARE
■ スマートフォン版は対応検証中
- 未リリース。開発検証ではADX2/Sofdec2ともにほぼ完了。
- Sofdec2の描画性能の改善を模索中。
- PC / PS4 / XboxOne 版は対応済。

Cocos2d-x 解説本
『cocos2d-xではじめるスマートフォンゲーム開発
[cocos2d-x Ver.3対応] for iOS/Android』
三木康暉（著） @giginet
発売：技術評論社
価格：2980円+税
発売日：2014年12月22日
体裁：B5変形判 368ページフルカラー
ISBN：978-4-7741-7055-8
※ADX2 LE を使用したサンプルも紹介されています。

CRIWAREの料金体系
（基本無料・アイテム課金アプリ向け）

CRIWARE の料金体系
●基本無料・アイテム課金アプリ向け
初期費：３５万円／タイトル
月額許諾料
・４０万円。iOS/Android 両方ＯＫ。
・月間売上2700万円以下なら、翌月は無料。（初月は必須）
技術サポート込み（メール・電話）
4月５月６月７月８月９月１０月１１月３月
アプリ配信！
月額
技術サポート（開発中から、リリース後も）
無償無償無償無償
月間売上(2700万円以下）報告
月額月額月額
試用無償！
ADX2/Sofdec2/ファイルマジックPRO
全部使えます
採用決定
初期費

さいごに
■ CRIWAREとは
CRIWARE は単なるパッケージではありません。
より素晴らしいゲーム制作をサポートするサービスです。
是非とも、皆様のご意見・ご要望をお聞かせください。
お問い合わせ…
http://www.cri-mw.co.jp/contact

「音声再生遅延推測機能」正式リリース！　ズレない！待たせない！快適なスマホゲームを実現する技術紹介

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 「音声再生遅延推測機能」正式リリース！　ズレない！待たせない！快適なスマホゲームを実現する技術紹介

Ähnlich wie 「音声再生遅延推測機能」正式リリース！　ズレない！待たせない！快適なスマホゲームを実現する技術紹介 (20)