2021/08/26、CEDEC2021にて行われた発表の講演資料です。 SND VR近未来サウンドデザイン 田中　孝 MyDearest株式会社 #アルトデウスBC #CEDEC2021 https://cedec.cesa.or.jp/2021/session/detail/s6053ec25ede4d

1. VR近未来サウンドデザイン
CEDEC 2021 田中孝

2. 自己紹介
VRゲームサウンドエンジニア 田中孝
武蔵野音楽大学作曲学科卒業後
1999年 株式会社セガにて
社内サウンドツールの開発
2004年 株式会社CRI・ミドルウェアにて
CRI ADX2 のツールの開発
2019年 MyDearest株式会社にて
VRゲームALTDEUS:Beyond Chronos(アルトデウス:BC)にて
インタラクティブミュージック構築、ボイスエフェクト、リアルタイムミキシング、 エフェクト調整、
サウンドプログラム
および一部の楽曲や効果音制作やボイスデータ管理を担当
@tatmos

3. ALTDEUS:Beyond Chronos
(アルトデウス:BC)の作成を通して得た
VRのサウンドにおける
以下の知見を紹介します。
- VRのサウンド定位
- アニメ風のサウンドデザイン
- インタラクティブミュージック
- VRゲームサウンドミックス
- サウンドプログラム
- まとめ（VR近未来サウンド）
アジェンダ
VRゲーム x 物語 x 音楽

4. ◆VRのサウンド定位
没入感のためのリアルさと認知（感覚）
音の再生位置の制御や気にするところ
- 距離変化
- 注視点（視線）での変化
- 音源方向と残響
- VRのヘッドロックとヘッドトラック
- センターによる重要音の再生
- HRTFと音楽

5. VRのサウンド定位 距離変化
◆広い空間
距離が離れる ＝ 音が減衰する
◆狭い空間
距離が離れる ＝ 残響が増える
◆距離の変化を残響で行うメリット
- 状況に合わせた
狙った音響（何を聴かせるか）
をデザインしやすい
部屋の中での会話が多い

6. VRのサウンド定位 距離変化
◆距離感の表現
残響付与＋ローパスフィルターで表現
→残響は、場所の空間表現に特徴づけができる
↑音量はほとんど変わらない
（グラフ：右に行くほど遠い）
◆空間表現としての残響
残響表現を入れることで、
壁や床、天井の質感、空間の広さなどを意識し
サウンドからもVRの没入感を支えることができる
↓遠いほど残響がかかる
（グラフ：右に行くほど遠い）

7. VRではHMD（ヘッドマウントディスプレイ）の向きで
ユーザーが何に注目しているかの情報を得られる
◆注目したものを強調できる
→ユーザーの注視点（視線の先にあるもの）
は聞き取りやすくする
長時間でもストレスの無い音環境
・・・
おそらく、人の耳は、一定時間同じ空間にいると残響除去的なノ
イズフィルターがかかるように思える。
物理的に正しくても、その情報から必要な情報だけを処理して取
り出している気がする。
（空間はそんなに変化しない情報なので、ノイズ情報になり、ま
た変化がおこるまでは不要な情報になる）
例えば響きすぎる会場では会話がしにくいなど。
VRのサウンド定位 注視点での変化
中央のキャラクターボイスが少し大き目に聞こえる
◆ぼかしとはっきりの使い分け
音量減衰+残響+フィルター＝ぼかし表現
立体音響はぼかしがちなので、長時間だと疲れてしまう
聞きたい音が聞こえずらいはNG
シーンを真上から見た図
水平方向でも変化

8. VRのサウンド定位 注視点での変化
◆前方の音が濁らない且つ前方感を出すには？
→ここで音量変化を用いた
（音量が大きければ、多少残響があっても埋もれない）
◆首がどの向きを向いているか
で変化する。
（リスナーの向き）
首の仰角（上下、垂直、縦）
（中央にとらえると若干強く、上下はEQ変化）
首の水平角（左右、水平、横）
（中央にとらえると若干強く）
↑ 後ろ側では変化させないことで、前後の違いを出す
↑中央だけ少し持ち上げる
（注目している時に音量が上がる）
横軸：水平の角度変化（中央がセンター）
↑中央だけ少し持ち上げる
（注目している時に音量が上がる）
横軸：仰角（縦角度）の角度変化（中央が水平位置）

9. VRのサウンド定位 音源方向と残響
ユーザーは首を動かすだけで、向きの変化はいつでもできるため、
注視点の変化など、音源方向に関しての
リアルタイムな変化は強めにしているのですが
→問題発生
残響成分がべったりしている・・・
◆原因
通常の音楽制作などの環境では、
ユーザーが任意に向きを変えることはないため
→それ向けに残響エフェクトがデザインされている
リバーブはそのまま使うと問題がある
残響成分もヘッドトラックしたい
（VRサウンド化 ＝ 空間に存在する感じを強くしたい）
角度情報に応じて変化するリバーブエフェクトを新規に作るのはコストが
高い
→左右独立した残響レベル
をリアルタイムコントロールをして、
疑似的に残響変化を強調した。
◆それ向けに残響エフェクトがデザインされている
→ステレオリバーブでは、左右の角度で、ディレイを複数鳴
らすといったエフェクトが多い
→この角度が固定されていて、
リアルタイムにヘッドトラックしない ため、
ドライ音が音像（ヘッドトラック）を持っていても
残響が追従せず違和感
（どこか違う世界の残響を聞いている感じに）

10. VRのサウンド定位 音源方向と残響（左右独立したリバーブ）
↑ 通常のリバーブは、事前にモノラル化されてしまう
（楽曲利用では問題ない）
↑ 左右独立して残響を作り、最後にミックスすることで左右の差が生
まれる （特殊なリバーブ）
（楽曲利用では左右のバランスが崩れるので不向き）
（空間表現としてもリアルな表現とはいえないが・・・）
左右独立した残響成分により
左右のバランスがリアルタイムに
変化する
空間の中にいる感覚に錯覚させる
左右の音の差がなくなる
（点で聞いているような状態）
（物理的にスピーカーがある前提のエフェクト
＝ヘッドフォン向きではない）

11. VRのサウンド定位 音源方向と残響
結果：
残響がヘッドトラックしているように感じることができ
た。
（はりついていない残響+ドライ音になじむ残響が得られた）
おそらく
頭に空間がはりついている状態
= 頭に部屋が連動している残響
＝ 結果はステレオだが、モノラル的に感じる
（回転変化がしない）
→という点を改善できたかもしれない
（真にはVR(ヘッドトラック可能ヘッドフォン）用のリバーブの開発が行われる
ことを望んでいます）
左右独立したリバーブを用意して、左右のミックスバランスがリ
バーブにもリアルタイム影響するようにした。
左側の
音のみ
入力
左成分
のみ
出力
右成分
のみ
出力
右側の
音のみ
入力
左右Mix
して
出力

12. VRのサウンド定位 ヘッドトラックとヘッドロック
◆ヘッドトラック (6DOF（移動）、3DOF（向き）)
頭の動きにあわせ音像が変化する
（トラッキングする）
VRならではのサウンド表現
→少し特殊に感じる音響
→空間表現として利用（声、効果音）
◆ヘッドロック (0DOF？(固定位置、固定視点試聴 ))
頭の動きにあわせ音像が変化
しない （はりついてる）
既存のサウンド表現
→ヘッドフォン試聴として聞きなれている音響
→音楽を聴かせたい部分に採用
（オープニング、エンディング、
BGM）
→どちらも有効なサウンド表現として使い分け
VRだと頭が動かせる

13. VRのサウンド定位 センターによる重要音の再生
◆ユーザーがどこを見ていても、
重要な音はしっかり聴かせたい。
- 例えば重要な音は、
5.1chならセンタースピーカーから鳴らすといった表現で、
他の音と違いをつけることができる。
（ファントムセンターなどとの違いをつけるなど特殊効果用に使える）
→VRでも少し異なる再生用に
ユーザーが向いた方向をセンターとして、顔の前方、
左右の手の間あたりに音源を配置した。
→どこを見ていてもにごらない。
→緩いヘッドロックとして利用
→首を動かすと若干遅れてついてくるようにした。
（通常とは異なる感、空間に音源がある感じにしたかった）
デバッグ表示したもの
ゲーム中は表示されない

14. VRのサウンド定位 まとめ
- 重要音は距離減衰しない （埋もれさせない）
- 注目音を目立たせる （ユーザー視点）
- ヘッドロック 音楽、環境音 （向き変化しない音）
- ヘッドトラック ボイス、効果音（向き変化する音）
- 緩いヘッドトラック オブジェクトオーディオ 重要な音、BGM
（VRでのセンタースピーカーのような特殊な配置）
@tatmos

15. ◆アニメ風のサウンドデザイン
アニメやゲームのサウンド表現との比較
VRならではの押さえておきたいところ
- キャラとの距離の違い
- 角度補正の違い
- 音像表現としてのリップシンク
- 暗転時の演出
- 外と内の音の違い
- 音声の特殊エフェクト

16. アニメ風の再生デザイン キャラとの距離の違い
アニメ
- 画面内 はっきりと聞こえる 左右の変化はほとんど無い
- 画面外 少し遠い ＝ 残響（部屋反響）強め 音量弱め ロー
パスフィルター
VR
- 注目したら はっきりきこえる
- 視界内だが少しずれている 定位をつける
- 視界の外 少し遠い
→VRの方が角度の変化が少し大げさになっている（キャラとの距
離が近い）
画面外に出たら左右
画面内でも左右に定位

17. アニメ風の再生デザイン 角度補正の違い
アニメ
- LRの角度 左右 ±30度 （前方スピーカーの位置）
VR
- LRの角度 左右 ±90度 （耳の位置）
ステレオ再生向けの角度とヘッドフォン向けの角度の違い
もし、↑の設定でヘッドフォンで体験すると、音源が前方に集まってしまう
（真横にいる人の音が前方から聞こえてしまう）
5.1chやステレオ向け
ヘッドフォンやVR向け

18. アニメ風の再生デザイン 音像表現としてのリップシンク
◆前後表現は音の表現だけではとても難しい
→映像表現と合わせることで解決
リップシンクが音と同期して変化が起こることでそこで鳴っている感が増す。
音が鳴った情報にリアクティブなビジュアルで反映していることで
そこから鳴っているであろう 納得感がある。
→見えていても、音が鳴っている感が無いものに音像感を付けるのは難しい。
→音と同期している演出が重要。 （ずれていると少し混乱する）
口の形が音に同期して変化する（リップシンク）→

19. アニメ風の再生デザイン 暗転時の演出
暗転時
シーンの移動、シーンの切り替わり時、
演出としての暗転シーンなどがある。
VRで移動のシーンは酔いが発生する可能性もある。（過剰な演出になりがち）
あえての表現としてユーザーの想像力にまかせることがで
きる。
この時に、音響のみの表現になるので、
リアルタイムでは難しい表現をしている。
話者が移動するなどをDearVRプラグインを利用した。
暗転シーン

20. アニメ風の再生デザイン 外と内の音の違い
向き
変化
空間の
響き
EQ
主観音声
自分の声
なし あり 若干低音強調
客観音声 あり あり
心の声 なし なし 若干低音強調
テレパシー
回想ボイス
なし なし
外から聞こえる音と 心の音（脳内の音）の違いを響
きやEQを変えたり、
リアルタイムの変化の違いもつけている
客観音声
客観音声
主観音声（画面に映らない音声）
心の声、内面の声、天の声

21. アニメ風の再生デザイン ボイス特殊エフェクト
◆心の声、テレパシー、回想ボイス
ディレイ、エコーをかける
◆電脳空間、通信ボイス、バトル中
フランジャー、ノイズ、
ディストーション
→ノイズ（ビットクラッシュ）は聞き取りづらくなる傾向がある（少し音を上げるなど調整が必要だった）
→声質なども空間化する上で難しいものも多い。
（ささやき声、怒鳴り声などの音量差を空間上どう表現するかなど）
客観ボイスに関しては、環境のもつ残響や角度による変化が足される。
ADX2の多くのバスを利用

22. アニメ風の再生デザイン まとめ
- 視界の中央にいる音を強調（ユーザーが聞きたい音を拾う）
- 中央以外は左右に正しくパンする。（同じ空間に存在する感を出すため）
- 視界の外の場合は、少し籠る。（音量やフィルターなど）
- 心の音は空間エフェクトをかけない。
- 主観の音声はヘッドトラックしない。（自身からの発音）
@tatmos

23. ◆インタラクティブミュージック
動的に変化する音楽
物語や感情に沿った制御で没入させる
- 長時間再生
- 作曲依頼方法
- 音が途切れない演出
- 音の停止のバリエーション

24. インタラクティブミュージック 長時間再生
少ない素材（約30曲）で10時間近くもたせるため、
レイヤーを3～４、
セクションは曲によって任意の数わけている。
シーンごとにレイヤーのレベル指定、
再生セクションの指定をしている。
レイヤー変化については、
フェードの時間もシーンごとに指定している。
レイヤーの分け方は、作曲段階からお願いしている。

25. インタラクティブミュージック 作曲依頼方法

26. インタラクティブミュージック 音が途切れない演出
- バトルはほぼセクション遷移（ブロック再生）のみ。
ビートが崩れないように切り替えている。
ユーザーの選択（撃つ、シールド、他）により曲の内容が変化する。
ユーザー操作などのインタラクションで、一時停止や短いループを挟む場合もあった。
CRI ADX2のブロック再生がとても相性が良かった。
レイヤーとブロックの両方を利用した例→
↑多くのブロックを利用した例

27. インタラクティブミュージック 音の停止のバリエーション
停止 ← 素材の余韻に合わせて設定した停止
即時停止 ← スキップ時などの急に音を止める場合の停止
フェードアウト時間指定 ← 演出で時間をかけての停止
ハイ残し、ロー残し、 ← 演出のバリエーション 音量変化以外の効果
ハイロー削り、
テープストップ ← ターンテーブルを止めるような演出
飛ばし ← カットが切り替わる時に音楽停止残響を残す
シーンの演出側で指定ができるようになっている

28. インタラクティブミュージック まとめ
- 長時間でも飽きさせないために使う（組み合わせのバリエーション）
→曲数以上の時間にも耐えられるようになった。
- 作曲依頼時に意図を明確にしておく
→ファイル名や、マスタリング時にテールの処理などが明確になる。
- 音が途切れないようにミドルウェアの機能を利用する
→ADX2のブロック遷移やAISACによるレイヤー音量制御が良い
- 音の停止方法もいろいろ演出できる
→「飛ばし」「ピッチダウン」は印象的に止めるので効果が高い
（多用は厳禁）
@tatmos

29. ◆VRゲームサウンドミキシング
動的に変化するサウンドで気をつけたところ
- 物語を伝える
- ラウドネス
- 感情を揺さぶるシーン
- マルチトラックの内訳
- 音楽が主役のシーン
- バトルでの音の飽和
- 振動データ

30. VRゲームサウンドミキシング 物語を伝える
声＞効果音＞音楽
◆ボイスが最重要
→長時間のゲームで音量変化が頻繁に発生すると疲れる ので、
あらかじめそれぞれのレベルを固定しておく。
BGMは、中央に配置されるボイスのために、
MS処理と、ボイスを埋もれさせないようにEQ調整を行っている。

31. VRゲームサウンドミキシング ラウドネス
開発終盤で通しプレイしながら計測しながら微調整
（調整時にMoment ピークを超え続けないように監視） - 6dB RMSでリミッターも。
ADVシーンはこのレベルに収まるが、バトルはかなり大きいシーンが続く場合も。
ADVシーンが静か目なので、OP,ED,Liveなど音楽のみの時は意図的に大き目に調整。
ADV
全体 -18LKFS ±2 (Integrated)
ボイス -14LKFSくらい (少し大きい) (Moment)
SE 音により。
BGM -18LKFS (Moment)
環境音 -24LKFS以下 (Moment)
Oculus Loudness Meterと
ADX2のプロファイラのラウドネス表示

32. VRゲームサウンドミキシング 感情を揺さぶるシーン
注目している音が大きい場合は、
環境音などがダッキング対象となる。
BGMはほとんどダッキングさせていない。
（一部歌詞つきのBGMのみダッキングがかかる程度）
主観声
効果音
ステレオ再生、向き変化しない
画面にうつる
効果音
定位音とステレオ音の組み合わせ
声 定位音
BGM・環境音 ステレオ再生、向きで変化
客観音声
客観音声
主観音声（画面に映らない効果音）
BGM、環境音
足音、人の動作音

33. VRゲームサウンドミキシング マルチトラックの内訳
カットシーンに合わせるトラックの持たせ方
- 主観音
主人公の音や声 → 空間に響く音（リアルタイムエフェク
ト）
- オブジェクトの音
巨大生物の音 → オブジェクトの位置から再生
- BGM・環境音 → ステレオヘッドロック再生
仰角変化あり
カットシーンの音であっても、ヘッドロックさせないために、複数のト
ラックにわけて、リアルタイムミキシングしている。
客観音声
主観音声（画面に映らない効果音）
BGM、環境音
オブジェクトの音

34. VRゲームサウンド バトルでの音の飽和
複数の音が同時に鳴り、音の密度がかなり高い。
演出に同期した音楽がメイン
射撃などSEが重要な一部の音は、
リアルタイムでBGM、
環境音の一部帯域のみダッキングがかかる。
どうしても強調したい音については、
ノンリアルタイムの立体音響処理された音を配置している。
→エレベーター上昇音、館内放送、警告音、特殊攻撃など
音楽 ステレオ再生、向き変化で響く
効果音 定位音とステレオ音の組み合わせ
声 響きが多め、通信系ノイズ
環境音 ステレオ、向きで変化
客観音声
主観音声（画面に映らない効果音、警告音）
BGM、環境音
UIオブジェクトの音
通信音声
爆発、爆風
特殊攻撃、警告音、館内放送、エレベーター上昇音
ハッチの開く音
駆動音

35. VRゲームサウンドミキシング 音楽が主役のシーン
◆VR（HRTF）ではなく２D再生（ヘッドロック）
→音楽のMix段階でヘッドフォン向けにラウドネスや音の広がりも含め調整しているので、
素材の音をほぼそのまま再生する。
→ステレオ(2mix)で用意されている素材は、左右のバランスが崩れると問題が起こりやす
い。
◆ライブ時の向きの表現
→音質劣化を最小限にしたかったため、音を3D配置はしなかった。
→左右の変化はない（かならずボーカルやベースはセンターを維持）しつつ、
正面以外を向いた時に、残響や低音成分が異なるトラックがブレンドされる。
→拍手や歓声なども向きで変化がおこるようにしていた。
ライブ音楽 ステレオ再生、向きで変化
歓声 ステレオ音、向きで変化
声 なし
環境音 なし
BGM、環境音（拍手、歓声）
＋低音補助として振動

36. VRゲームサウンドミキシング 振動データ
◆ライブ感の演出
エフェクト強調、ボーカルコンプ
+低音の振動補助
解析とデータ生成にMax/mspを利用。
ADX2のコールバックデータを生成し、タイミングや振動の調整を行えるようにした。
↓Cbとかかれているのが振動情報
低音解析して振動情報生成

37. VRゲームサウンドミキシング まとめ
- ラウドネスを意識する （爆音でないか？ 聞き取れる音量か？）
- 音楽は最高品質で届ける （立体音響で濁さない）
- 音が多い場合は、配置を工夫する （空間に音を逃がす）
- 特殊な音はここぞという時だけにする（常に同じ環境だと新鮮味がなくなる）
- 低音表現として振動を使っても良いかも（やりすぎ注意）
@tatmos

38. ◆サウンドプログラム
サウンドプログラム
- サウンドマネージャー(音楽、効果音、ボイス）
- Uranusとの連携
- サウンドデータ抽出

39. サウンドプログラム サウンドマネージャー
音を扱う上で、サウンドミドルウェアを利用し、
音楽、効果音、ボイスの3つに分けてそれぞれマネー
ジャークラスを作成しました。
それぞれに個別の設定可能な項目や、
ふるまいの違いがでてくる。
UnityEditor拡張でデータの確認が行える
用途別にcsを用意

40. サウンドプログラム 音楽マネージャー
- 基本音楽は同時に1つしか再生しない
- レイヤーは最大４つを重ねられる
- ブロック（セクション）は任意の数
- レイヤーはフェードして変化可能
音楽は他の曲とは重ならないようにしている。
同じ曲内でのレイヤーレベル変化に
長いフェードをかけることで、
破綻しない作りになっている。
↑UranusでBGM再生設定
ADX2でレイヤー、ブロックを作りこむ→

41. サウンドプログラム 効果音マネージャー
- 複数の音像定位をもたせることができる
- 緩いヘッドトラックの
仮想的なセンターから再生する
- ユーザーが激しく首を動かしたとしても、
音は最大速度以上に変化させない。
（緩慢に追従することでフェード効果が得られ
る）
- ガヤ配置、上配置
といったVR主観カメラ位置との
相対位置で鳴らす機能がある
↑UranusでＳＥ再生設定

42. サウンドプログラム ボイスマネージャー
- ボイスは基本一つ。
- 音像位置も一つ。
- 声は基本かぶらせない。
- 環境音としての声は SEで再生
ボイスに関してはＵｒａｎｕｓからのテキストＩＤ経由で鳴らす仕組みに統合されている。
再生言語切換えも可能になっている。
↑Uranusでのテキストコマンド
（音声は自動再生）

43. サウンドプログラム Ｕｒａｎｕｓとの連携
◆社内ツールのUranusというゲーム演出レイヤー
背景情報から空間エフェクトの切換えや、言語の切換え、
インタラクティブミュージックのレイヤーのフェード設定、ブロック再生の切換えシグナル、
音楽の停止フェード設定、ＳＥの再生座標指定など
ランタイムで操作可能な機能のシーケンスを組む事が可能。
↑UranusでのＳＥ再生設定

44. サウンドプログラム サウンドデータの抽出
ADX2からUnity上のUranus向けの情報を取り出すために
ADX2のスクリプト機能を活用しています。
ビルド後に音の長さやコメントなど演出上必要な情報を抽出し、
.assetsに変換。
name
userDara
comment
lengthMs
lengthMs_En
isLoop
is2D
ADXACB
.assets

45. サウンドプログラム まとめ
- サウンドマネージャーでサウンド関連処理 （ソース分離）
- BGM,SE,Voiceそれぞれ扱いやすいラッパーを作る （機能特化）
- 内製エンジンとの連携部分を作る
- デバッグなど足りない機能は拡張する（エディター拡張、ワークフロー設計）
- ミドルウェアにある機能を利用する
（あるものは最大限活用する）
@tatmos

46. ◆VR近未来サウンドデザイン
これからのVRサウンドを作りたい
- VRサウンドに挑む体制
- おわりに

47. VR近未来サウンドデザイン VRサウンドに挑む体制
アルトデウス：BCでのサウンド担当
◆サウンドプロデューサー・ディレクター ： 郡陽介
サウンド制作・監修・予算管理
作曲、収録、音響監督
◆サウンドクリエーター ： 八谷梓沙
インゲームでの BGMインタラクティブ調整、演出、 SE制作と管理
◆サウンドエンジニア・サウンドプログラム ： 田中孝
VRサウンド研究開発、立体音響調整、音量調整、 ADX2データ管理
インタラクティブ楽曲データ調整
◆サウンドに関わる演出 ： プログラマー・演出・アニメーター
- Uranus上でのサウンドリクエストの配置、停止方法、フェード設定
- モーションとの同期のための調整作業
- インタラクティブ操作によるサウンドリクエスト（ UI操作音など）

48. VR近未来サウンドデザイン おわりに
VR自体の表現方法も発展途上で、答えが決まっていないため
曲の作り方やフォーマットも変わる可能性もあります。
未来においてはさらに高度な音響技術や技術革新、スペック向上により
VRに特化したエフェクトや演出技術が開発される余地があります。
新しい体験（VRやXR)に対してユーザーの
耳がVRサウンドの表現に慣れる必要もあります。
（酔いの問題、より心地よい立体音響など）
VRサウンド ← 未知のもの （まだまだこれから）
VRゲームサウンドデザインについて情報共有や
新しい話題で盛り上げていきましょう。
@tatmos