Introduction to the basics and applications of spatial (3D) audio techniques.

1. 立体音響とインタラクション
コンピュータ科学専攻五十嵐研究室
鈴木良平

2. Basics of Spatial Audio Technologies
立体音響の基本事項

3. 立体音響とは
３次元的な音の方向・距離・広がりを
録音・再生時に再現する手法

4. 通常の録音再生との差異
モノラル録音では音源定位性が失われる
∵ マイク一点での振動は空間情報を含まない

5. 通常の録音再生との差異
ステレオ録音でも音源定位性は完全には再現できない
∵ マイクと耳の音響特性差, クロストーク, etc.

6. 再現の必要な要素
鼓膜の振動を完全に再現すること
• 両耳間強度差
• 両耳間時間差
• 周波数特性
• 位相変化
• 残響変化
両耳間の位置差に由来
⇒ ステレオ録音で得られる
頭部形状・物性に由来
⇒ ダミーヘッドまたは計算で再現
主にホール環境に由来
⇒ スタジオ構築または計算で再現

7. 方式１：ステレオ/サラウンド
• 複数スピーカーを用いた立体音響環境
– 複数本のマイクで収録、それぞれの音声を対応する
スピーカーから別個に出力する。
– クロストークおよび周波数特性補償が必要
※ 家庭用では2-7ch、映画館では5-6ch程度

8. 方式２：バイノーラル再生
• ステレオヘッドフォンを用いた立体音響環境
– 両耳の鼓膜に届くべき信号を直接出力する
– 頭部を模したダミーヘッドを用いた録音が一般的
• 耳介や頭内、肩などでの反射・回折が反映される
– 信号合成時にはダミーヘッドに相当する音響特性を
反映した信号処理を行う

9. 基礎技術：頭部伝達関数(HRTF)
• 空間中のある位置で発した音の左右鼓膜への
伝達を特徴付けるインパルス応答関数
– 頭部や耳介、肩などが原因として関与
– 事前にモデル化することで、音源配置から
ヘッドフォン信号への変換関数を構成できる
引用元：http://en.wikipedia.org/wiki/Head-related_transfer_function

10. 基礎技術：トランスオーラル再生
• HRTFと同様の発想をスピーカー環境で行う
1. スピーカーから左右耳への伝達関数を測定(HRTF)
2. スピーカー間のクロストークを計算
3. 各耳に聞こえるべき音のみが聞こえるよう
キャンセリング信号を重畳
• 商品化の事例あり
引用元：
NTT DoCoMoテクニカルジャーナルVol.11 No.1, pp. 55-62, 2003.

11. Wave-field Synthesis
• 多数のスピーカー（e.g., ＞50）を用いて、
空間内の音場を「まるごと」合成する技術
– リスナが移動しても正しい聴こえが維持される
– ホイヘンスの原理の応用
• 高コストで無響環境が必要、二次元への制約

12. Applications of Spatial Audio Technologies
立体音響技術の応用分類

13. 立体音響の応用
分類軸の設定
• 立体化は静的に行われるか、動的か
• コンテンツは実音声か、合成音声か
Recorded
①
Static Dynamic
② ③
Generated
④

14. ① 静的/ 録音
• 既存の立体音響コンテンツの大半
– ドルビーデジタル映画、バイノーラルCDなど
• 複数のマイクやダミーヘッドで録音、信号処理
を行い、コンテンツとして提供
• 5.1chオーディオやヘッドフォン再生に対応

15. ② 静的/ 生成
• 立体音響レンダリング技術
– 音源からの伝達をシミュレーションして信号を生成
– OpenAL, 3DCGソフトウェアなどから利用可能
• レイトレーシング、特徴予測等による計算
SoundScape Renderer http://www.explauralisation.org/

16. ③ 動的/ 生成
• Interactive Sound Propagation Computation
[Raghuvanshi & Snyder 2014]
(SIGGRAPH 2014)
[Schissler et al., 2014]
(SIGGRAPH 2014)

17. ④ 動的/ 録音
• ステージ音響シミュレーション
– コンサートホールのリアルタイムシミュレーション
東京大学生産研・坂本研究室（応用音響工学）

18. メディアアートでの利用事例
大きな耳をもったキツネ(2013)
evala＋鈴木昭男
8.1ch立体音響を用いた
実験音楽インスタレーション
Filmachine (2006)
渋谷慶一郎＋池上高志
24chのスピーカーによる
サウンドスケープの自動生成

19. 第三の軸：移動性
• ユーザーが移動しても音場を正しく表現する
• 複数のユーザーへのconsistentな音場呈示
• 実世界内でのモバイルインタラクション
Mobility

20. 実世界音響インタラクション
The BoomRoom [Muller et al., 2014]
(CHI 2014)
Walk this Way [Hazzard et al., 2014]
(CHI 2014)
音楽情報呈示による
空間ナビゲーション
Wave Field Synthesis
+ Tangible Interaction

21. Discussions
問題提起

22. 1. 立体音響の今後の応用先
• コンテンツ制作の現場では、すでに枯れた技術
– ゲームなどインタラクティブな応用もほぼ確立
• ユーザーが激しく動く場合、技術的困難がある
– 携帯端末を用いたモバイルアプリ
• 極めて多くのスピーカーを用いる場合
– e.g., 公衆環境でのスマートフォン

23. 2. 立体音響から認知できる情報
• 音源定位(sound localization)の精度
• 空間の拡がりや種類
– 木質の小部屋、コンクリートのトンネルなど
• 立体音響の認知を適切に記述する言葉とは
– Physically-correct ⇒ Cognitively-correct
(cf. Gibson’s
Ambient Optic Array)

24. 3. 光の再現史との比較
Still camera Stereo camera Light-field camera
Primitive arts Perspective Multi-view (cubism)