Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
スピーカアレイを用いた
空間フーリエ変換に基づく局所再生
岡本拓磨
情報通信研究機構
1
22th Jan. 2019, US/EA conf.@Doshisha Univ.
Spatial Fourier transform-based lo...
My motivation for localizing sound zone

Comparison of localized sound field methods
Spatial Fourier transform-based sound ...
Takuma OKAMOTO, Ph.D.
学歴
1997.4-2000.3:静岡県立沼津東高等学校
2000.4-2004.3:東北大学工学部機械知能系:振動インテンシティ(BC3~4)
2004.4-2009.3:東北大学情報科学研究科(学...
マスク信号を用いた加算型サウンドスポットシステム
動機
多数のスピーカを用いて音場再現以外で何かできないか!?
(非常に単純な)原理
部屋の中心で位相が合う音声信号+無相関なノイズ信号

→スピーカの近くではノイズしか聞こえないが,部屋の

 ...
局所再生・マルチスポット再生・近傍再生
局所再生
音の聞こえるエリアと聞こえないエリアを形成
マルチスポット再生
音複数の領域でそれぞれ別々の音が聞こえる

→局所再生の重ね合わせにより実現可能
近傍再生
音複スピーカの近くでのみ音が聞こえ,離...
原理
遅延和型ビームフォーミング(マイクロホンアレイ)
目的方向・位置からの位相が揃うように各マイクロホン信号に遅延処理
遅延型ビームフォーミング(スピーカアレイ)
目的方向・位置での位相が揃うように各スピーカ信号に遅延処理
特徴
目的方向のパ...
原理
超音波領域のキャリア波を可聴領域で振幅変調→110 dB以上で再生
音の空気の比線形性により可聴領域信号が聞こえる
特徴
指向性は抜群
鏡面反射も可能(←可聴音では回折・拡散効果により鏡面反射伝搬は難しい)
空気の非線形性に基づく→制御が...
最小二乗解(least squares: LS)に基づく音場制御
各スピーカ-制御点間の伝達関数行列の逆特性を

直接算出
制御点の音圧を直接制御する
局所再生:(1)空間相関行列を用いた方式

     (2)無音領域の音圧を0とする方式
メ...
時間領域フーリエ変換
時間領域の信号を周波数領域の信号に分解
特徴
各周波数成分は直交

→それぞれ独立に制御可能
畳み込みの定理:時間領域の畳み込み演算→周波数領域の乗算
Fourier transform in time domain
9
...
音場の空間フーリエ変換(例:2次元音場)
定義(まずは説明のため の場合)
10
Spatial Fourier transform
波面を各方向から到来する平面波成分に分解(直交展開)
!! !" # " !
!!
!"
#
"
!
$%&'...
音場の球面調和展開(例:3次元内部音場)
順変換
逆変換
11音場を指向性ごとに分解(直交展開)
各指向性の重み
(球面調和スペクトル)
収録音場
r
Spatial Fourier transform
in spherical coordin...
角度スペクトルに基づく音場の内装・外装
2次元音場の角度スペクトル( )
ある線上の音圧からそれ以外の位置の音場を内装・外装可能
球面調和スペクトルに基づく音場の内装・外装
3次元音場の球面調和スペクトル
ある球上の音圧からそれ以外の位置の音場...
2.5D spectral division method (SDM)
直線アレイによる音場(Single layer potential)
 軸方向に空間フーリエ変換
時空間周波数(=波数)領域の各スピーカの

駆動信号
時間周波数領域の駆動...
HOAの解析的方式
球面アレイによる音場(Single layer potential)
球面調和展開
球面調和スペクトル領域の駆動信号
時間周波数領域の駆動信号(逆変換)
3D higher order Ambisonics (HOA)
14...
2.5次元音場制御
スピーカアレイ配置は2次元,スピーカの放射特性は3次元の音場制御
制約:基準線/円上の音圧のみ制御可能
What is “2.5D” sound field control?
15
アレイ形状
音源
放射特性
実装
2次元再生...
伝搬成分とエバネッセント成分
伝搬成分
角度スペクトル:平面波に分解可能な領域( )
球面調和スペクトル:平面波を再構築するのに必要な領域( )
エバネッセント成分:伝搬成分以外の領域( , )
1波長程度で指数関数的に減衰

→逆問題において...
制御理論
音圧制御型多点制御法:制御点が必要
制御点における音圧を直接制御
伝達関数行列の逆行列:逆畳み込みに相当

→不安定演算のため正則化が必要→物理的妥当性なし
空間フーリエ変換に基づく方式(SDM,HOA):制御点不要(2.5次元制御除...
音場の空間フーリエ変換
[4] E. G. Williams, Fourier Acoustics: Sound Radiation and Nearfield Acoustic
Holography. London, UK: Academic ...
何故音圧直接制御よりも空間フーリエ変換??
波面の伝搬が考えやすい(=力学ベース←「機械系出身」的には考えやすい)
音圧直接制御:離散的制御→逆行列演算等の数値解法→物理的根拠なし
空間フーリエ変換方式:連続分布制御→解析解算出可能

    ...
局所再生・マルチスポット再生・近傍再生
局所再生
音の聞こえるエリアと聞こえないエリアを形成
マルチスポット再生
音複数の領域でそれぞれ別々の音が聞こえる

→局所再生の重ね合わせにより実現可能
近傍再生
音複スピーカの近くでのみ音が聞こえ,離...
波数領域空間フィルタの解析的導出
波数領域空間フィルタ
局所領域:
無音領域:

  
局所位置のシフト
波数領域局所再生空間フィルタ
A method with a linear array
21
x
y
y = yb
Secondary s...
DEMO: with an actually implemented
linear loudspeaker array
22
ICASSP 2014
Experiments with an implemented array
23
JASA 2017
5手法での比較
DS:遅延型ビームフォーミング
CM:コントラスト最大化法
J.-W. Choi et al. JASA 2002
LS:音圧直接制御法
SFT:空間フーリエ変換を用いた方式
rect.:矩形窓型フィルタ
Hann:Hann窓型...
矩形窓とHann窓との比較
矩形窓のフーリエ変換=sinc関数
Hann窓のフーリエ変換=sinc関数の重ね合わせ
変換結果(=制御線上での平面波成分)の比較
Hann窓の方がサイドローブが少ない

→アレイと並行でない平面波成分が少ない

 ...
円筒調和スペクトル領域の空間フィルタの解析的導出
伝達関数の円筒調和展開
円筒調和スペクトル領域の音圧を矩形窓でモデル化
円筒調和スペクトル領域の駆動信号
A method with a circular array
26
WASPAA 201...
Results
27
WASPAA 2015
open baffled
z = 0 [m]
[dB]-1 0 1
X axis [m]
-1.5
-1
-0.5
0
0.5
1
1.5
Yaxis[m]
-40
-30
-20
-10
0
0 1 ...
局所再生・マルチスポット再生・近傍再生
局所再生
音の聞こえるエリアと聞こえないエリアを形成
マルチスポット再生
音複数の領域でそれぞれ別々の音が聞こえる

→局所再生の重ね合わせにより実現可能
近傍再生
音複スピーカの近くでのみ音が聞こえ,離...
直線・円形スピーカアレイを用いた近傍再生
エバネッセント波に基づく方法(H. Itou et al., 2011, 2012.)
2.5次元再生でも鉛直方向にも伝搬しない:◯ ←反射音環境でも実装可能
1波長程度で急激に減衰:× ←減衰距離を制...
y
x
z
r0
D
L(x,ω)
˜P
C
+
L(r>
r0,kx,ω)=
0
˜P
C
+
L(r<
r0,kx,ω)=
0
D
C(r0,ω)
Array combination approach
着目点
円筒音源の放射パターンは内側と...
Driving functions of both sound sources
円形・直線音源の駆動関数と放射音場
円形音源の駆動関数
円形音源による放射音場
直線音源による音場 = 円形音源外側の放射音場の逆位相
直線音源の駆動関数:距離に非...
!"#$%&"'()
*"#$%&"'()
+","-"'()
"
"
'./)
!0 !1 - 1 0
!0
!123
!1
!-23
-
-23
1
123
0
!4-
!53
!5-
!03
!0-
!13
!1-
!3
-
!"#$%&...
2.5次元音場制御の次元ミスマッチに基づくエリア再生
直線アレイで仮想音像を波面合成
仮想音像位置で実音源を逆位相再生
ポイント
2.5次元再現の基準距離( )では原音場と一致
    では振幅も大きく誤差が大きい
    では減衰により誤差が...
指向性円形スピーカアレイを用いた方式
指向性スピーカアレイの導入:禁止周波数問題を回避
ポイント
0次と1次のみを制御すればよい→少ない素子数で実装可能(実験では9素子)
A method with a circular array
IWAEN...
柔軟なアレイ形状への適用
空間フーリエ変換:アレイ形状が面/直線,球/円である必要性
配置やアプリケーションが限定される

→面/直線,球/円以外のアレイ形状・定式化の模索
2.5次元制御における鉛直方向への伝搬抑圧
2.5次元制御:アレイと平...
原音場を活かしたアクティブマルチスポット音空間再生システム
1. 原音場の英語話者の音場をマイクロホンアレイで収録
2. 収録した原音場をスピーカアレイでキャンセル
3. 機械翻訳した日本語と中国語をそれぞれスポット再生
Extended ap...
空間フーリエ変換に基づく局所再生
音場制御,局所再生,ビームフォーミング,パラメトリックアレイとの比較
空間フーリエ変換に基づく音場推定・音場制御・局所再生の原理
実施例:直線・円形スピーカアレイを用いた局所再生・近傍再生
今後の課題と展望(ア...
日本音響学会2019年春季研究発表会@電気通信大学

                          ※実行委員長:羽田陽一
3月7日(木):電気音響[アレー信号処理] 13:00~14:15
岡本,”円形アレイを用いた水平面3次元音場の収...
ベース論文
スピーカアレイを用いた局所再生
[17] J.-W. Choi and Y.-H. Kim, “Generation of

an acoustically bright zone with an illuminated

regi...
Nächste SlideShare
Wird geladen in …5
×

[招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生

2019年1月22日
音響・超音波サブソサイエティ合同研究会
招待講演

  • Loggen Sie sich ein, um Kommentare anzuzeigen.

[招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生

  1. 1. スピーカアレイを用いた 空間フーリエ変換に基づく局所再生 岡本拓磨 情報通信研究機構 1 22th Jan. 2019, US/EA conf.@Doshisha Univ. Spatial Fourier transform-based localized sound zone generation with loudspeaker arrays USとの併催により陽に記述
  2. 2. My motivation for localizing sound zone
 Comparison of localized sound field methods Spatial Fourier transform-based sound field control Spatial Fourier transform-based localized sound zone generation Challenges and prospects Concluding remarks Extra Outline 2
  3. 3. Takuma OKAMOTO, Ph.D. 学歴 1997.4-2000.3:静岡県立沼津東高等学校 2000.4-2004.3:東北大学工学部機械知能系:振動インテンシティ(BC3~4) 2004.4-2009.3:東北大学情報科学研究科(学部的には電気情報系)
 - 博士学位論文:包囲型マイクロホンアレイを用いた音空間情報の解析と抽出 職歴 2007.11-2009.3:日本学術振興会特別研究員(DC2) 2009.4-2012.3:東北大学ポスドク研究員:スピーカアレイの研究を開始 2012.4-現在:情報通信研究機構:研究員
 - 2012.4-2014.3:マイクロホン・スピーカアレイを用いた立体音響処理
                           @超臨場感グループ
 - 2014.4-現在:音声コミュニケーション技術(主に音声合成)
                  @先進的音声翻訳研究開発推進センター 局所再生の研究:2011.10~現在 My research history 3
  4. 4. マスク信号を用いた加算型サウンドスポットシステム 動機 多数のスピーカを用いて音場再現以外で何かできないか!? (非常に単純な)原理 部屋の中心で位相が合う音声信号+無相関なノイズ信号
 →スピーカの近くではノイズしか聞こえないが,部屋の
  中心ではSN比が逆転して音声が聞こえるようになる 発案から実装まで(1時間程度) MATLABによる音源作成+PureDataを用いた再生 My motivation for localizing sound zone 4 ・・・・・・ ri s(t) z−(D0−r1/c) z−(D0−ri/c) z−(D0−rN /c) ・・・・・・ n1(t) ni(t) nN (t) ・・・・・・ r1 rN rN ri r1 Target spot SNR − 20 dB EMM 2011,ASJ 2012S(粟屋潔学術奨励賞受賞) !"#$%&"'() *"#$%&"'() " " !+ !,-. !, !/-. / /-. , !, / , / /-, /-+ /-0 /-1 /-. /-2 音声明瞭度(SII) 157 chスピーカアレイ @東北大 実際に聞いた時の感動は未だに衝撃的
  5. 5. 局所再生・マルチスポット再生・近傍再生 局所再生 音の聞こえるエリアと聞こえないエリアを形成 マルチスポット再生 音複数の領域でそれぞれ別々の音が聞こえる
 →局所再生の重ね合わせにより実現可能 近傍再生 音複スピーカの近くでのみ音が聞こえ,離れる
 と聞こえなくなく 反射音のある環境でも適用できる可能性 →波面ではなく音圧差を重視した方式 マルチ音場再生 複数の領域でそれぞれ別々の波面を同時に制御
 →音圧差ではなく,波面の再現を重視した方式 Localized sound zone generation methods 5 Bright zone (Listening area) Dark zone (Quiet area) 局所再生 こんにちは Hello 你好 Japanese area English area Chinese area マルチスポット再生 マルチ音場再生Brightzone (Listeningarea) Darkzone (Quietarea) 近傍再生 ポイント:如何に「音の聞こえないエリア」を形成するか
  6. 6. 原理 遅延和型ビームフォーミング(マイクロホンアレイ) 目的方向・位置からの位相が揃うように各マイクロホン信号に遅延処理 遅延型ビームフォーミング(スピーカアレイ) 目的方向・位置での位相が揃うように各スピーカ信号に遅延処理 特徴 目的方向のパワーを最大化させる 目的外方向でもパワーが高い方向がでてしまう
 →サイドローブ 如何にサンドローブを抑えるかが課題 Introduction to beamforming 6・・・・・・ ri s(t) z−(D0−r1/c) z−(D0−ri/c) z−(D0−rN /c) ・・・・・・ r1 rN rN ri r1 Target spot z = 0 [m] [dB]-1 0 1 X axis [m] -1.5 -1 -0.5 0 0.5 1 1.5 Yaxis[m] -40 -30 -20 -10 0 ! "s d Microphone 2 Microphone 1wave front x2 x1 マイクロホン間の到来時間差 同一係数 マイクロホンアレイ スピーカアレイ 相反則 目的方向 メインローブ サイドローブ
  7. 7. 原理 超音波領域のキャリア波を可聴領域で振幅変調→110 dB以上で再生 音の空気の比線形性により可聴領域信号が聞こえる 特徴 指向性は抜群 鏡面反射も可能(←可聴音では回折・拡散効果により鏡面反射伝搬は難しい) 空気の非線形性に基づく→制御が難しい→音質改善が課題 音圧レベルへの懸念(この帯域を可聴域とする動物等) Introduction to parametric array 7 (a): Source sound signal (Audible sound wave) (b): Carrier wave (Ultrasound wave) × (c): Amplitude modulated wave (Ultrasound wave) Parametric array Wall O.K. O.K. ??
  8. 8. 最小二乗解(least squares: LS)に基づく音場制御 各スピーカ-制御点間の伝達関数行列の逆特性を
 直接算出 制御点の音圧を直接制御する 局所再生:(1)空間相関行列を用いた方式
      (2)無音領域の音圧を0とする方式 メリット マイクロホン(=制御点),スピーカ配置は自由
 →境界音場制御:
   制御閉領域境界上の音圧と音圧勾配を同時制御 問題点 音響逆問題は極めて悪条件→解は極めて不安定 正則化パラメータ決定のための反復計算が必要 8 ... ... ... ... G(ω) P (ω)D(ω) P (ω) = G(ω)D(ω) ↓ D(ω) = G+ (ω)P (ω) :順問題(畳み込み演算) :逆問題(逆畳み込み演算) 例:BoSCシステム Pressure matching-based sound field control Loudspeakers Controlpoints
  9. 9. 時間領域フーリエ変換 時間領域の信号を周波数領域の信号に分解 特徴 各周波数成分は直交
 →それぞれ独立に制御可能 畳み込みの定理:時間領域の畳み込み演算→周波数領域の乗算 Fourier transform in time domain 9 F(ω) = ∞ −∞ f(t)ejωt dt順変換: f(t) = 1 2π ∞ −∞ F(ω)e−jωt dω逆変換: y(t) = x(t) ∗ h(t) Y (ω) = X(ω)H(ω) ω = 2πf F 短時間フーリエ変換 パワースペクトル:20 log10 |F(ω)| 時間信号:f(t)
  10. 10. 音場の空間フーリエ変換(例:2次元音場) 定義(まずは説明のため の場合) 10 Spatial Fourier transform 波面を各方向から到来する平面波成分に分解(直交展開) !! !" # " ! !! !" # " ! $%&'()%*+, -+./(0123 !! !" # " ! !! !" # " ! $%&'()%*+, -+./(0123 !! !" # " ! !! !" # " ! $%&'()%*+, -+./(0123 !! !" # " ! !! !" # " ! $%&'()%*+, -+./(0123 !! !" # " ! !! !" # " ! $%&'()%*+, -+./(0123 空間フーリエ変換 kx = 0 kx = ω/ckx = −ω/c kx = −ω/2c kx = ω/2c 各方向の平面波の重み (角度スペクトル) 収録音場 音圧分布(複素数) 基底平面波 時間領域 フーリエ変換 ω = 2πf 波数: ˜P (kx, y = 0, ω) = ∞ −∞ P(x, y = 0, ω)e−jkxx dx x :(複素数)P(x, y = 0, ω) y = 0 p(x, y, t):実数
  11. 11. 音場の球面調和展開(例:3次元内部音場) 順変換 逆変換 11音場を指向性ごとに分解(直交展開) 各指向性の重み (球面調和スペクトル) 収録音場 r Spatial Fourier transform in spherical coordinates −1−2−3−4 0 0 1 1 2 2 3 3 4 4 y x z r = [r, θ, φ]T φ θ r r = x2 + y2 + z2 θ = tan−1 x2 + y2 z φ = tan−1 y x デカルト座標系と球面座標系 半径 上の音圧分布 球面調和関数球ベッセル関数 ˇAm n = 1 jn(kr) 2π 0 π 0 S(r, θ, φ)Y m n (θ, φ)∗ sin θdθdφ S(r, θ, φ) = ∞ n=0 n m=−n jn(kr) ˇAm n Y m n (θ, φ) r m n k = ω c = 2πf c
  12. 12. 角度スペクトルに基づく音場の内装・外装 2次元音場の角度スペクトル( ) ある線上の音圧からそれ以外の位置の音場を内装・外装可能 球面調和スペクトルに基づく音場の内装・外装 3次元音場の球面調和スペクトル ある球上の音圧からそれ以外の位置の音場を内装・外装可能 Spatial Fourier transform-based sound field inter-extrapolation 12 ˜P (kx, y, ω) = ∞ −∞ P(x, y, ω)e−j(kxx+ √ k2−k2 xy) dx = ˜P (kx, y = 0, ω) ej √ k2−k2 xy ˜P (kx, y, ω) = ˜P (kx, y′ , ω) ej √ k2−k2 x(y−y′ ) ˇAm n = 1 jn(kr) 2π 0 π 0 S(r, θ, φ)Y m n (θ, φ)∗ sin θdθdφ = ˇSm n (r) jn(kr) ˇSm n (r) = jn(kr) jn(kr′) ˇSm n (r′ ) y′ y y = 0 r′ r 音場の空間フーリエ変換が波動方程式より導出されているため ˇSm n (r) = hn(kr) hn (kr′) ˇSm n (r′ ) 内部音場(到来音場) 外部音場(放射音場)
  13. 13. 2.5D spectral division method (SDM) 直線アレイによる音場(Single layer potential)  軸方向に空間フーリエ変換 時空間周波数(=波数)領域の各スピーカの
 駆動信号 時間周波数領域の駆動信号(逆変換) 13 ˜P(kx, y, 0, ω) = ˜D(kx, ω) · ˜G(kx, y, 0, ω) → 時空間周波数領域では乗算 x ˜D(kx, ω) = ˜P(kx, yref , 0, ω) ˜G(kx, yref , 0, ω) J. Ahrens et al. 2010. → 時間周波数領域では畳み込み y = yref x y Secondary source D(x, 0, ω) P(x, yref , ω) ˜G(kx, yref , 0, ω) = j 4 H0(kxyref ) P(x, ω) = ∞ −∞ D(x0, ω)G3D(x, x0, ω)dx0 F 制御線上の平面波成分   を制御する方式 G3D(x, x0, ω) = exp(jk|x − x0) 4π|x − x0| Spatial Fourier transform-based sound field synthesis with a linear array フーリエ変換における 畳み込みの定理 ˜P(kx) D (x0, ω) = 1 2π k −k ˜D (kx, ω) ejkxx dkx
  14. 14. HOAの解析的方式 球面アレイによる音場(Single layer potential) 球面調和展開 球面調和スペクトル領域の駆動信号 時間周波数領域の駆動信号(逆変換) 3D higher order Ambisonics (HOA) 14 →球面調和スペクトル領域では乗算 J. Ahrens et al. 2008. → 時間周波数領域では畳み込み F S(r, θ, φ) = 2π 0 π 0 D(R)G(r, R) sin θdθdφ ˇSm n (r) = 4π 2n + 1 ˇDm n (R) ˇG0 n(r<, R) G0 n(r<, R) = jk 2n + 1 4π jn(kr)hn(kR) R x y z 球面内の指向性成分  を制御する方式 G(r, R) = exp(jk|r − R) 4π|r − R| ˇAm n ˇDm n (R) = 2n + 1 4π ˇSm n (r) ˘G0 n (r<, R) = ˇAm n jkhn(kR) D(R, θ, φ) = ⌊kR⌋ n=0 n m=−n ˇD(R)Y m n (θ, φ)
  15. 15. 2.5次元音場制御 スピーカアレイ配置は2次元,スピーカの放射特性は3次元の音場制御 制約:基準線/円上の音圧のみ制御可能 What is “2.5D” sound field control? 15 アレイ形状 音源 放射特性 実装 2次元再生 線音源 難 円筒放射 2次元 基準円 点音源 点音源 2次元 3次元 球状放射 球状放射 難易 3次元再生2.5次元再生
  16. 16. 伝搬成分とエバネッセント成分 伝搬成分 角度スペクトル:平面波に分解可能な領域( ) 球面調和スペクトル:平面波を再構築するのに必要な領域( ) エバネッセント成分:伝搬成分以外の領域( , ) 1波長程度で指数関数的に減衰
 →逆問題においては非常に不安定 空間フーリエ変換に基づく音場制御 安定した駆動信号←伝搬成分のみで駆動信号を計算可能 音圧制御方式:エバネッセント成分を分離不可能 空間フーリエ変換方式:分離が可能 Propagation and evanescent components 16 G3D(x, x0, ω) = exp(jk|x − x0) 4π|x − x0| kx ≤ |k| n ≤ ⌊kR⌋ n > ⌊kR⌋kx > |k| D (x0, ω) = 1 2π k −k ˜D (kx, ω) ejkxx dkx D(R, θ, φ) = ⌊kR⌋ n=0 n m=−n ˇD(R)Y m n (θ, φ) k = ω c = 2πf c
  17. 17. 制御理論 音圧制御型多点制御法:制御点が必要 制御点における音圧を直接制御 伝達関数行列の逆行列:逆畳み込みに相当
 →不安定演算のため正則化が必要→物理的妥当性なし 空間フーリエ変換に基づく方式(SDM,HOA):制御点不要(2.5次元制御除く) 空間フーリエ変換座標の中心付近の音場を制御 畳み込みの定理による効率的演算 エバネッセント成分の除去に基づく解の安定性
 →波動方程式から導かれる物理的妥当性
 アレイ形状 音圧制御型多点制御法 任意の形状が可能 空間フーリエ変換に基づく方式(SDM,HOA) 平面/直線,球形/円形といったフーリエ変換できる形状に限定 Comparison with pressure matching-based approach 17
  18. 18. 音場の空間フーリエ変換 [4] E. G. Williams, Fourier Acoustics: Sound Radiation and Nearfield Acoustic Holography. London, UK: Academic Press, 1999. 空間フーリエ変換に基づく音場制御 [3] J. Ahrens, Analytic Methods of Sound Field Synthesis. Berlin: Springer, 2012. (HPにMATLABコードあり) http://www.soundfieldsynthesis.org [5] 羽田, “音の波数領域信号処理‒平面波・円調和・球面調和関数展 開とアレー信号 処理‒,” IEICE Fundamentals Review, vol. 11, no. 4, pp. 243‒255, Apr. 2018. Related books 18
  19. 19. 何故音圧直接制御よりも空間フーリエ変換?? 波面の伝搬が考えやすい(=力学ベース←「機械系出身」的には考えやすい) 音圧直接制御:離散的制御→逆行列演算等の数値解法→物理的根拠なし 空間フーリエ変換方式:連続分布制御→解析解算出可能
            波動方程式より算出→物理的根拠あり 何故局所再生?? 音場再現:実装した際の効果がわかり辛い
      実際に原音場に行けば体験可能 局所再生:実装した際の効果が非常にわかりやすい
      実環境では起こらない現象←物理数学演算によってのみ創出できる My research focus 19
  20. 20. 局所再生・マルチスポット再生・近傍再生 局所再生 音の聞こえるエリアと聞こえないエリアを形成 マルチスポット再生 音複数の領域でそれぞれ別々の音が聞こえる
 →局所再生の重ね合わせにより実現可能 近傍再生 音複スピーカの近くでのみ音が聞こえ,離れる
 と聞こえなくなく 反射音のある環境でも適用できる可能性 →波面ではなく音圧差を重視した方式 マルチ音場再生 複数の領域でそれぞれ別々の波面を同時に制御
 →音圧差ではなく,波面の再現を重視した方式 Localized sound zone generation methods 20 Bright zone (Listening area) Dark zone (Quiet area) 局所再生 こんにちは Hello 你好 Japanese area English area Chinese area マルチスポット再生 マルチ音場再生Brightzone (Listeningarea) Darkzone (Quietarea) 近傍再生 ポイント:如何に「音の聞こえないエリア」を形成するか
  21. 21. 波数領域空間フィルタの解析的導出 波数領域空間フィルタ 局所領域: 無音領域:
    局所位置のシフト 波数領域局所再生空間フィルタ A method with a linear array 21 x y y = yb Secondary source Bright DarkDark P(x, yb) = 1 P(x, yb) = 0 lb xb Shift ˜F(kx, ω) = ˜P(kx, yref , ω) ˜G(kx, yref , ω) 矩形窓でモデル化 P(x, yb) = Π x lb = 1, for |x| ≤ lb/2 0, elsewhere ˜F(kx, ω) = lb sinc (kxlb/2π) exp(jkxxb) ˜G(kx, yb, ω) ˜P(kx) = lb sinc kxlb 2π 任意の位置    に 任意の幅  の 局所再生を実現 [xb, yb]T lb→ P(x, yref , ω) = 1 P(x, yref , ω) = 0 Fx ˜Pshift(kx) = ˜P(kx) exp(jkxxb) = lb sinc kxlb 2π exp(jkxxb) ICASSP 2014,JASA 2017
  22. 22. DEMO: with an actually implemented linear loudspeaker array 22 ICASSP 2014
  23. 23. Experiments with an implemented array 23 JASA 2017
  24. 24. 5手法での比較 DS:遅延型ビームフォーミング CM:コントラスト最大化法 J.-W. Choi et al. JASA 2002 LS:音圧直接制御法 SFT:空間フーリエ変換を用いた方式 rect.:矩形窓型フィルタ Hann:Hann窓型フィルタ 24 Results JASA 2017 !" #$ %" "&'()*+,-./ "&'()0122/ z = 0 [m] !"#$%&' ( (&' y [m] )( )%&' )% )*&' * *&' % %&' ( x[m] )+* )(' )(* )%' )%* )' * z = 0 [m] !"#$%&' ( (&' y [m] )( )%&' )% )*&' * *&' % %&' ( x[m] )+* )(' )(* )%' )%* )' * z = 0 [m] !"#$%&' ( (&' y [m] )( )%&' )% )*&' * *&' % %&' ( x[m] )+* )(' )(* )%' )%* )' * z = 0 [m] !"#$%&' ( (&' y [m] )( )%&' )% )*&' * *&' % %&' ( x[m] )+* )(' )(* )%' )%* )' * z = 0 [m] !"#$%&' ( (&' y [m] )( )%&' )% )*&' * *&' % %&' ( x[m] )+* )(' )(* )%' )%* )' * 0 1 2 3 4 5 Temporal frequency [kHz] 0 5 10 15 20 25 30 35 40 Brighttodarkratio[dB] DS CM LS SFT (rect.) SFT (Hann)
  25. 25. 矩形窓とHann窓との比較 矩形窓のフーリエ変換=sinc関数 Hann窓のフーリエ変換=sinc関数の重ね合わせ 変換結果(=制御線上での平面波成分)の比較 Hann窓の方がサイドローブが少ない
 →アレイと並行でない平面波成分が少ない
  →制御線以外でも波が漏れ出しにくい 空間フーリエ変換に基づく方式の特徴 制御精度を物理的に解釈できる Result analysis 25 -40 -30 -20 -10 0 10 20 30 40 kx 0 5 10 15 20 25 30 35 40 45 |˜F(kx,k)| SFT (rect.) SFT (Hann) ∞ −∞ Prect (x, lb) ejkxx dx = lb/2 −lb/2 ejkxx dx = lb sin (kxlb/2) (kxlb/2) = lb sinc kxlb 2π ∞ −∞ PHann (x, lb) ejkxx dx = lb/2 −lb/2 cos (πx/lb) ejkxx dx = lb/2 −lb/2 ejπx/lb + e−jπx/lb 2 ejkxx dx = lb 2 sinc 1 2 + kxlb 2π + lb 2 sinc 1 2 − kxlb 2π JASA 2017
  26. 26. 円筒調和スペクトル領域の空間フィルタの解析的導出 伝達関数の円筒調和展開 円筒調和スペクトル領域の音圧を矩形窓でモデル化 円筒調和スペクトル領域の駆動信号 A method with a circular array 26 WASPAA 2015 Gopen(r, r0, ω) = ejk|r−r0| 4π|r − r0| = ∞ n=−∞ 1 2π ∞ −∞ j 4 Jn(krr0)H(1) n (krr)dkzejkz(z−z0) ejn(φ−φ0) ˚Gopen,n(r > r0, ω) Gbaffled(r, r0, ω) = ∞ n=−∞ 1 2π ∞ −∞ −H (1) n (krr) 2πkrr0H (1)′ n (krr0) dkzejkz(z−z0) ejn(φ−φ0) ˚Gbaffled,n(r > r0, ω) for r > r0 y x z r0 rref Φ φs P(rref , φ, 0, ω) = 1 P(rref , φ, 0, ω) = 0 !"#$%&'() *#+,-.%&'() /+#012"#%3'1(4%3'1#0) 5)6)#)(0)%0+#02) ˚Pn(Φ, φS, ω) = Φsinc nΦ 2π e−jnφs ˚Fn(r0, rref , Φ, φs, ω) = Φsinc(nΦ/2π)e−jnφs 2πr0 ˚Gn(rref > r0, ω)
  27. 27. Results 27 WASPAA 2015 open baffled z = 0 [m] [dB]-1 0 1 X axis [m] -1.5 -1 -0.5 0 0.5 1 1.5 Yaxis[m] -40 -30 -20 -10 0 0 1 2 3 4 5 Temporal Frequency [kHz] 0 5 10 15 20 25BDR[dB] Spatial Nyquist Frequency LS method (open) LS method (baffled) Beamforming (open) Beamforming (baffled) Proposed (open) Proposed (baffled) z = 0 [m] [dB]-1 0 1 X axis [m] -1.5 -1 -0.5 0 0.5 1 1.5 Yaxis[m] -40 -30 -20 -10 0 z = 0 [m] [dB]-1 0 1 X axis [m] -1.5 -1 -0.5 0 0.5 1 1.5 Yaxis[m] -40 -30 -20 -10 0 z = 0 [m] [dB]-1 0 1 X axis [m] -1.5 -1 -0.5 0 0.5 1 1.5 Yaxis[m] -40 -30 -20 -10 0 z = 0 [m] [dB]-1 0 1 X axis [m] -1.5 -1 -0.5 0 0.5 1 1.5 Yaxis[m] -40 -30 -20 -10 0 z = 0 [m] [dB]-1 0 1 X axis [m] -1.5 -1 -0.5 0 0.5 1 1.5 Yaxis[m] -40 -30 -20 -10 0 LSBeamformingSFT BDR(ω) = 20log10 rb |P(rb, ω)| /Φb rd |P(rd, ω)| /Φd FBF,open = N n=−N Φsinc(nΦ/2π)ejn(φl−φS) 2πj−nJn(kr0) FBF,baffled = N n=−N kr0H′ n(kr0)Φsinc(nΦ/2π)ejn(φl−φs) 4j(1−n) f = 3000 Hz with Φ = π/2, r0 = 0.25 m and rref = 1.0 m Open Baffled
  28. 28. 局所再生・マルチスポット再生・近傍再生 局所再生 音の聞こえるエリアと聞こえないエリアを形成 マルチスポット再生 音複数の領域でそれぞれ別々の音が聞こえる
 →局所再生の重ね合わせにより実現可能 近傍再生 音複スピーカの近くでのみ音が聞こえ,離れる
 と聞こえなくなく 反射音のある環境でも適用できる可能性 →波面ではなく音圧差を重視した方式 マルチ音場再生 複数の領域でそれぞれ別々の波面を同時に制御
 →音圧差ではなく,波面の再現を重視した方式 Localized sound zone generation methods 28 Bright zone (Listening area) Dark zone (Quiet area) 局所再生 こんにちは Hello 你好 Japanese area English area Chinese area マルチスポット再生 マルチ音場再生Brightzone (Listeningarea) Darkzone (Quietarea) 近傍再生 ポイント:如何に「音の聞こえないエリア」を形成するか ビームフォーミングやパラメトリックアレイでは実現できない方式!!
  29. 29. 直線・円形スピーカアレイを用いた近傍再生 エバネッセント波に基づく方法(H. Itou et al., 2011, 2012.) 2.5次元再生でも鉛直方向にも伝搬しない:◯ ←反射音環境でも実装可能 1波長程度で急激に減衰:× ←減衰距離を制御可能,高周波数聴取不可能 高次のスペクトル再生→要多チャネル:△ 円形アレイと直線アレイの併用に基づく方式(ICASSP 2015,JIHMSP 2017) 減衰距離を制御可能:○ 鉛直方向にも伝搬しない:◯ アレイ形状が複雑:△ 2.5次元再生と実音源の差分に基づく方法(JIHMSP 2017,IWAENC 2018) 減衰距離を制御可能:○ 円形アレイの場合少ないチャネル数で実装可能:○ 鉛直方向に伝搬してしまう:× Localized sound zone generation 29 空間フーリエ変換方式のみで実現可能
  30. 30. y x z r0 D L(x,ω) ˜P C + L(r> r0,kx,ω)= 0 ˜P C + L(r< r0,kx,ω)= 0 D C(r0,ω) Array combination approach 着目点 円筒音源の放射パターンは内側と外側で異なる
   →外側のみを相殺すれば内側は残る 円形音源の外側の放射音圧を
 直線音源で相殺 直線音源の音波は軸対象
   → 方向に非依存
      ↓ 円形音源による音場= 方向に非依存 円形音源の駆動関数→ 方向に非依存
 
 
     φ φ φ DC(r0, ω) =    S(ω) (x = 0) 0 (x = 0) S(ω):音源信号 ICASSP 2015 & JIHMSP 2017
  31. 31. Driving functions of both sound sources 円形・直線音源の駆動関数と放射音場 円形音源の駆動関数 円形音源による放射音場 直線音源による音場 = 円形音源外側の放射音場の逆位相 直線音源の駆動関数:距離に非依存 放射音場 Fx ˜DC,0(r0, ω) = 1S(ω) = 1 ICASSP 2015 & JIHMSP 2017 ˜PC,0(r > r0, kx, ω) = − jπr0 2 J0(krr0)H (2) 0 (krr)˜PC,0(r < r0, kx, ω) = − jπr0 2 J0(krr)H (2) 0 (krr0) ˜PL(r, kx, ω) = − ˜PC,0(r > r0, kx, ω) ˜DL(kx, ω) = − ˜PC,0(r, kx, ω) ˜G(r, kx, ω) = jπr0 2 J0(krr0)H (2) 0 (krr) −j 4 H (2) 0 (krr) = −2πr0J0(krr0) ˜PC+L(r > r0, kx, ω) = ˜PC,0(r > r0, kx, ω) + ˜PL(r, kx, ω) = 0 ˜PC+L(r < r0, kx, ω) = − jπr0 2 J0(krr)H (2) 0 (krr0) − J0(krr0)H (2) 0 (krr) = 0 DC (r0, ω) = S(ω) (x = 0) 0 (x = 0) = S(ω)δ(x) r < r0 における近傍再生を実現
  32. 32. !"#$%&"'() *"#$%&"'() +","-"'() " " './) !0 !1 - 1 0 !0 !123 !1 !-23 - -23 1 123 0 !4- !53 !5- !03 !0- !13 !1- !3 - !"#$%&"'() *"#$%&"'() +","-"'() " " './) !0 !1 - 1 0 !0 !123 !1 !-23 - -23 1 123 0 !4- !53 !5- !03 !0- !13 !1- !3 - !"#$%&"'() *"#$%&"'() +","-"'() " " './) !0 !1 - 1 0 !0 !123 !1 !-23 - -23 1 123 0 !4- !53 !5- !03 !0- !13 !1- !3 - !"#$%&"'() *"#$%&"'() +","-"'() " " './) !0 !1 - 1 0 !0 !123 !1 !-23 - -23 1 123 0 !4- !53 !5- !03 !0- !13 !1- !3 - Results of sound pressure level 点音源 !"#$%&"'() +","-"'() " " './) !0 !1 - 1 0 !0 !123 !1 !-23 - -23 1 123 0 !4- !53 !5- !03 !0- !13 !1- !3 - f = 5 kHz, r0 = 0.25 mf = 1 kHz, r0 = 0.4 m ICASSP 2015 & JIHMSP 2017 f = 1 kHz, r0 = 0.25 m f = 3 kHz, r0 = 0.25 m
  33. 33. 2.5次元音場制御の次元ミスマッチに基づくエリア再生 直線アレイで仮想音像を波面合成 仮想音像位置で実音源を逆位相再生 ポイント 2.5次元再現の基準距離( )では原音場と一致     では振幅も大きく誤差が大きい     では減衰により誤差が小さい A method with a linear array 33 Realsoundsource Dreal(xs,ω)=1Virtualsource Drep(x, ω) Dreal(xs, ω) = −1 ˜Drep(kx, ω) = ejkxxs ˜Gx(kx, yref − ys, ω) ˜Gx(kx, yref , ω) Drep(x, ω) Realsoundsource Dreal(xs,ω)=−1 P(x,yref,0,ω)=0 y = yref Residualwavefield P(x,y,0,ω)=Prep−Preal !"#$%&"'() *"#$%&"'() " " '+,) - . / 0 !. !-12 !- !312 3 312 - -12 . !23 !03 !/3 !.3 !-3 3 !"#$%&"'() *"#$%&"'() " " '+,) - . / 0 !. !-12 !- !312 3 312 - -12 . !23 !03 !/3 !.3 !-3 3 点音源 提案法 yref yref < y y < yref 駆動関数が距離に依存 JIHMSP 2017 ˜P (kx, y, ω) = ˜Prep (kx, y, ω) − ˜Preal (kx, y, ω)
  34. 34. 指向性円形スピーカアレイを用いた方式 指向性スピーカアレイの導入:禁止周波数問題を回避 ポイント 0次と1次のみを制御すればよい→少ない素子数で実装可能(実験では9素子) A method with a circular array IWAENC 2018 Quiet zone Listening zonerref r1 D0 D1 x y S0(r, φ) S1(r, φ) S0+1(r, φ) 20 log10 |S0+1(r, φ)|
  35. 35. 柔軟なアレイ形状への適用 空間フーリエ変換:アレイ形状が面/直線,球/円である必要性 配置やアプリケーションが限定される
 →面/直線,球/円以外のアレイ形状・定式化の模索 2.5次元制御における鉛直方向への伝搬抑圧 2.5次元制御:アレイと平行な水平面の音圧のみを制御 鉛直方向への伝搬は制御不能→反射音→局所再生不可
 →水平面アレイによる3次元音場制御 3次元近傍再生 3次元音場制御:2.5次元制御に比べて素子数が莫大に必要 少ない素子数では低周波のみしか制御できない
 →如何にコンパクトなアレイを構築するか Challenges and prospects 35ASJ2018S z = 0 [m] [dB]-1 0 1 2 3 4 y [m] -2 -1 0 1 2 x[m] -40 -35 -30 -25 -20 -15 -10 -5 0 x = 0 [m] [dB]-1 0 1 2 3 4 y [m] -2 -1 0 1 2 z[m] -40 -35 -30 -25 -20 -15 -10 -5 0
  36. 36. 原音場を活かしたアクティブマルチスポット音空間再生システム 1. 原音場の英語話者の音場をマイクロホンアレイで収録 2. 収録した原音場をスピーカアレイでキャンセル 3. 機械翻訳した日本語と中国語をそれぞれスポット再生 Extended approach 36 こんにちは 你好 Hello Cancelling original English field, and Localizing translated Japanese field Cancelling original English field, and Localizing translated Chinese field Cancelling translated fields, and Directly passing only original English field 1 2 3 こんにちは Hello 你好 Japanese area English area Chinese area 従来:再生するソースは既知
  37. 37. 空間フーリエ変換に基づく局所再生 音場制御,局所再生,ビームフォーミング,パラメトリックアレイとの比較 空間フーリエ変換に基づく音場推定・音場制御・局所再生の原理 実施例:直線・円形スピーカアレイを用いた局所再生・近傍再生 今後の課題と展望(アレイ形状,3次元制御,アクティブマルチスポット再生) 謝辞 本研究の一部はJSPS科研費JP25871208,JP15K21674およびJP18K11387 の助成を受けたものである 25871208:加算型サウンドスポットシステムの高精度化
                     若手研究B (2013.4-2015.3) 15K21674:多言語音声マルチスポット再生システムの開発
                     若手研究B (2015.4-2018.3) 15K21674:アクティブマルチスポット音空間再生システムの開発
                     基盤研究C (2018.4-2021.3) Concluding remarks 37
  38. 38. 日本音響学会2019年春季研究発表会@電気通信大学
                           ※実行委員長:羽田陽一 3月7日(木):電気音響[アレー信号処理] 13:00~14:15 岡本,”円形アレイを用いた水平面3次元音場の収録と再現” 3月7日(木):音声B[合成1] 09:15~10:30 岡本,戸田,志賀,河井,”基本周波数とメルケプストラムを用いたリアルタイ ムニューラルボコーダに関する検討” Next presentations 38
  39. 39. ベース論文 スピーカアレイを用いた局所再生 [17] J.-W. Choi and Y.-H. Kim, “Generation of
 an acoustically bright zone with an illuminated
 region using multiple sources,” J. Acoust. Soc. 
 Am., vol. 111, no. 4, pp. 1695‒1700, Apr. 2002. マルチ音場再生 [39] Y. J. Wu and T. D. Abhayapala, “Spatial
 multizone sound-field reproduction: Theory and 
 design,” IEEE Trans. Audio, Speech, Lang.
 Process., vol. 19, no. 6, pp. 1711‒1720, Aug.
 2011. 検索方法 Google Scholar検索→引用元→日付順に並び替え Bright zone (Listening area) Dark zone (Quiet area) How to find related papers 39

×