SlideShare a Scribd company logo
1 of 17
Download to read offline
円形アレイを用いた水平面3次元音場の収録と再現
岡本 拓磨
情報通信研究機構
Horizontal 3D sound field recording and synthesis with circular arrays
7 Mar. 2019, ASJ Autumn Meeting@Electrical communication Univ., Tokyo
1
Introduction
3D sound field recording and synthesis: Huge number of elements required
Horizontal 3D sound field recording and synthesis with 2D microphone and loudspeaker arrays
Proposed approach without new formulations T. Okamoto, ICASSP 2019
3D Sound field recording and spherical harmonic analysis with multiple circular microphone arrays
2.5D sound field synthesis with a circular loudspeaker array
Computer simulation
Concluding remarks
Announcement
Presentation outline
2
(a) recording S(r, π/2, φ) (c) 2.5D synthesis with D(r0)
Estimation Conversion
(b) Am
n for n + |m| even
···
···
···
···
···
ˇA0
0
ˇA−1
1
ˇA1
1
ˇA0
2
ˇA−2
2
ˇA2
2
ˇA−3
3
ˇA−1
3
ˇA1
3
ˇA3
3
Previous method / 2
Previous method
3D sound field recording and synthesis methods
波面合成法(Wave field synthesis: WFS),スペクトル除算法(Spectral division method: SDM)
到来音場型高次アンビソニクス(Interior HOA) 放射音場型高次アンビソニクス(Exterior HOA)
3次元音場の収録・再現には莫大な数の素子数が必要
3
Previous implementation examples with many elements
到来音場型アンビソニクス
波面合成法,スペクトル除算法
121ch球形マイクロホンアレイ@東北大 157/32ch包囲型スピーカアレイ@東北大
157ch包囲型マイクロホンアレイ@東北大 42ch球形スピーカアレイ@NICT
96ch二直線マイクロホンアレイ@NICT 82ch二直線スピーカアレイ@NICT
これでも全然足りません 4
放射音場型アンビソニクス
フーリエ変換
時間領域→周波数領域
3次元音場の球面調和展開:球面座標系の空間フーリエ変換
球面上の空間音圧分布→球面調和スペクトル
3次元音場を指向性成分ごとに分解
3次元音場の2次元円筒調和展開
円周上の空間音圧分布→2次元円筒調和スペクトル
Spherical harmonic expansion of 3D sound field
F(ω) =
∞
−∞
f(t)ejωt
dt f(t) =
1
2π
∞
−∞
F(ω)e−jωt
dω
r
S(r, θ, φ) =
∞
n=0
n
m=−n
ˇAm
n jn(kr)Y m
n (θ, φ)
Y m
n (θ, φ) = P|m|
n (cos θ)ejmφ
5
ˇAm
n =
1
jn(kr)
2π
0
π
0
S(r, θ, φ)Y m
n (θ, φ)∗
sin θdθdφ
球面調和関数
−1−2−3−4 0
0
1
1
2
2
3
3
4
4
m
n
˚Sm(r) =
1
2π
2π
0
S(r, π/2, φ)e−jmφ
dφ
···
···
···
···
···
ˇA0
0
ˇA−1
1
ˇA1
1
ˇA0
2
ˇA−2
2
ˇA2
2
ˇA−3
3
ˇA−1
3
ˇA1
3
ˇA3
3
ˇA0
1
ˇA−1
2
ˇA1
2
ˇA0
3
ˇA−2
3
ˇA2
3
···
···
球面上の音圧分布 球面調和スペクトル
水平面3次元音場収録・再現
球面マイクロホン・スピーカアレイ
次数 までの球面調和スペクトルの計算に必要な素子数: →莫大な素子数かつ配置困難
水平面2次元アレイ:直線・円形アレイ
3次元の収録・再現は諦めて...水平面の音場収録・再現にフォーカス→人間の耳は水平面についている
円形アレイマイクロホン・スピーカアレイ
次数 までの2次元円筒調和スペクトルの計算に必要な素子数: →少ない素子数かつ比較的配置容易
水平面2次元アレイを用いた3次元音場の収録と再現
音場再現:直線・円形アレイを用いた制御は制約付きで可能→2.5次元音場制御
音場収録:
諦めて2次元音場を仮定(e.g. S. Koyama et al., JASA 2016)→実環境は3次元のためモデル誤差が発生
諦めて球形アレイを使用(e.g. T. Okamoto., WASPAA 2017)→莫大な数の素子数が必要
複数円形アレイ,かつ鉛直方向に2層の配置を導入(H. Chen et al., JASA 2015)→莫大な数の素子数が必要
2D arrays for horizontal recording and synthesis
6
N (N + 1)2
M 2M + 1
問題点:高さ方向に変化のない2次元音場を仮定→実環境は3次元音場
円形マイクロホン・ スピーカアレイを用いた方式 S. Koyama et al., JASA 2016
収録:2次元音場を仮定,再生:3次元音場を仮定
問題点:3次元音場収録には対応できない=実環境では使えない
代替案:球形マイクロホン・直線スピーカアレイを用いた方式 T. Okamoto, WASPAA 2017
収録:3次元音場を仮定,再生:3次元音場を仮定
問題点:収録にはやはり莫大な素子数が必要
Conventional recording and synthesis methods
7
(a) 2D recording
Estimation
(b) 2D cylindrical
harmonic spectrums
Conversion
(c) 2.5D synthesis
˚Am
○ ×
(a) 3D recording (c) 2.5D synthesis(b) 2D angular spectrums
x
y
z
ˇSm
n
Model-based synthesis
˜Sm(kx) ˜S(R, φ, kx)
R
φ
x
y
z
Appropriate rotation
D(x0)
y0
x
y
z
˜S(ysyn, 0, kx)
ysyn
Estimation Conversion
水平面複数円形マイクロホンアレイを用いた3次元音場収録・解析
球面調和スペクトルの偶数成分:
無指向性複数円形アレイで収録
球面調和スペクトルの奇数成分:
鉛直方向ダイポール複数円形アレイ→鉛直方向2重複数円形アレイで収録
3D sound field analysis with multiple circular arrays
H. Chen et al., JASA 2015
水平面配置のみで3次元音空間を収録可能:ただし鉛直2重配置が必要→結局は素子数増大
8
ˇAm
n for n + |m| even
ˇAm
n for n + |m| odd
P|m|
n (0) = 0 for n + |m| odd
dP
|m|
n (0)
dθ
= 0 for n + |m| even
−1−2−3−4 0
0
1
1
2
2
3
3
4
4
m
nEstimation
Estimation
···
···
···
···
···
ˇA0
0
ˇA−1
1
ˇA1
1
ˇA0
2
ˇA−2
2
ˇA2
2
ˇA−3
3
ˇA−1
3
ˇA1
3
ˇA3
3
···
···
···
···
···
···
···
ˇA0
1
ˇA−1
2
ˇA1
2
ˇA0
3
ˇA−2
3
ˇA2
3
···
···
提案法の着眼点:水平面成分は無指向性収録のみでOK
提案法の着眼点
円形スピーカアレイを用いた水平面3次元音場制御の駆動関数(J. Ahrens et al., Acta Acust. Acusut. 2008)
水平面配置アレイを用いた水平面3次元音場の収録と再現
音場収録:無指向性複数円形マイクロホンアレイを使用(=従来方式の偶数成分のみを使用)
従来法と比較して半分の数のマイクロホンでOK
音場制御:円形スピーカアレイを用いた水平面3次元音場制御(=完全に従来方式)
(a) recording S(r, π/2, φ) (c) 2.5D synthesis with D(r0)
Estimation Conversion
(b) Am
n for n + |m| even
···
···
···
···
···
ˇA0
0
ˇA−1
1
ˇA1
1
ˇA0
2
ˇA−2
2
ˇA2
2
ˇA−3
3
ˇA−1
3
ˇA1
3
ˇA3
3
Proposed method
9
˚Dm =
˚Sm(rref )
2π˚Gm(rref , r0)
=
∞
n=|m|
ˇAm
n jn (krref ) P
|m|
n (0)
2π
∞
n=|m| jkjn (krref ) hn (kr0) P
|m|
n (0)2
音場制御の際の駆動関数は偶数成分しか含んでいない
水平面の再現が目的なら球面調和スペクトルは偶数成分のみで十分
P|m|
n (0) = 0 for n + |m| odd
Previous method / 2 Previous method
(a) recording S(r, π/2, φ)
Estimation
ˇA−1
1
ˇA−1
3
ˇA1
1
ˇA1
3
···
ˇA2
2
···
ˇA−2
2
···
ˇA3
3
···
ˇA−3
3
···
ˇA0
0
ˇA0
2
(b) Am
n for n + |m| even
˚S−2
˚S−1
˚S1
˚S0
˚S2
˚S3
˚S−3
水平面複数円形マイクロホンアレイを用いた水平面3次元音場収録
円形アレイで収録した音場の2次元円筒調和解析
半径が で2次元円筒調和解析の次数を で打ち切った場合
複数の半径があれば行列表現が可能
3次元球面調和スペクトルの偶数成分
Horizontal 3D sound field recording
H. Chen et al., JASA 2015
ˇA even
m = UT
|m|U|m|
−1
UT
|m|
ˆSm
複数半径の円形アレイを用いることにより
2次元に縮退された3次元球面調和スペクトルの偶数成分を抽出可能
S(r, π/2, φ) =
∞
n=0
n
m=−n
ˇAm
n jn(kr)P|m|
n (0)ejmφ
˚Sm = U|m|
ˇA
even
m
NRq
˚Sm(r) =
1
2π
2π
0
S(r, π/2, φ)e−jmφ
dφ =
∞
n=|m|
˜Am
n jn(kr)P|m|
n (0)
10
˚Sm (Rq)
N
n=|m|
ˇAm
n jn (kRq) P|m|
n (0)
(c) 2.5D synthesis with D(r0)
Conversion
(b) Am
n for n + |m| even
···
···
···
···
···
ˇA0
0
ˇA−1
1
ˇA1
1
ˇA0
2
ˇA−2
2
ˇA2
2
ˇA−3
3
ˇA−1
3
ˇA1
3
ˇA3
3
円形スピーカアレイを用いた2.5次元高次アンビソニクス(HOA)
円形スピーカアレイによる音場
2次元円筒調和展開(=円筒座標系での空間フーリエ変換):畳み込みの定理→畳み込みが積に
解析的駆動関数(スペクトル除算法)
基準半径 バージョン:ロピタルの定理
Horizontal 3D sound field synthesis with a circular array
J. Ahrens et al., Acta Acust. Acust. 2008
S(r, θ, φ) =
2π
0
D (r0) G3D (r, r0) r0dφ0 G3D (r, r0) =
ejk|r
− r0|
4π |r − r0|
˚Sm (rref ) = 2π˚Dm
˚Gm (rref , r0) ˚Gm (rref , r0) = jk
∞
n=|m|
jn (krref ) hn (kr0) P|m|
n (0)2
˚Dm
rref =0
=
ˇAm
|m|
2πjkh|m|(kr0)P
|m|
|m| (0)
rref = 0
11
3次元自由空間グリーン関数:
˚Dm =
˚Sm(rref )
2π˚Gm(rref , r0)
=
∞
n=|m|
ˇAm
n jn (krref ) P
|m|
n (0)
2π
∞
n=|m| jkjn (krref ) hn (kr0) P
|m|
n (0)2 rref
というわけで提案法に新しい式展開は1つもありません
シミュレーション条件
収録音場・再現音場:3次元自由空間,素子は全て無指向性
複数円形マイクロホンアレイ半径:0.4,0.35,0.3,0.25,0.2 m
複数円形マイクロホンアレイ素子数:21,19,17,15,11 = 83
最大周波数:1 kHz → 円筒調和解析最大次数:10
円形スピーカアレイ半径:0.75 m
円形スピーカアレイ素子数:21
比較対象
従来法1:最小二乗に基づく音圧直接制御
打ち切り特異値分解による正則化:最大固有値:最小固有値=40 dB
従来法2:2次元音場を仮定した音場収録→2.5次元再生
2次元円筒調和スペクトル:
2.5次元駆動関数:
Computer simulation
˚Am =
˚Sm (Rq)
Jm (kRq)
よりも少ないのがポイント(N + 1)2
= 121
˚Dm
rref =0
=
ˇAm
|m|
2πjkh|m|(kr0)P
|m|
|m| (0) 12
argmax
Rq
|Jm(kRq)|
音場再構成・音場再現誤差
Results of analysis/synthesis error
E(r) = 10 log10
Sorg(r) − Srec/syn(r)
2
|Sorg(r)|
2
13
f = 500 Hz
s = [2, 2, 0]T
s = [2, 2, 2]T
with ˚Am
(b) reconstructed (c) reconstructed(a) original field (d) synthesized (e) synthesized (f) synthesized
from ˚AmS(r, π/2, φ) from ˇAm
n with ˇAm
|m|by PM method
における平均再現誤差
Results of averaged synthesis error
r ≤ 0.2 m
提案法のみ水平面3次元音場の収録・再現が可能
14
Eave =
1
πr2
r
0
2π
0
10 log10
|Sorg(r) − Ssyn(r)|
2
|Sorg(r)|
2 dφdr
(c) s = [2, 2, 2]T
(b) s = [2, 2, 0]T(a) s: 2D plane wave
円形アレイを用いた水平面3次元音場の収録・再現
水平面3次元音場は収録も再生も球面調和スペクトルの偶数成分のみという点に着目→新しい式展開はありません
複数円形マイクロホンアレイを用いた音場収録・球面調和スペクトルの偶数成分の推定
円形スピーカアレイを用いた水平面音場制御
今後の課題
個人的な問題:解析解からの脱却(2014年ぶり)
解析的方式の検討
謝辞
本研究の一部はJSPS科研費JP18K11387の助成を受けたものである(いわゆる基盤C)
Concluding remarks
15
ˇA even
m = UT
|m|U|m|
−1
UT
|m|
ˆSm
Announcement
学会誌今月号:小特集「位相情報を考慮した音声音響信号処理」
小特集「位相情報を考慮した音声音響信号処理」にあたって:小野@首都大
複素生成モデルに基づく非負値行列因子分解と音源分離への応用:北村@香川高専
調波構造に基づく位相復元を利用した音声強調:若林@首都大
位相変換による複素スペクトログラムの表現:矢田部,升山,草野,及川@早稲田大
深層学習に基づく音源強調と位相制御:小泉@NTT
複素数の観測データを直接表現する制約ボルツマンマシンの拡張と音声信号処理への応用:中鹿@電気通信大
Q and A:位相のための確率分布と深層学習について教えて下さい:高道@東大
編集後記(=担当編集委員):岡本@NICT,水町@九工大
16
2.5次元音場制御
スピーカアレイ配置は2次元,スピーカの放射特性は3次元の音場制御
制約:基準線/円上の音圧のみ制御可能
What is “2.5D” sound field control?
アレイ形状
音源
放射特性
実装
2次元再生
線音源
難
円筒放射
2次元
基準円
点音源 点音源
2次元 3次元
球状放射 球状放射
難易
3次元再生2.5次元再生
17

More Related Content

What's hot

Deep-Learning-Based Environmental Sound Segmentation - Integration of Sound ...
Deep-Learning-Based  Environmental Sound Segmentation - Integration of Sound ...Deep-Learning-Based  Environmental Sound Segmentation - Integration of Sound ...
Deep-Learning-Based Environmental Sound Segmentation - Integration of Sound ...
Yui Sudo
 
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
 

What's hot (20)

WaveNetが音声合成研究に与える影響
WaveNetが音声合成研究に与える影響WaveNetが音声合成研究に与える影響
WaveNetが音声合成研究に与える影響
 
Kameoka2017 ieice03
Kameoka2017 ieice03Kameoka2017 ieice03
Kameoka2017 ieice03
 
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
 
深層学習と音響信号処理
深層学習と音響信号処理深層学習と音響信号処理
深層学習と音響信号処理
 
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
独立性に基づくブラインド音源分離の発展と独立低ランク行列分析 History of independence-based blind source sep...
 
音源分離 ~DNN音源分離の基礎から最新技術まで~ Tokyo bishbash #3
音源分離 ~DNN音源分離の基礎から最新技術まで~ Tokyo bishbash #3音源分離 ~DNN音源分離の基礎から最新技術まで~ Tokyo bishbash #3
音源分離 ~DNN音源分離の基礎から最新技術まで~ Tokyo bishbash #3
 
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分離とその発展(Audio source separation based on independent low-rank...
 
Deep-Learning-Based Environmental Sound Segmentation - Integration of Sound ...
Deep-Learning-Based  Environmental Sound Segmentation - Integration of Sound ...Deep-Learning-Based  Environmental Sound Segmentation - Integration of Sound ...
Deep-Learning-Based Environmental Sound Segmentation - Integration of Sound ...
 
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...非負値行列分解の確率的生成モデルと多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
 
z変換をやさしく教えて下さい (音響学入門ペディア)
z変換をやさしく教えて下さい (音響学入門ペディア)z変換をやさしく教えて下さい (音響学入門ペディア)
z変換をやさしく教えて下さい (音響学入門ペディア)
 
音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み
 
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパスJ-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
J-KAC:日本語オーディオブック・紙芝居朗読音声コーパス
 
ICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向ICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向
 
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離
調波打撃音分離の時間周波数マスクを用いた線形ブラインド音源分離
 
End-to-End音声認識ためのMulti-Head Decoderネットワーク
End-to-End音声認識ためのMulti-Head DecoderネットワークEnd-to-End音声認識ためのMulti-Head Decoderネットワーク
End-to-End音声認識ためのMulti-Head Decoderネットワーク
 
環境音の特徴を活用した音響イベント検出・シーン分類
環境音の特徴を活用した音響イベント検出・シーン分類環境音の特徴を活用した音響イベント検出・シーン分類
環境音の特徴を活用した音響イベント検出・シーン分類
 
JVS:フリーの日本語多数話者音声コーパス
JVS:フリーの日本語多数話者音声コーパス JVS:フリーの日本語多数話者音声コーパス
JVS:フリーの日本語多数話者音声コーパス
 
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価(Experimental evaluation of multichannel audio s...
 
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
 
複素ラプラス分布に基づく非負値行列因子分解
複素ラプラス分布に基づく非負値行列因子分解複素ラプラス分布に基づく非負値行列因子分解
複素ラプラス分布に基づく非負値行列因子分解
 

Similar to 円形アレイを用いた水平面3次元音場の収録と再現

MMDs10.6-7
MMDs10.6-7MMDs10.6-7
MMDs10.6-7
mfumi
 
Light weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceLight weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_face
ishii yasunori
 

Similar to 円形アレイを用いた水平面3次元音場の収録と再現 (10)

光発振器ネットワークで組合せ最適化問題を解くコヒーレントイジングマシン
光発振器ネットワークで組合せ最適化問題を解くコヒーレントイジングマシン光発振器ネットワークで組合せ最適化問題を解くコヒーレントイジングマシン
光発振器ネットワークで組合せ最適化問題を解くコヒーレントイジングマシン
 
CMSI計算科学技術特論B(8) オーダーN法1
 CMSI計算科学技術特論B(8) オーダーN法1 CMSI計算科学技術特論B(8) オーダーN法1
CMSI計算科学技術特論B(8) オーダーN法1
 
卒論(島田)
卒論(島田)卒論(島田)
卒論(島田)
 
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic MapsRobust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
 
MMDs10.6-7
MMDs10.6-7MMDs10.6-7
MMDs10.6-7
 
[招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生
[招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生[招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生
[招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生
 
Light weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_faceLight weightbinocular sigasia2012_face
Light weightbinocular sigasia2012_face
 
200604material ozaki
200604material ozaki200604material ozaki
200604material ozaki
 
El text.tokuron a(2019).yamamoto190620
El text.tokuron a(2019).yamamoto190620El text.tokuron a(2019).yamamoto190620
El text.tokuron a(2019).yamamoto190620
 
博士論文公聴会(完全版)
博士論文公聴会(完全版)博士論文公聴会(完全版)
博士論文公聴会(完全版)
 

円形アレイを用いた水平面3次元音場の収録と再現