Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 音声認識における言語モデル
音声認識における言語モデル
- 2. 瀬戸山 幸大郎@KotaroSetoyama ■ Retriva/PFNアルバイト 音声認識/Chainer,CuPy開発 ■ 卒業論文 音声合成 2 自己紹介
- 5. 音声認識とは 5
- 6. 音声認識とは 6
- 7. 音声認識とは 7
- 8. 音響モデル ■ GMM + HMM, DNN + HMM, RNN + CTC ... ■ HMMやCTCの役割は時間方向の継続長の処理 8 GMM...Gaussian Mixture Model HMM...Hidden Markov Model DNN... Deep Neural Network CTC...Connectionist Temporal Classification p p r e f f e r r r d preferred
- 9. 音響モデル 9 ■ 音響モデルでは音声特徴ベクトルと音素(トライフォン)を対応させる 例) 文単位：あらゆる現実をねじねじする 無限個 単語単位：あらゆる 現実 を ・・・ 数万個 音素単位：a r a y u r u ・・・ 数十個 この各トライフォンの音素がそれぞれ異なる特徴ベクトルに対応している （トライフォン _-a+r a-r+a r-a+y a-y+u y-u+r ・・・）
- 10. 音響モデルをどう表現するか？ 10 → FST(finite state transducer) / WFST(weighted FST) HMMの場合 ・各音素(トライフォン)に対し て右のようなHMMを用意する ・継続長の処理は自己ループに よって確率的に処理できる a - a + r 徳田恵一. "隠れマルコフモデルによる音声認識と音声合成." 情報処理 45.10 (2004): 1005-1011.
- 11. 11 このHMMをWFSTで表現する 徳田恵一. "隠れマルコフモデルによる音声認識と音声合成." 情報処理 45.10 (2004): 1005-1011.
- 13. 13
- 14. 14
- 16. 音響モデルをどう表現するか？ 16 ■ HMMもCTCもFST/WFSTを用いて表現出来る ■ 言語モデルもWFSTで表すことができれば1つの巨大なWFSTを構築できる(サー チグラフ) ■ サーチグラフを探索することで確率を計算し、確率最大のものを出力 この処理をデコードと呼び，デコードを行うプログラムをデコーダという 音声認識システムの実装で面倒なのはデコーダの部分
- 17. 音響モデルをどう表現するか？ 17 言語モデルはWFSTで表せられるのか？ ■ HMMもCTCもFST/WFSTを用いて表現出来る ■ 言語モデルもWFSTで表すことができれば1つの巨大なWFSTを構築できる(サー チグラフ) ■ サーチグラフを探索することで確率を計算し、確率最大のものを出力 この処理をデコードと呼び，デコードを行うプログラムをデコーダという 音声認識システムの実装で面倒なのはデコーダの部分
- 19. N-gram言語モデル 19 トライグラム ■ ある単語の出現確率は過去のN-1単語に依存すると仮定 ■ Nは3〜5が多い ■ コーパス中に現れない単語の確率が0になるのを防ぐ、スムージングなどの工 夫が必要 ■ WFSTで表すことができる
- 21. ■ 単語数が増えると言語モデルの状態数も増えるので状態数を減らす工夫をする ■ 音響モデルは音素単位，言語モデルは単語単位だったので，単語と音素の対応 表(単語辞書)もWFSTで表す ■ 音響モデル，言語モデル，単語辞書をWFSTで表し，合成演算を行い，単語列 と重みを出力するWFSTを構築 音響モデル + N-gram言語モデル WFST 音響モデル 言語モデル 単語候補A + 確率 詳細は西鳥羽さんの資料参照 http://www.slideshare.net/JiroNishitoba/wfst-61929888
- 22. RNNLM ■ 2010年にTomas Mikolovによって提案された言語モデル ■ N-gram言語モデルよりも広いコンテキスト情報を保持できる ■ 最新の音声認識システムでは使われることが多い 22
- 25. RNNLMの問題点 ■ 計算コストが大きい 特に出力層のソフトマックスのコストが大きい(後述) ■ サーチグラフが巨大になる N-gramLMではN-1個の単語の組が1つのstateであった → Nが無限(RNNLM)の時はstate数は無限？ ■ 単語の扱い方がN-gramLMと異なる RNNLMは単語をベクトル(連続空間)で扱っている 25 RNNLMをFirst-passで使用するのは容易ではない
- 26. RNNLMをFirst-passで利用する例1 Conversion of recurrent neural network language models to weighted finite state transducers for automatic speech[Lecorvé+ 12] 26 ■ 連続空間で表されている単語をstateに変換するために無理やり量子化を行う ■ k-meansで似ている単語ベクトルを1つにまとめる 量子化 状態の枝刈り
- 28. Variational approximation of long-span language models for LVCSR [Deoras+ 11] Approximate inference: A sampling based modeling technique to capture complex dependencies in a language model [Deoras+ 13] 28 RNNLMをFirst-passで利用する例2 ■ First-passで使用できる計算コストの低い確率分布QとRNNLMのようなLong- spanLMの確率分布を変分近似する ■ KL距離最小化
- 30. Cache based recurrent neural network language model inference for first pass speech recognition[Huang+ 14] 30 RNNLMをFirst-passで利用する例3 ■ 同じ計算を行っている箇所に注目して，計算結果をキャッシュとして蓄えてお くことでRNNLMを呼ぶ回数を最小限にとどめている N-gramLMと同程度の速度を保ったままN-gramLMよりも良い精度を出している
- 31. ■ First-passでRNNLMを利用しようとした例はいくつかあるが，成功例は少ない ■ 主流はN-gramLM + RNNLMのリスコアリング 31
- 33. リスコアリング Empirical Evaluation and Combination of Advanced Language Modeling Techniques. [Mikolov+ 11] ■ リスコアリングは以下のように各言語モデルの線形和をとる ■ 重みはヒューリスティックに決める ■ Mikolovの論文ではN-gramLMでN-bestを出力し，RNNLMでリスコアリングし たものが最も精度が良い 例) N-gramLMでN-best出力 → 1-of-K表現 → RNNLMに入力 → RNNLMのスコアが出る → N-gramLMのスコアと線形和をとる 33
- 35. Noise Contrastive Estimation for Speech Recognition Recurrent neural network language model training with noise contrastive estimation for speech recognition [Chen+ 15] 35 損失関数 正規化項が過去の単語に依存
- 36. Noise Contrastive Estimation for Speech Recognition 36 データが以下のような混合分布(NCEで近似するRNNLMの分布+ノイズの分 布)から生成されると仮定する なんやかんや
- 37. Noise Contrastive Estimation for Speech Recognition 37 正規化項が過去の単語に依存しない定数
- 38. Noise Contrastive Estimation for Speech Recognition 38 Cross-Entropy(通常のソフトマックス)と同等のWERを保ちながら， train，evalの双方で大幅な高速化を実現 RNNLMの学習データは20M word Fisher data
- 39. Noise Contrastive Estimation for Speech Recognition 39 単語数が増加しても速度は不変 ■ リスコアリングRNNLMの精度/速度を上げる研究は他にも多くある
- 40. CUED-RNNLM Toolkit ■ 先ほど紹介したRNNLM training with NCEの著者Xie Chenが公開している RNNLMを記述できるツールキット ■ RNNLMのツールはいくつかあるが，音声認識で使用するのに最も適してそう ■ 手軽にリスコアリングを行える ■ Kaldiと組み合わせられる 40 http://mi.eng.cam.ac.uk/projects/cued-rnnlm/
- 41. まとめ ■ RNNLMの音声認識システムへの組み込み方は様々 ■ N-gramLMで出力したN-bestをリスコアリングするのが主流 ■ リスコアリングの速度を上げる研究はNCE含め多く提案されている 41
Hinweis der Redaktion
- ワールドトリガーは先週から休載になりました
- 言語モデルの論文を見てると、機械翻訳や音声認識に応用可能と書いてある。本当？
- Xは音響特徴ベクトル Wは出力される単語
- ベイズの定理
- 単純にDNNやRNNで1入力1出力のモデルを構築するだけではダメ 今回の音響モデルの説明ではHMMを用いる
- 後述するが言語モデルは単語単位で考える 音素単位にすることで有限個の候補で扱える
- 確率を計算するための工夫がある(ビタビ) 学習はEM
- HMM音響モデルをWFSTに変換
- N-gramLMはNNLMを含む
- Chainerのexampleにも実装がある
- Word2Vecなど
- 変分近似の説明省略
- 説明不足
- Mikolovの論文ではN-gramLMとRNNLM以外にも多くのLMと比較実験を行っている
- データ1つに対してノイズk個をサンプリング 1 + kのデータを用いて過去の単語に関係なく、今の単語におけるソフトマックスを近似する？