Dilated rnn
•Download as PPTX, PDF•
4 likes•3,058 views
dirated recurrent neural networks
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Dilated rnn
Similar to Dilated rnn (15)
More from naoto moriyama
Recently uploaded
Recently uploaded (9)
Dilated rnn
- 1. 論文紹介 Dilated Recurrent Neural Networks 森山 直人 本資料で用いられる図及び表は論文より引用：https://arxiv.org/pdf/1710.02224.pdf
- 2. 自己紹介 • 森山 直人（もりやま なおと） • もともと中国国籍 ⇒ 帰化(国籍変更)して日本人に • パーソルキャリア株式会社でデータ分析しています • 仕事では大方勾配Boosting、プライベートで遊びで深層学習 • 自然言語処理が好きです
- 3. 本日のお話 • 論文選定の理由及びポイント • Recurrent neural networkの基本と問題点 • Dilated recurrent neural networksの仕組み • パフォーマンス評価 • まとめ
- 4. 論文のポイント • RNNが抱える問題をシンプルな手法を用いて解決を図り、 幾つかの観点で既存の構造より優れることを提唱する • NIPS論文としては数理的な複雑度が抑えられている （それだけアイディアが良い？） • 自然言語から画像認識など応用範囲が広く、既存のRNNを 用いたモデルへの移植がしやすい 以降通常のRNNの仕組みを整理したのち、本論文の概要を 説明致します
- 5. Recurrent Neural Network 出力層 入力層 隠れ層 隠れ層が再帰構造を 持つネットワーク 時系列に展開 t=0 t=1 t=2 t=3 任意の数 で初期化
- 7. 問題点 • 中間層のみが過去の情報を表現するため、そこで短期・中期の 記憶を保持しながら長期記憶を保持するのは難しい • 勾配計算時は過去の系列をすべて辿るため、計算が多くなり 勾配問題（爆発・消失）が発生し得る -順伝搬時は重みが乗った入力を足し算。逆伝搬時は掛け算 • 学習は系列データを逐次処理するため、並列化が難しい
- 8. 問題点 問題点に対してはこれまで多くの取り組みがされてきた • LSTMやGRUを用いて勾配をコントロール • Clockwork RNNsなどを用いて異なる時系列を処理 • 一定間隔で学習データを飛ばす処理を入れることで高速化 • その他gradient clippingなどの学習ルール 本論文ではWaveNetで用いられるアイディアをRNNに応用し、 前述の課題を解決する
- 9. Dilated Recurrent Neural Networks (以下dilatedRNNとします) • IBMとイリノイ大学の共同執筆 • 再帰構造を持つ隠れ層の再帰接続にスキップ機能を導入。 これにより少数の接続で長期の範囲と接続を持たせる • 複数の隠れ層を構築し、それぞれ異なる時系列を参照 • 平均再帰長とパラメータ効率の概念を新たに提唱し、 モデルの優位性を分析
- 10. dilatedRNNのキーアイディア 層ごとに異 なるスキッ プ幅を持つ WaveNetと同様のスキップ幅を持つ⇒ スキップの幅は 𝑠 𝑙 = 𝑀 𝑙−1 (M:スキップを持つ隠れ層数、l: 隠れ層）https://deepmind.com/blog/wavenet-generative-model-raw-audio/
- 13. パラメータが少なければよいのか？ • パラメータ減により、長い時系列の学習や学習速度の向上は 実現できたが、性能向上の理論を検討する必要がある • そのために、新たに平均再帰長の概念を提唱する • メインの思想は、再帰の回数が長いほど、各データが持つ情報 が希薄する。ネットワークの記憶能力向上のため、平均再帰長 は少ないほど良い ※論文中で平均再帰数が少ないほど良いことを示す証明はされていない
- 14. 平均再帰長 ※より小さい平均再帰長のほうが優秀 再帰長の定義 𝑑 = 1 𝑚 𝑛=1 𝑚 max 𝑖∈𝑉 𝑑𝑖(𝑛) 𝑑𝑖(𝑛): 時刻iからnにかけて、任意の ノード間の距離 𝑚 : 再帰層数 RNNの平均再帰長 𝑑 = 𝑚−1 2 + log2 𝑚 + 1 𝑚 + 1 dilatedRNNの平均再帰長 𝑑 = 3𝑚−1 2𝑚 log2 𝑚 + 1 𝑚 + 1
- 15. 平均再帰長 ※より小さい平均再帰長のほうが優秀 RNNの平均再帰長 𝑑 = 𝑚−1 2 + log2 𝑚 + 1 𝑚 + 1 dilatedRNNの平均再帰長 𝑑 = 3𝑚−1 2𝑚 log2 𝑚 + 1 𝑚 + 1 再帰層mが多いほど、dilatedRNNの理論平均再帰長が減少。 前述の理論に基づいてdilatedRNNの方がより情報を効率よく 記憶できる
- 16. パラメータ効率化 • 平均再帰長に加え、パラメータ効率化の概念を導入 • RNNの概念として、より少ないパラメータで長い再帰を行 いたい • dilatedRNNのスキップ効果により、1つのパラメータで1以 上の再帰を行うことができるため、効率に優れるといえる
- 18. ベンチマークスコア パフォーマンス評価のため、以下のタスクにて実験を行った • メモリーコピー • 手書き文字（MNIST）分類 • 文字レベル言語モデル（PennTreebank） • 音声話者推定 比較対象はRNNをベースとしたモデルであり、dilatedRNN以外 にLSTMとGRUにおいてもdilatedを適応させ、それぞれ dilatedLSTM、dilatedGRUとしてスコアを計算した
- 20. 手書き文字分類 ここでは通常の学習に加え入力系列を並べ替えて学習させる処理を行う 通常では最高性能はdilatedGRUとなった。並べ替えた際はdilatedCNN が最も高いスコアとなった。
- 23. まとめ • シンプルな実装によりRNNに長期時系列依存性を高めた • パラメータの減少と並列化により学習速度が向上 • RNNにおける理論分析の指標を提供した