Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Mehr von Takuya Koumura
Mehr von Takuya Koumura (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (8)
言語表現モデルBERTで文章生成してみた
- 2. 2019.12.14 Takuya KOUMURA cycentum.com P. 2 私は・・・ ⚫ 職業 ⚪研究員 ⚫ 所属 ⚪NTT コミュニケーション科学基礎研究所 ⚪人間情報研究部（心理学・神経科学のラボ） ⚫ ヤバ研ワークショップ ⚪参加：3-4回目くらい？ ⚪発表：初挑戦！ ⚫ 得意分野 ⚪神経科学（電気生理・生化学反応） ⚪音の心理学（聴覚・発声） ⚪計算（シミュレーション・機械学習・データ解析） SNS
- 3. 2019.12.14 Takuya KOUMURA cycentum.com P. 3 研究内容（現在＆過去） ⚫ NTT ⚪聴覚神経系の計算機シミュレーション ⚪質感知覚 ⚫ 東大 ⚪トリのさえずり分析 ⚪さえずり聴取中の電気生理 ⚪生化学反応の計算機シミュレーション
- 6. 2019.12.14 Takuya KOUMURA cycentum.com P. 6 言語表現モデルBERTで 文章生成してみた ⚫ 得意分野 ⚪神経科学（電気生理・生化学反応） ⚪音の心理学（聴覚・発声） ⚪計算（シミュレーション・機械学習・データ解析） ＋言語処理
- 7. 2019.12.14 Takuya KOUMURA cycentum.com P. 7 今日は鉄板料理が 食べたいな。 目的：文章生成したい function generate() { … return generated_text; } x ~ P(x) 生成 function generate(input_text) { … return generated_text; } x ~ P(x|y) 何食べたい？ 今日は鉄板料理が 食べたいな。 生成 今回はこっち
- 8. 2019.12.14 Takuya KOUMURA cycentum.com P. 8 今日は鉄板料理が 食べたいな。 生成 目的：文章生成したい ⚫ 要件 ⚪文法的・意味的に正しい ⚪毎回異なる文章が出る 今日が鉄板料理に 食べたいな。 今日は鉄板料理が 割りたいな。 function generate() { … return generated_text; }
- 9. 2019.12.14 Takuya KOUMURA cycentum.com P. 9 方法 ① 予め全て用意しておく ② ランダムに生成し、後で選ぶ ③ 順番に生成する ④ ちょっとずつ変形する ⑤ ノイズを変換する
- 10. 2019.12.14 Takuya KOUMURA cycentum.com P. 10 ① 予め全て用意しておく 今日は鉄板料理 が食べたいな。 0.1 今日は鍋が食べ たいな。 0.01 ： ： ： ： 明日は晴れるか な？ 0.2 出現確率 今日は鉄板料理 が食べたいな。 出現確率に 従って選ぶ ⚫ 数が多い→覚えきれない ⚫ 数が少ない→「毎回異なる文章が出る」を満たさない ⚫ 普通、「生成」とは呼ばない
- 11. 今日 は 鉄板 料理 が 食べ たい な 。 今日は鉄板料理が食べたいな。 分割 単語 x = x1x2 … xn x ~ P(x) = P(x1, x2, … xn) 言語学：文字→単語→句→節→文
- 12. 2019.12.14 Takuya KOUMURA cycentum.com P. 12 ② ランダムに生成し、後で選ぶ ⚫ 文法的・意味的に正しい文章は、（以外と？）少ない→時間がかかる 今日 明日 は が 鉄板 料理 鍋 ： ： ・・・ 食べ今日料理か料理な明日料理？ → ✕ 鉄板がなたい鍋鍋晴れるは。 → ✕ なな鍋は食べ明日鍋明日。 → ✕ 料理今日料理食べ今日鉄板料理鍋？ → ✕ 料理料理料理な今日は明日明日？ → ✕ 今日晴れるがな料理か鉄板な。 → ○？ 鉄板今日今日が食べ食べたい鍋。 → ✕ はが明日晴れる晴れる鍋はは？ → ✕ 明日明日料理たいなか鉄板か。 → ✕ 料理食べ明日晴れるがかがたい。 → ✕ x = x1x2 … xn x ~ P(x) = P(x1)P(x2) … P(xn) P(xi) = P if D(x) = True: xを採用単語リスト
- 13. 2019.12.14 Takuya KOUMURA cycentum.com P. 13 ② ランダムに生成し、後で選ぶ 食べ今日料理か料理な明日料理？ 鉄板がなたい鍋鍋晴れるは。 なな鍋は食べ明日鍋明日。 料理今日料理食べ今日鉄板料理鍋？ 料理料理料理な今日は明日明日？ 今日晴れるがな料理か鉄板な。 鉄板今日今日が食べ食べたい鍋。 はが明日晴れる晴れる鍋はは？ 明日明日料理たいなか鉄板か。 料理食べ明日晴れるがかがたい。 文章 画像
- 14. 2019.12.14 Takuya KOUMURA cycentum.com P. 14 方法 ① 予め全て用意しておく →普通、「生成」とは呼ばない ② ランダムに生成し、後で選ぶ →時間がかかる ③ 順番に生成する ④ ちょっとずつ変形する ⑤ ノイズを変換する
- 15. 2019.12.14 Takuya KOUMURA cycentum.com P. 15 ③ 順番に生成する は今日 明日 は が 鉄板 料理 鍋 ： ： は が は が 痛い ・・・ は が 痛い けど 料理 を 食べ x = x1x2 … xn x ~ P(x) = P(x1)P(x2|x1)P(x3|x1x2) … P(xn|x1x2 … xn-1)単語リスト ・・・
- 16. 2019.12.14 Takuya KOUMURA cycentum.com P. 16 ③ 順番に生成する 文章 van den Oord A, Kalchbrenner N, Kavukcuoglu K (2016) “Pixel Recurrent Neural Networks”. ICML. etc. 画像 音 van den Oord A, Dieleman S, Zen H, Simonyan K, et al., (2016) “WaveNet: A Generative Model for Raw Audio” arXiv Prepr. etc.
- 17. 2019.12.14 Takuya KOUMURA cycentum.com P. 17 今日 は 鉄板 が 食べ たい な 。 今日 は 鉄板 が 食べ たい な 。
- 18. 2019.12.14 Takuya KOUMURA cycentum.com P. 18 ④ ちょっとずつ変形する 今日 は 鉄板 料理 が 食べ たい な 。 今日 は 料理 が 食べ たい な 。 今日 は タイ 料理 が 食べ たい な 。 は タイ 料理 が 食べ たい な 。 ボク は タイ 料理 が 食べ たい な 。 ボク の タイ 米 を 買っ て ね ？ 隠す 隠す ・・・ 𝒙~𝑪 𝒙 𝒙 𝒙~𝑷 𝒙 𝒙 → 𝒙~𝑷 𝒙 推定 推定 種
- 19. 実際にやってみる
- 20. 2019.12.14 Takuya KOUMURA cycentum.com P. 20 ④ ちょっとずつ変形する 文章 画像 Bengio Y, Yao L, Alain G, Vincent P (2013) “Generalized denoising auto-encoders as generative models”. NIPS etc.
- 21. 2019.12.14 Takuya KOUMURA cycentum.com P. 21 今日 は 料理 が 食べ たい な 。 今日 は タイ 料理 が 食べ たい な 。 今日 は 料理 たい な 。 今日 は タイ 料理 を 作り たい な 。 ・・・・・・
- 22. 2019.12.14 Takuya KOUMURA cycentum.com P. 22 ⑤ ノイズを変換する 今日 は 鉄板 料理 が 食べ たい な 。 変換 z ~ P(z) = U01, N(0, 1), etc. x = f(z)
- 23. 2019.12.14 Takuya KOUMURA cycentum.com P. 23 ⑤ ノイズを変換する 文章 音 Luo Y-J, Agres K, Herremans D (2019) “Learning Disentangled Representations of Timbre and Pitch for Musical Instrument Sounds Using Gaussian Mixture Variational Autoencoders”. Conference of the International Society for Music Information Retrieval etc. 画像 Radford A, Metz L, Chintala S (2016) “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks” ICLR. etc.
- 24. 2019.12.14 Takuya KOUMURA cycentum.com P. 24 方法 ① 予め全て用意しておく →普通、「生成」とは呼ばない ② ランダムに生成し、後で選ぶ →時間がかかる ③ 順番に生成する ④ ちょっとずつ変形する ⑤ ノイズを変換する あわせ技 ② ＋ ⑤ 正しいと判別されるようにノイズを変換する ③ ＋ ⑤ 順番に生成したデータを変換する
- 25. 2019.12.14 Takuya KOUMURA cycentum.com P. 25 ② ランダムに生成し、後で選ぶ x = x1x2 … xn x ~ P(x) = P(x1)P(x2) … P(xn) P(xi) = P if D(x) = True: xを採用 食べ今日料理か料理な明日料理？ ✕ 鉄板がなたい鍋鍋晴れるは。 ✕ なな鍋は食べ明日鍋明日。 ✕ 料理今日料理食べ今日鉄板料理鍋？ ✕ 料理料理料理な今日は明日明日？ ✕ 今日晴れるがな料理か鉄板な。 ○？ 鉄板今日今日が食べ食べたい鍋。 ✕ はが明日晴れる晴れる鍋はは？ ✕ 明日明日料理たいなか鉄板か。 ✕ 料理食べ明日晴れるがかがたい。 ✕ 今日 明日 は が 鉄板 料理 鍋 ： ：
- 26. 2019.12.14 Takuya KOUMURA cycentum.com P. 26 ② ランダムに生成し、後で選ぶ x = x1x2 … xn x ~ P(x) = P(x1)P(x2) … P(xn) P(xi) = P if D(x) = True: xを採用 判別器 ○ or✕
- 27. 2019.12.14 Takuya KOUMURA cycentum.com P. 27 ⑤ ノイズを変換する 今日 は 鉄板 料理 が 食べ たい な 。 変換 z ~ P(z) = U01, N(0, 1), etc. x = f(z)
- 28. 2019.12.14 Takuya KOUMURA cycentum.com P. 28 ② ＋ ⑤ 正しいと判別されるようにノイズを変換する ○になるように z ~ P(z) = U01, N(0, 1), etc. x = f(z) 𝒇 = argmax 𝑓 𝑫 𝒇 𝒛 Goodfellow I, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A, Bengio Y (2014) “Generative Adversarial Nets” NIPS. etc.
- 29. 2019.12.14 Takuya KOUMURA cycentum.com P. 29 方法 ① 予め全て用意しておく →普通、「生成」とは呼ばない ② ランダムに生成し、後で選ぶ →時間がかかる ③ 順番に生成する ④ ちょっとずつ変形する ⑤ ノイズを変換する あわせ技 ② ＋ ⑤ 正しいと判別されるようにノイズを変換する ③ ＋ ⑤ 順番に生成したデータを変換する
- 30. 2019.12.14 Takuya KOUMURA cycentum.com P. 30 ⑤ ノイズを変換する 今日 は 鉄板 料理 が 食べ たい な 。 変換 z ~ P(z) = U01, N(0, 1), etc. x = f(z)
- 31. 2019.12.14 Takuya KOUMURA cycentum.com P. 31 ③ 順番に生成する は は が は が 痛い ・・・ は が 痛い けど 料理 を 食べ x = x1x2 … xn x ~ P(x) = P(x1)P(x2|x1)P(x3|x1x2) … P(xn|x1x2 … xn-1)
- 32. 2019.12.14 Takuya KOUMURA cycentum.com P. 32 ③ ＋ ⑤ 順番に生成したデータを変換する z ~ P(z) = P(z1)P(z2|z1)P(z3|z1z2) … P(zm|z1z2 … zm-1) x = f(z) Razavi A, Oord A van den, Vinyals O (2019) “Generating Diverse High-Fidelity Images with VQ-VAE-2” ICLR. 画像
- 33. 2019.12.14 Takuya KOUMURA cycentum.com P. 33 方法 ① 予め全て用意しておく →普通、「生成」とは呼ばない ② ランダムに生成し、後で選ぶ →時間がかかる ③ 順番に生成する ④ ちょっとずつ変形する ⑤ ノイズを変換する あわせ技 ② ＋ ⑤ 正しいと判別されるようにノイズを変換する ③ ＋ ⑤ 順番に生成したデータを変換する どのくらい使われているのか？ （私が観測している範囲では）
- 34. 2019.12.14 Takuya KOUMURA cycentum.com P. 34 ④ ちょっとずつ変形する ⚫ 昔々、深層学習ブームの初期の頃に提案される ⚫ 「② ＋ ⑤ 」の台頭 ⚫ 忘れ去られる ⚫ BERTを使ってみたかった Vincent P (2011) “A connection between scorematching and denoising autoencoders” Neural Comput. Bengio Y, Yao L, Alain G, Vincent P (2013) “Generalized denoising auto-encoders as generative models” NIPS. Bengio Y, Thibodeau-Laufer E, Alain G, Yosinski J, Thibodeau- Laufer É, Alain G, Yosinski J (2014) “Deep Generative Stochastic Networks Trainable by Backprop” ICML. 正しいと判別されるように ノイズを変換する Karras T, Laine S, Aittala M, Hellsten J, Lehtinen J, Aila T (2019) “Analyzing and Improving the Image Quality of StyleGAN”.
- 36. 2019.12.14 Takuya KOUMURA cycentum.com P. 36 BERT Bidirectional Encoder Representations from Transformers ↓ （言語の）数値表現 今日 は 料理 たい な 。 今日 は 鉄板 料理 が 食べ たい な 。 隠す 復元 言語課題（分類、翻訳、質問応答、etc）数値表現 色々な言語課題に使える言語の数値表現 ↓ 手法の名前（固有名詞） ↓
- 38. 2019.12.14 Takuya KOUMURA cycentum.com P. 38 BERTの訓練 ⚫ 隠された単語の復元 ⚫ 連続する文かどうかの判別 今日 は 料理 たい な 。 今日 は 鉄板 料理 が 食べ たい な 。 今日 は 鉄板 料理 が 食べ たい な 。 明日 も 食べ たい な 。 今日 は 鉄板 料理 が 食べ たい な 。 文章 生成 の 方法 は ？ →連続する →連続しない
- 39. 2019.12.14 Takuya KOUMURA cycentum.com P. 39 仕組み：Transformer 今日 は 料理 たい な 。入力 Attention NN ニューラル ネットワーク 今日 は 鉄板 料理 が 食べ たい な 。
- 40. 2019.12.14 Takuya KOUMURA cycentum.com P. 40 仕組み：Transformer 今日 は 料理 たい な 。入力 Attention ・・・ ・・・NN ニューラル ネットワーク NN NN NN NN・・・ ・・・ ・・・今日 は 鉄板 料理 が 食べ たい な 。 NN
- 41. 2019.12.14 Takuya KOUMURA cycentum.com P. 41 性能 ⚫ 11の言語課題で最高精度を達成 Devlin J, Chang M-W, Lee K, Toutanova K (2018) “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”