Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (17)
Ähnlich wie ElectraとpQRNNについて
Ähnlich wie ElectraとpQRNNについて (10)
ElectraとpQRNNについて
- 2. 自然言語モデルの現状
- 6. 最近の自然言語モデル 精度や速度の向上を目指し、2020年に発表された新たな自然言語モデルや手法 アプローチ 手法の名前 概要 発表時期 精度の改善 ELECTRA GANの仕組みに触発され、MLMに代わるRTD:Replaced Token Detection(置き換えられた単語の検出)を提案。BERTよりも少ない学習時間で 高い精度を実現 2020年5月 Longformer 局所的なAttentionとタスクに紐づいたGlobal Attentionの導入により、既存の Transformerよりも長い時系列が扱える 2020年4月 速度の改善 pQRNN 低次元に射影するレイヤーを使うPRADOをベースに、LSTMよりも高速な QRNNレイヤー組み込んだモデル。BERTと同じくらいの精度で、BERTよりもパ ラメータ数が大幅に削減(1/300)されたモデル。 2020年9月 Reformer LSH:Locality-Sensitive-Hashing(局所的鋭敏型ハッシュ)とReversible Residual Layerの導入により、既存のTransformerのメモリ効率を向上 2020年1月 (初版) 本日 ご紹介
- 7. ELECTRA
- 8. ELECTRAの作り方 GANの仕組みをベースにMLMの出力結果を利用したRTDを提案 学習済みDiscriminatorは汎用言語モデルとして様々なタスク用に転移学習可能 生成器(BERTなど) 識別器(ELECTRA本体) RTD:Replace Token Detectionで作るELECTRAの事前学習 ほどほどの精度のMLMを使うことで、元の文章内の一部(15%程 度)の単語が、元の単語のままだったり、別の単語に置き換わったり する 文章内の各単語が、元の単語か置き換わった単語か予測 文章内の各単語に対して予測を行うため、全ての 単語をフルに学習に活用 https://arxiv.org/pdf/2003.10555.pdf
- 10. ELECTRAの使用方法 2020年5月のGoogle AI Blogでの発表時TensorFlow v1でのコードとモデルが公開 2020年6月には日本語の事前学習済みELECTRAが公開 1. Googleが公開しているTensorFlow v1ベースのELECTRA https://github.com/google-research/electra 2. Huggin FaceのTransformersでのELECTRA https://huggingface.co/transformers/model_doc/electra.html 3. 株式会社シナモンが公開している日本語での事前学習済みELECTRA https://github.com/Cinnamon/electra_japanese
- 11. pQRNN
- 13. pQRNN PRADOをベースに、シーケンシャルデータの並列計算を可能にした QRNN:quasi-recurrent neural networkを使用したモデル BERTとほぼ同精度ながらもパラメータ数が300分の1に削減されたモデルを実現 https://ai.googleblog.com/2020/09/advancing-nlp-with-efficient-projection.html?utm_campaign=piqcy&utm_medium=email&utm_source=Revue%20newsletter civil_commentsデータセットでBERTとの比較 LSTM層、CNN層、QRNN層の違い https://arxiv.org/pdf/1611.01576.pdf pQENNの構造