SlideShare ist ein Scribd-Unternehmen logo

[論文紹介] Skip-Thought Vectors

•
•
H
Hiroki Shimanaka

首都大 小町研 研究室内論文紹介（B4 後期）

Ingenieurwesen
1 von 8
Downloaden Sie, um offline zu lesen
[論文紹介] Skip-Thought Vectors Kiros et al., 2015 首都大学東京 システムデザイン研究科 システムデザイン専攻 情報科学域 小町研究室 修士1年 嶋中 宏希
単語分散表現  自然言語処理分野において、Word2Vec [Mikolov et al., 2013] の登場は 大きな衝撃であった  Word2Vec のおかげで単語を分散表現で示すことが可能となり、単語の 意味を考慮した処理をすることが可能になったのである  Word2Vec の Skip-gram というモデルではある文において、ある単語か らその前後の単語を予測するように学習を行うことにより分散表現の 学習を行う  Skip-gramは「同じ文脈に出現する単語は同じ意味を持つ」という分布 仮説 [Harris, 1945] に基いている 2018/7/8 1
文分散表現  Word2Vec の登場により単語単位での意味を考慮した処理は可能になっ たが文単位には利用できなかった  単語分散表現の和や平均を文分散表現として扱う方法もあるがこの方 法だと語順を考慮できないという問題がある  他にもあるラベル付きのデータを用いて文分散表現を学習するという 手法も存在したが、その手法だと学習したデータに依存してしまい、 汎用性が劣ってしまうという問題が生じた  そこで提案されたのが『 Skip-Thought Vectors 』である 2018/7/8 2
Skip-Thought Vectors [Kiros et al., 2015]  この論文では語順を考慮した汎用性の高い文単位の分散表現の学習法 を提案している  ではどのようにしてそのような文分散表現の学習を可能にしたのか  語順・・・文分散表現の学習に RNN (リカレントニューラルネットワーク) を用いることにより語順の考慮を可能にした  汎用性・・・汎用性が劣ってしまうのを防ぐためにラベルの存在しない データを用いて学習を行った  ラベルの存在しないデータを用いてどのように学習を行ったのか  単語分散表現の学習にも用いられた分布仮説を文レベルに応用して前後の 文を予測するようにして学習を行った  Word2Vec と同様にラベルのないデータから仮のラベルのようなものを設 定し学習を行うことによりデータにあまり依存しない分散表現の学習を可 能にしたのである 2018/7/8 3
Skip-Thought（モデル）  Skip-Thought は本コーパスのような連続した文の間に意味がある（一 文一文で完結した文の集まりではない）コーパスを用いて学習するエ ンコーダデコーダモデルである  ある𝑠𝑖 番目の文をエンコードして分散表現とし、その分散表現から 𝑠𝑖−1番目と𝑠𝑖+1番目の文を再構成するように学習する  このように学習を行うことにより語順を考慮した汎用性の高い文分散 表現の学習を可能にした 2018/7/8 4 図1: Skip-Thought の概要図
まとめ  この論文で文レベルへの分布仮説の応用が可能であることが示された  この論文を発端として、連続した文の集まりであるコーパス（本コー パス）を用いた文分散表現の研究が盛んになり、Skip-Thoght よりも汎 用性が高く学習時間が短い Quick-Thought [Logeswaran et al., 2018] が提案されたりしている  汎用的な文分散表現は、類似文検索、分類問題、機械翻訳自動評価な ど様々なタスクで活躍している  今現在も文分散表現の研究が盛んに行われており、この論文における 発見は非常に有用なものであったと考えられる 2018/7/8 5
感想  語順を考慮した汎用性の高い文分散表現の学習法の原点であり、単語 単位での分布仮説というのはなんとなく想像はできるがまさかその考 えを文レベルに応用するというのは自分の中では大きな衝撃であった  この考えに基づく文分散表現の学習法というのはこの論文以降多く提 案されており非常に大きな貢献であると感じた  文分散表現の学習においてのみ言えることではなく、実は今までラベ ルなしのデータと思い込んでいたものが仮のラベルを設定することで 実は学習に非常に有用なデータであるかもしれないという考えを与え てくれた 2018/7/8 6
参考文献  Distributed Representations of Words and Phrases and their Compositionality [Mikolov et al., NIPS 2013]  Skip-Thought Vectors [Kiros et al., arXiv 2015]  AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS [Logeswaran et al., ICLR 2018]  スライド内の図は Skip-Thought Vectors [Kiros et al., arXiv 2015] の論 文より引用 2018/7/8 7

Empfohlen

Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
2019年度チュートリアルBPE
2019年度チュートリアルBPE2019年度チュートリアルBPE
2019年度チュートリアルBPE広樹 本間
 
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP
 
NIP2015読み会「End-To-End Memory Networks」
NIP2015読み会「End-To-End Memory Networks」NIP2015読み会「End-To-End Memory Networks」
NIP2015読み会「End-To-End Memory Networks」Yuya Unno
 
BERT+XLNet+RoBERTa
BERT+XLNet+RoBERTaBERT+XLNet+RoBERTa
BERT+XLNet+RoBERTa禎晃 山崎
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)Deep Learning JP
 
Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善Naoaki Okazaki
 

Empfohlen

Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてSho Takase
 
2019年度チュートリアルBPE
2019年度チュートリアルBPE2019年度チュートリアルBPE
2019年度チュートリアルBPE広樹 本間
 
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP
 
NIP2015読み会「End-To-End Memory Networks」
NIP2015読み会「End-To-End Memory Networks」NIP2015読み会「End-To-End Memory Networks」
NIP2015読み会「End-To-End Memory Networks」Yuya Unno
 
BERT+XLNet+RoBERTa
BERT+XLNet+RoBERTaBERT+XLNet+RoBERTa
BERT+XLNet+RoBERTa禎晃 山崎
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)Deep Learning JP
 
Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善Naoaki Okazaki
 
動作認識の最前線：手法，タスク，データセット
動作認識の最前線：手法，タスク，データセット動作認識の最前線：手法，タスク，データセット
動作認識の最前線：手法，タスク，データセットToru Tamaki
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image GeneratorsDeep Learning JP
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解するAtsukiYamaguchi1
 
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」Hitomi Yanaka
 
Cvpr 2021 manydepth
Cvpr 2021 manydepthCvpr 2021 manydepth
Cvpr 2021 manydepthKenta Tanaka
 
[DL輪読会]High-Quality Self-Supervised Deep Image Denoising
[DL輪読会]High-Quality Self-Supervised Deep Image Denoising[DL輪読会]High-Quality Self-Supervised Deep Image Denoising
[DL輪読会]High-Quality Self-Supervised Deep Image DenoisingDeep Learning JP
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP
 
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Preferred Networks
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
 
異常検知と変化検知　7章方向データの異常検知
異常検知と変化検知　7章方向データの異常検知異常検知と変化検知　7章方向データの異常検知
異常検知と変化検知　7章方向データの異常検知智文 中野
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～SSII
 
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介株式会社メタップスホールディングス
 
Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Yamato OKAMOTO
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
[Tutorial] Sentence Representation
[Tutorial] Sentence Representation[Tutorial] Sentence Representation
[Tutorial] Sentence RepresentationHiroki Shimanaka
 
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation EvaluationHiroki Shimanaka
 

Weitere ähnliche Inhalte

Was ist angesagt?

動作認識の最前線：手法，タスク，データセット
動作認識の最前線：手法，タスク，データセット動作認識の最前線：手法，タスク，データセット
動作認識の最前線：手法，タスク，データセットToru Tamaki
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image GeneratorsDeep Learning JP
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解するAtsukiYamaguchi1
 
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」Hitomi Yanaka
 
Cvpr 2021 manydepth
Cvpr 2021 manydepthCvpr 2021 manydepth
Cvpr 2021 manydepthKenta Tanaka
 
[DL輪読会]High-Quality Self-Supervised Deep Image Denoising
[DL輪読会]High-Quality Self-Supervised Deep Image Denoising[DL輪読会]High-Quality Self-Supervised Deep Image Denoising
[DL輪読会]High-Quality Self-Supervised Deep Image DenoisingDeep Learning JP
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP
 
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Preferred Networks
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
 
異常検知と変化検知　7章方向データの異常検知
異常検知と変化検知　7章方向データの異常検知異常検知と変化検知　7章方向データの異常検知
異常検知と変化検知　7章方向データの異常検知智文 中野
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～SSII
 
Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Yamato OKAMOTO
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 

Was ist angesagt? (20)

動作認識の最前線：手法，タスク，データセット
動作認識の最前線：手法，タスク，データセット動作認識の最前線：手法，タスク，データセット
動作認識の最前線：手法，タスク，データセット
 
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
 
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
[DL輪読会]StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
 
Transformerを雰囲気で理解する
Transformerを雰囲気で理解するTransformerを雰囲気で理解する
Transformerを雰囲気で理解する
 
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言語処理」
 
Cvpr 2021 manydepth
Cvpr 2021 manydepthCvpr 2021 manydepth
Cvpr 2021 manydepth
 
[DL輪読会]High-Quality Self-Supervised Deep Image Denoising
[DL輪読会]High-Quality Self-Supervised Deep Image Denoising[DL輪読会]High-Quality Self-Supervised Deep Image Denoising
[DL輪読会]High-Quality Self-Supervised Deep Image Denoising
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
 
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
異常検知と変化検知　7章方向データの異常検知
異常検知と変化検知　7章方向データの異常検知異常検知と変化検知　7章方向データの異常検知
異常検知と変化検知　7章方向データの異常検知
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
 
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
SSII2019TS: Shall We GANs?​ ～GANの基礎から最近の研究まで～
 
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
 
Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
 

Mehr von Hiroki Shimanaka

[Tutorial] Sentence Representation
[Tutorial] Sentence Representation[Tutorial] Sentence Representation
[Tutorial] Sentence RepresentationHiroki Shimanaka
 
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation EvaluationHiroki Shimanaka
 
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...Hiroki Shimanaka
 
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...Hiroki Shimanaka
 
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...Hiroki Shimanaka
 
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.Hiroki Shimanaka
 
[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?Hiroki Shimanaka
 
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...Hiroki Shimanaka
 

Mehr von Hiroki Shimanaka (8)

[Tutorial] Sentence Representation
[Tutorial] Sentence Representation[Tutorial] Sentence Representation
[Tutorial] Sentence Representation
 
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
[論文紹介] Reference Bias in Monolingual Machine Translation Evaluation
 
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
[論文紹介] ReVal: A Simple and Effective Machine Translation Evaluation Metric Ba...
 
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
[Paper Reading] Unsupervised Learning of Sentence Embeddings using Compositi...
 
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
[論文紹介] PARANMT-50M- Pushing the Limits of Paraphrastic Sentence Embeddings wi...
 
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
[論文紹介] AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS.
 
[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?[論文紹介] Are BLEU and Meaning Representation in Opposition?
[論文紹介] Are BLEU and Meaning Representation in Opposition?
 
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
[Paper Reading] Supervised Learning of Universal Sentence Representations fro...
 

[論文紹介] Skip-Thought Vectors