Visual Question Answering 2.0
•Als PPTX, PDF herunterladen•
0 gefällt mir•461 views
TensorFlow User Group Tokyo主催の「NN論文を肴に酒を飲む会 #8」で発表した「Visual Question Answering 2.0」という論文についてのスライドです。
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie Visual Question Answering 2.0
Ähnlich wie Visual Question Answering 2.0 (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (10)
Visual Question Answering 2.0
- 1. Visual Question Answering 2.0 Masao Taketani(竹谷 昌夫) 2019-1-23
- 4. なぜこの論文を選んだか ・自分自身がディープラーニング X 複数のモダリティからなるマルチモーダルな モデルに興味があり、かつ今回はWBA若手の会と合同ということでこのテーマを 選んだ。 ・学士論文ということもあり、最初の発表を行うのにはちょうどよいレベルだと 思った。 ・実装がしやすそうだった。 論文URL: https://imatge.upc.edu/web/sites/default/files/pub/xRoldan.pdf
- 5. State of the Art(この論文執筆時点) ・Multimodal Compact Bilinear Poolingという手法を用いて、画像から得た特徴ベク トルとテキストから得た特徴ベクトルの組み合わせを行い、またアテンションを用 いたアーキテクチャを使用することで高い精度を出した。 論文URL: https://arxiv.org/pdf/1606.01847.pdf
- 7. 画像はMSCOCOデータセットのものが使用され、以下の構成からなる。 ・一画像あたりの平均質問数：5.36 ・一つの質問に対して、別々のアノテーターがつけた10個の正解があるため、ラ ベル数は質問数の10倍。 ・回答のタイプは「はい/いいえ」、「数値」、「その他の単語」にカテゴライズ されている。 学習用 検証用 テスト用 画像枚数 82,783 40,504 81,434 質問数 443,757 214,354 447,793 ラベル数 4,437,570 2,143,540 VQA 2.0 Dataset(2017)について
- 8. 論文で検証されたモデル
- 9. Baseline Model ・カタルーニャ工科大学が2016のVQA Challengeに参加したときのモデル。 ・画像の特徴抽出器としてKCNN(Kernelized CNN)を使用。画像からの特徴ベクトルに 対して全結合層を追加してベクトルの次元削減を行い、テキストからの特徴ベクトルと 要素ごとの和でマージする。 ・マージしたベクトルに対して最後にSoftmax関数を使用して、辞書として使用した 10,000語の中から、質問内容に最もふさわしい回答となる単語を選択。
- 13. Word Embedding ・GloVe(Global Vectors Word Representations) embeddingと誤差逆伝搬により学 習させて得たembeddingを比べると、GloVeの方が精度が良かったため、GloVe を使用した。 ・GloVeの分散表現の次元数は100を選択。 ・GloVeの入力側は400,000単語あるが、そのうち10,000単語のみを今回使用する 辞書の順番と合わせて使用。
- 14. ResNet Based Model ・画像の特徴抽出器にResNet-50を使用。(ResNet-152版がILSVRC 2015でチャ ンピオンになったことで有名) ・画像の特徴抽出能力が高いのはもちろん、抽出される特徴ベクトルが低次元 (2048次元)なため、学習時間を大幅に少なくすることができる。
- 18. 精度の評価方法について
- 20. それぞれのモデルの検証結果
- 22. マージオペランドの検証 ・画像とテキストの情報をマージする際に、画像の特徴抽出にResNetを使用し、 2つの特徴ベクトルを以下4つの方法で検証した。 1. 要素ごとの積 2. 要素ごとの和 3. Concatenation後にFC(全結合層)の利用 4. Concatenation後にFCを利用しない ・ResNetでは要素ごとの和を使用したマージが一番良かったため、VGGでも要 素ごとの和を試したが、VGGの場合は精度が出なかった。
- 26. GloVe Embeddingのファインチューニング ・Embeddingについて一から学習させるよりもGloVe Embeddingを使用した方が よい結果が出たため、GloVe Embeddingをファインチューニングした精度も検証 してみた結果、精度は向上しなかった。
- 32. 以上です！