15. 再利用?新規生成?
• 再利用
• 新規生成
– テンプレート
主語+動詞の文を生成しよう
– 非テンプレート
A small gray dog
on a leash.
A black dog
standing in
grassy area.
A small white dog
wearing a flannel
warmer.
入力 データセット
16. 再利用?新規生成?
• 再利用
– A small gray dog on a leash.
• 新規生成
– テンプレート
主語+動詞の文を生成しよう
– 非テンプレート
A small gray dog
on a leash.
A black dog
standing in
grassy area.
A small white dog
wearing a flannel
warmer.
入力 データセット
17. 再利用?新規生成?
• 再利用
– A small gray dog on a leash.
• 新規生成
– テンプレート
dog+stand ⇒ A dog stands.
– 非テンプレート
A small gray dog
on a leash.
A black dog
standing in
grassy area.
A small white dog
wearing a flannel
warmer.
入力 データセット
18. 再利用?新規生成?
• 再利用
– A small gray dog on a leash.
• 新規生成
– テンプレート
dog+stand ⇒ A dog stands.
– 非テンプレート
A small white dog standing on a leash.
A small gray dog
on a leash.
A black dog
standing in
grassy area.
A small white dog
wearing a flannel
warmer.
入力 データセット
36. 本論文が提案する中間表現
キャプション側のVQA-Captionアクティべーション𝑢 𝐶
𝑖番目の成分𝑢 𝐶
(𝑖)
= log 𝑃𝐶(𝐴𝑖|𝑄𝑖, 𝐶)
𝑢 𝐶
𝐶が なら𝑢 𝐶
(5)
の値は0に近い
𝐶が なら𝑢 𝐶
(5)
の値は負の値
𝑢 𝐶
(5)
= log 𝑃𝐶(Pizza|What kind of food is in the picture?, 𝐶)
A couple of
pieces of pizza
with vegetable
slices on them.
Two boats on
shore near an
ocean.