【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx

3. [公開情報] 画像のベクトル化 ©2022 ARISE analytics Reserved. 画像に対して、いい感じのベクトル表現を得たい・自己教師あり学習の中間層： VAE / U-NET 画像に対するクラスタリング・クラス分類を従来の機械学習手法で可能に！同じような画像は同じようなベクトルに！・教師あり学習の最終層付近： ResNet / Xception encode decode Huge CNN 入力=出力アノテーションされたラベル

5. [公開情報] BEiTを理解する流れ ©2022 ARISE analytics Reserved. 4 ① Attention機構を知る ② MLMタスクを知る ③ 画像+Transformerを知る ④ BERTとViTを組み合わせる BERT ViT BEiT 画像に対する Transformer適用 Transformerを利用した言語の特徴量作成手法画像版BERT ① Transformer Attentionを利用した言語翻訳手法 ② ③ ④ + 画像パッチのトークン化

8. [公開情報] Attentionの構造 ©2022 ARISE analytics Reserved. 7 Attention 𝑄, 𝐾, 𝑉 = Softmax 𝑄𝐾𝑇 𝑑𝑘 𝑉 𝑄 = 𝑞1, … , 𝑞𝑛 𝑇 ∈ ℝ𝑛×𝑑𝑘 𝐾 = 𝑘1, … , 𝑘𝑛 𝑇 ∈ ℝ𝑛×𝑑𝑘 𝑉 = 𝑣1, … , 𝑣𝑛 𝑇 ∈ ℝ𝑛×𝑑𝑣 各行への適用 (各行の和が1) 例) ARISE はデータ分析が得意 k(ARISE) k(データ分析) k(得意) q(ARISE) 0.4 0.6 0 q(データ分析) 0.5 0.5 0 q(得意) 0 0.2 0.8 v(ARISE) v(データ分析) v(得意) 0.4v(ARISE)+0.6v(データ分析) 0.5v(ARISE)+0.5v(データ分析) 0.2v(データ分析)+0.8v(得意)

9. [公開情報] Multi-Head Attention について ©2022 ARISE analytics Reserved. 8 𝑀𝐻𝐴 𝑄, 𝐾, 𝑉 = ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑ℎ 𝑊𝑂 ℎ𝑒𝑎𝑑𝑖 = Attention 𝑄𝑊 𝑖 𝑄 , 𝐾𝑊𝑖 𝐾 , 𝑉𝑊𝑖 𝑉 𝑊 𝑖 𝑄 ∈ ℝ𝑑×𝑑𝑘 𝑊𝑖 𝐾 ∈ ℝ𝑑×𝑑𝑘 𝑊𝑖 𝑉 ∈ ℝ𝑑×𝑑𝑣 𝑊𝑂 ∈ ℝℎ𝑑𝑣×𝑑 複数種類のAttentionを混ぜたもの

11. [公開情報] Transformerブロック ©2022 ARISE analytics Reserved. 10 Transformer 𝑥 = 𝑧 𝑥′ = norm 𝑥 𝑦 = 𝑀𝐻𝐴 𝑥′ , 𝑥′ , 𝑥′ + 𝑥 𝑦′ = norm(𝑦) 𝑧 = 𝑅𝑒𝐿𝑈 𝑦′ 𝑊1 + 𝑏1 𝑊2 + 𝑏2 + 𝑦 Multi-Head Attention + 残差接続 3層パーセプトロン + 残差接続 𝑥 = 𝑥1, 𝑥2, … , 𝑥𝑛 𝑇 ∈ ℝ𝑛×𝑑 ↦ 𝑧 = 𝑧1, 𝑧2, … , 𝑧𝑛 𝑇 ∈ ℝ𝑛×𝑑 同じ型

14. [公開情報] MLMとは ©2022 ARISE analytics Reserved. 13 穴あきクイズを解く問題例) ARISE は [MASK] が得意で AI技術に精通しています。 Transformer x(ARISE) x([MASK]) x(得意) x(AI技術) x(精通) 予測データ分析元の文章から単語をランダムに [MASK]に置き換える x([MASK])でボキャブラリ全体からロジスティック回帰学習！

15. [公開情報] NSPとは ©2022 ARISE analytics Reserved. 14 文章のつながりが正しいかを判定する問題例) [CLS] ARISE はデータ分析が得意です [SEP] あなたは口笛を吹いた Transformer x([CLS]) x(ARISE) x(データ分析) x(得意) x([SEP]) x(あなた) … 予測 SEP前後で正しく文章がつながっていない文章先頭に[CLS]を付与 2文の間に[SEP]を挿入 x([CLS])でYes/Noの二値分類学習

18. [公開情報] 画像の分割とシーケンス化 ©2022 ARISE analytics Reserved. 17 ① 画像を(p x p)の正方形パッチに分割 ② 正方形パッチを1次元に変形 ③ 線形変換 ④ 先頭トークン[CLASS]のベクトルをつける ⑤ Positional Embeddingを加える 𝑧0 = 𝑥𝑐𝑙𝑎𝑠𝑠, 𝐸𝑥1, … , 𝐸𝑥𝑛 𝑇 + 𝑃𝐸 ∈ ℝ 𝑛+1 ×𝑑 𝑥𝑖 ∈ ℝ𝑝2𝑐 𝐸 ∈ ℝ𝑑×𝑝2𝑐 𝑥𝑐𝑙𝑠 ∈ ℝ𝑑 𝑥𝑖 1次元化された正方形パッチ線形変換の行列先頭のクラストークン Positional Embedding

19. [公開情報] クラス分類 ©2022 ARISE analytics Reserved. 18 NSPと同様に先頭の[CLASS]のベクトルから予測 𝑧0 = 𝑥𝑐𝑙𝑠, 𝐸𝑥1, … , 𝐸𝑥𝑛 𝑇 + 𝑃𝐸 𝑧ℓ = Transformer 𝑧ℓ−1 𝑦 = Softmax 𝑧𝐿 (𝑐𝑙𝑎𝑠𝑠) Transformer ブロックを多層に繋げる最終層の[CLASS]ベクトルで各Classの確率を計算

22. [公開情報] 画像のTokenizer ©2022 ARISE analytics Reserved. 21 画像を学習済みのdiscrete VAE(dVAE)で離散化 (画像x → visualトークンz) ResNetベースで 256 x 256 x 3 の画像から 32 x 32 x (token size)の確率ベクトルに確率最大の visualトークン離散トークンを扱える Gumbel Softmax による確率的なdecode 学習済みのdVAEモデルはこちら → https://github.com/openai/DALL-E 5. [Aditya, et al.]

28. [公開情報] Referrence ©2022 ARISE analytics Reserved. 27 1. Hangbo, et al. “BEiT: BERT Pre-Training of Image Transformers.” ICLR2022 2. Ashish, et al. “Attention is all you need.” NeurIPS2017 3. Jacob, et al. “BERT: pre-training of deep bidirectional transformers for language understanding.” ACL2019 4. Alexey, et al. “An image is worth 16x16 words: Transformers for image recognition at scale.” ICLR2021 5. Aditya, et al. “Zero-Shot Text-to-Image Generation.” ICML2021

29. [公開情報] Best Partner for innovation, Best Creator for the future.

【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx

【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx

Recomendados

Más contenido relacionado

Was ist angesagt?

Was ist angesagt?(20)

Más de ARISE analytics

Más de ARISE analytics(13)

Último

Último(7)

【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx