SlideShare a Scribd company logo

文献紹介：VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding

•
•
Toru Tamaki
Toru Tamaki

Hu Xu, Gargi Ghosh, Po-Yao Huang, Dmytro Okhonko, Armen Aghajanyan, Florian Metze, Luke Zettlemoyer, Christoph Feichtenhofer, "VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding" EMNLP2021 https://aclanthology.org/2021.emnlp-main.544/

Technology
1 of 20
Download to read offline
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding Hu Xu, Gargi Ghosh, Po-Yao Huang, Dmytro Okhonko, Armen Aghajanyan, Florian Metze, Luke Zettlemoyer, and Christoph Feichtenhofer, EMNLP2021 細谷 優（名工大玉木研） 2022/11/11
CLIP [Radford+, ICML2021] nFine-tuning無しでも精度が高い事前学習モデルの作成 • テキスト表現と画像特徴の ペアを予想するように学習 • ミニバッチ内の コサイン類似度を計算 • WebImageText (WIT) • データ数400Mの 画像&テキストのペア • ImageNet-21k [Deng+, CVPR2009] は14M Transformer [Vaswani+, NeurIPS 2017] ViT [Dosovitskiy+, ICLR 2021] ResNet [He+, CVPR2016] 論文中のCLIPはViT-L/14@336 ミニバッチ
概要 n画像ではCLIPがZero-shot transferで成功 • Zero-shot transfer可能なVideo用の事前学習手法を提案 • 事前学習に公開されたデータセット n映像特有の課題に対処 • 対応するキャプションがない • 時間で区切った動画と テキストのペアを使う • ビデオクリップのマイニング （正負に分ける）は困難 • Retrieval Augmented Training • 類似した動画を検索する
関連研究 nZero-shot transferのための事前学習 • 類似度計算し，共同空間を学習 • MIL-NCE [Miech+, CVPR2020] • CLIP nMulti-modal Video-Text pre-training • 対照学習を採用（zero-shot transfer適用可能） • MIL-NCE • Support-set [Patrick+, ICLR2021] nRetrieval Augmented Training • Pre-training via Paraphrasing [Lewis+, NeurIPS2020]
Video and Text Encoding nVideoとText両方に，別々のTransformerを適用 nVideoをトークン化 nTransformerへ入力し，Average Pooling • クラストークンは使わない 𝐶!: 映像， 𝑓"!"" : 事前学習済みエンコーダ， 𝑓"#$% : MLP層で単語と同じ次元に 𝑓"& : Video用Transformerエンコーダ， 𝑓"' : Text用Transformerエンコーダ
Contrastive loss n動画とテキストの対応関係を学習 • InfoNCE [Oord+, arXiv2018] のContrastive lossを利用 nデータを正例と負例に分ける方法 • Video-text clipsの構築 • Retrieval Augmented Trainingによる 正例の検索 𝑧! " : 正例（𝑧#と重なるText clipの埋め込み） 𝑧! $ : 負例
Video-Text clipsの構築 nデータセットからVideoとTextがペアとなったclipsを作成 • 動画と解説（Text）がペアのデータセット（タイムスタンプ付き） n1つのVideoからVideo-Text clipsを複数作成 • TextをサンプリングしText clipを作る • Text clip 内にあるタイムスタンプをサンプリング • Video clipの時間の中央になる • ランダムな長さのVideo clipを作成し Video-Text clipsに • 3~32秒の動画になる
Retrieval Augmented Training n右のアルゴリズムに従って 正例と負例を構築 Encoder 出力から 𝑍!（動画1つの特徴）を計算 同じ動画からサンプリング：正例 clips 別の動画からサンプリング：負例 clips Faissを使用 検索の効率化のために， 𝑍!を クラスタリング 3: 類似度が高い特徴同士が近く なるindexを設定 4: 検索 2kの近いVideoからkだけサンプ リング （これを正例とする）
実験したタスク nText→Video Retrieval • YouCook2 [Zou+, AAAI2018] • MSR-VTT [Xu+, CVPR2016] • DiDeMo [Hendricks, EMNLP2018] nMultiple-choice VideoQA • MSR-VTT nAction segmentation • COIN [Tang+, CVPR2019] nAction step localization • CrossTask [Zhukov, CVPR2019]
実験設定 nVideoCLIPの事前学習 • HowTo100M [Miech+, ICCV2019] • 1.1Mのうち，4kをvalに用いる nVideoの特徴抽出 • S3D [Xie+, ECCV2018] nVideoとTextのTransformer • BERT [Devlin+, NAACL2019] • Videoは6層，Textは12層 nTokenizer • Videoは34 Textは63のトークンに制限 nパラメータ • epoch：25 • Batch size: 512 • Optimizer：Adam • 学習率：5e-5 • Warm-up: 1000 steps • スケジューラ： polynomial decay nその他 • 温度パラメータ：1.0 • 検索する近傍k：32
実験結果（Youcook2） ntext-video retrieval • Zero-shot transfer でMIL-NCEを上回る nAblation study • 実装方法以外の性能も示す Ablation study text-video retrieval
まとめ nVideoでzero-shot transfer可能な学習方法を提案 • InfoNCE のContrastive loss • Retrieval Augmented Training n実験 • 複数タスクで評価 • Ablation study
補足資料
CLIP : Connecting Text and Images Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever, ICML2021
CLIP（実験） nZero-shot transferで性能比較 • fine-tuning無しで様々な データセットでクラス分類 • 画像と全てのクラスラベルを 入力し，ペアを予測（右図） n改善 • Prompt engineering • 単純なラベル予測ではなく， 文章の一部を予想 • 複数プロンプトで行い埋め込み 空間で平均化（ensembling） Prompt engineering
CLIP（実験結果） nZero-shot transferの性能 • ResNet-50（分類層追加） の教師あり学習と比較 • 専門的な画像は識別が難しい • 動画用のデータセットは 中央1フレームを入力 リンパ節腫瘍検出 衛星画像の識別 車間距離認識 動作認識用 データセット
CLIP 補足 概要の補足（論文中のコード） 実験結果の補足（評価指標など）
VideoCLIP
実験結果（MSR-VTT） Multiple-choice VideoQA text-video retrieval
実験結果（残り） Action segmentation Action step localization text-video retrieval

Recommended

【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? Deep Learning JP
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話Yusuke Uchida
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Hiroto Honda
 

Recommended

【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? Deep Learning JP
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話Yusuke Uchida
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Hiroto Honda
 
これからの Vision & Language ～ Acadexit した4つの理由
これからの Vision & Language ～ Acadexit した4つの理由これからの Vision & Language ～ Acadexit した4つの理由
これからの Vision & Language ～ Acadexit した4つの理由Yoshitaka Ushiku
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...Deep Learning JP
 
ResNetの仕組み
ResNetの仕組みResNetの仕組み
ResNetの仕組みKota Nagasato
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf幸太朗 岩澤
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用SSII
 
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜SSII
 
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...Deep Learning JP
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)Deep Learning JP
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用SSII
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"Deep Learning JP
 
拡散する画像生成.pdf
拡散する画像生成.pdf拡散する画像生成.pdf
拡散する画像生成.pdfNTTDOCOMO-ServiceInnovation
 
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...Yoshitaka Ushiku
 

More Related Content

What's hot

これからの Vision & Language ～ Acadexit した4つの理由
これからの Vision & Language ～ Acadexit した4つの理由これからの Vision & Language ～ Acadexit した4つの理由
これからの Vision & Language ～ Acadexit した4つの理由Yoshitaka Ushiku
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...Deep Learning JP
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf幸太朗 岩澤
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用SSII
 
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜SSII
 
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...Deep Learning JP
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)Deep Learning JP
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi
 
SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用SSII
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"Deep Learning JP
 

What's hot (20)

これからの Vision & Language ～ Acadexit した4つの理由
これからの Vision & Language ～ Acadexit した4つの理由これからの Vision & Language ～ Acadexit した4つの理由
これからの Vision & Language ～ Acadexit した4つの理由
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
 
ResNetの仕組み
ResNetの仕組みResNetの仕組み
ResNetの仕組み
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
 
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）
 
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
 
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
 
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...
【DL輪読会】“PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmenta...
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
 
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
 
SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用SSII2022 [OS3-02] Federated Learningの基礎と応用
SSII2022 [OS3-02] Federated Learningの基礎と応用
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
 
【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"
 

Similar to 文献紹介：VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding

Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...Yoshitaka Ushiku
 
Bridging between Vision and Language
Bridging between Vision and LanguageBridging between Vision and Language
Bridging between Vision and LanguageShion Honda
 
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Kazuki Maeno
 
論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...Toru Tamaki
 
[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation
[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation
[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth EstimationKazuyuki Miyazawa
 
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer 【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformercvpaper. challenge
 
ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)Hideki Okada
 
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...KenzoOkuda
 
PredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade ConvolutionsPredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade Convolutionsharmonylab
 
動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)
動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)
動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)cvpaper. challenge
 
（文献紹介）深層学習による動被写体ロバストなカメラの動き推定
（文献紹介）深層学習による動被写体ロバストなカメラの動き推定（文献紹介）深層学習による動被写体ロバストなカメラの動き推定
（文献紹介）深層学習による動被写体ロバストなカメラの動き推定Morpho, Inc.
 
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video PriorDeep Learning JP
 
文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and Audio
文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and Audio文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and Audio
文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and AudioToru Tamaki
 
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話Takuya Ueda
 
Unified Vision-Language Pre-Training for Image Captioning and VQA
Unified Vision-Language Pre-Training for Image Captioning and VQAUnified Vision-Language Pre-Training for Image Captioning and VQA
Unified Vision-Language Pre-Training for Image Captioning and VQAharmonylab
 
画像処理でのPythonの利用
画像処理でのPythonの利用画像処理でのPythonの利用
画像処理でのPythonの利用Yasutomo Kawanishi
 
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介Recruit Technologies
 

Similar to 文献紹介：VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding (20)

拡散する画像生成.pdf
拡散する画像生成.pdf拡散する画像生成.pdf
拡散する画像生成.pdf
 
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
Vision-and-Language Navigation: Interpreting visually-grounded navigation ins...
 
Bridging between Vision and Language
Bridging between Vision and LanguageBridging between Vision and Language
Bridging between Vision and Language
 
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
 
論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介：Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
 
[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation
[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation
[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation
 
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer 【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
 
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
 
ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)ICCV 2019 論文紹介 (26 papers)
ICCV 2019 論文紹介 (26 papers)
 
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
キャリア網の完全なソフトウェア制御化への取り組み (沖縄オープンデイズ 2017) / Telecommunication Infrastructure ...
 
PredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade ConvolutionsPredCNN: Predictive Learning with Cascade Convolutions
PredCNN: Predictive Learning with Cascade Convolutions
 
動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)
動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)
動画認識・キャプショニングの潮流 (CVPR 2018 完全読破チャレンジ報告会)
 
（文献紹介）深層学習による動被写体ロバストなカメラの動き推定
（文献紹介）深層学習による動被写体ロバストなカメラの動き推定（文献紹介）深層学習による動被写体ロバストなカメラの動き推定
（文献紹介）深層学習による動被写体ロバストなカメラの動き推定
 
SIGGRAPH 2019 Report
SIGGRAPH 2019 ReportSIGGRAPH 2019 Report
SIGGRAPH 2019 Report
 
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
[DL輪読会]Blind Video Temporal Consistency via Deep Video Prior
 
文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and Audio
文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and Audio文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and Audio
文献紹介：PolyViT: Co-training Vision Transformers on Images, Videos and Audio
 
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
静的解析とUIの自動生成を駆使してモバイルアプリの運用コストを大幅に下げた話
 
Unified Vision-Language Pre-Training for Image Captioning and VQA
Unified Vision-Language Pre-Training for Image Captioning and VQAUnified Vision-Language Pre-Training for Image Captioning and VQA
Unified Vision-Language Pre-Training for Image Captioning and VQA
 
画像処理でのPythonの利用
画像処理でのPythonの利用画像処理でのPythonの利用
画像処理でのPythonの利用
 
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介
 

More from Toru Tamaki

論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
論文紹介：Automated Classification of Model Errors on ImageNet
論文紹介：Automated Classification of Model Errors on ImageNet論文紹介：Automated Classification of Model Errors on ImageNet
論文紹介：Automated Classification of Model Errors on ImageNetToru Tamaki
 
論文紹介：Semantic segmentation using Vision Transformers: A survey
論文紹介：Semantic segmentation using Vision Transformers: A survey論文紹介：Semantic segmentation using Vision Transformers: A survey
論文紹介：Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 
論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex Scenes論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex ScenesToru Tamaki
 
論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...Toru Tamaki
 
論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video Segmentation論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video SegmentationToru Tamaki
 
論文紹介：Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介：Real-Time Evaluation in Online Continual Learning: A New Hope論文紹介：Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介：Real-Time Evaluation in Online Continual Learning: A New HopeToru Tamaki
 
論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...Toru Tamaki
 
論文紹介：Multitask Vision-Language Prompt Tuning
論文紹介：Multitask Vision-Language Prompt Tuning論文紹介：Multitask Vision-Language Prompt Tuning
論文紹介：Multitask Vision-Language Prompt TuningToru Tamaki
 
論文紹介：MovieCLIP: Visual Scene Recognition in Movies
論文紹介：MovieCLIP: Visual Scene Recognition in Movies論文紹介：MovieCLIP: Visual Scene Recognition in Movies
論文紹介：MovieCLIP: Visual Scene Recognition in MoviesToru Tamaki
 
論文紹介：Discovering Universal Geometry in Embeddings with ICA
論文紹介：Discovering Universal Geometry in Embeddings with ICA論文紹介：Discovering Universal Geometry in Embeddings with ICA
論文紹介：Discovering Universal Geometry in Embeddings with ICAToru Tamaki
 
論文紹介：Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介：Efficient Video Action Detection with Token Dropout and Context Refinement論文紹介：Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介：Efficient Video Action Detection with Token Dropout and Context RefinementToru Tamaki
 
論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...Toru Tamaki
 
論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...Toru Tamaki
 
論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusion論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusionToru Tamaki
 
論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous DrivingToru Tamaki
 
論文紹介：Spatio-Temporal Action Detection Under Large Motion
論文紹介：Spatio-Temporal Action Detection Under Large Motion論文紹介：Spatio-Temporal Action Detection Under Large Motion
論文紹介：Spatio-Temporal Action Detection Under Large MotionToru Tamaki
 
論文紹介：Vision Transformer Adapter for Dense Predictions
論文紹介：Vision Transformer Adapter for Dense Predictions論文紹介：Vision Transformer Adapter for Dense Predictions
論文紹介：Vision Transformer Adapter for Dense PredictionsToru Tamaki
 
動画像理解のための深層学習アプローチ Deep learning approaches to video understanding
動画像理解のための深層学習アプローチ Deep learning approaches to video understanding動画像理解のための深層学習アプローチ Deep learning approaches to video understanding
動画像理解のための深層学習アプローチ Deep learning approaches to video understandingToru Tamaki
 
論文紹介：Masked Vision and Language Modeling for Multi-modal Representation Learning
論文紹介：Masked Vision and Language Modeling for Multi-modal Representation Learning論文紹介：Masked Vision and Language Modeling for Multi-modal Representation Learning
論文紹介：Masked Vision and Language Modeling for Multi-modal Representation LearningToru Tamaki
 

More from Toru Tamaki (20)

論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介：Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
論文紹介：Automated Classification of Model Errors on ImageNet
論文紹介：Automated Classification of Model Errors on ImageNet論文紹介：Automated Classification of Model Errors on ImageNet
論文紹介：Automated Classification of Model Errors on ImageNet
 
論文紹介：Semantic segmentation using Vision Transformers: A survey
論文紹介：Semantic segmentation using Vision Transformers: A survey論文紹介：Semantic segmentation using Vision Transformers: A survey
論文紹介：Semantic segmentation using Vision Transformers: A survey
 
論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex Scenes論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介：MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
 
論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介：MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
 
論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video Segmentation論文紹介：Tracking Anything with Decoupled Video Segmentation
論文紹介：Tracking Anything with Decoupled Video Segmentation
 
論文紹介：Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介：Real-Time Evaluation in Online Continual Learning: A New Hope論文紹介：Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介：Real-Time Evaluation in Online Continual Learning: A New Hope
 
論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介：PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
 
論文紹介：Multitask Vision-Language Prompt Tuning
論文紹介：Multitask Vision-Language Prompt Tuning論文紹介：Multitask Vision-Language Prompt Tuning
論文紹介：Multitask Vision-Language Prompt Tuning
 
論文紹介：MovieCLIP: Visual Scene Recognition in Movies
論文紹介：MovieCLIP: Visual Scene Recognition in Movies論文紹介：MovieCLIP: Visual Scene Recognition in Movies
論文紹介：MovieCLIP: Visual Scene Recognition in Movies
 
論文紹介：Discovering Universal Geometry in Embeddings with ICA
論文紹介：Discovering Universal Geometry in Embeddings with ICA論文紹介：Discovering Universal Geometry in Embeddings with ICA
論文紹介：Discovering Universal Geometry in Embeddings with ICA
 
論文紹介：Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介：Efficient Video Action Detection with Token Dropout and Context Refinement論文紹介：Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介：Efficient Video Action Detection with Token Dropout and Context Refinement
 
論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介：Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
 
論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介：MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
 
論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusion論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介：Revealing the unseen: Benchmarking video action recognition under occlusion
 
論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介：Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
 
論文紹介：Spatio-Temporal Action Detection Under Large Motion
論文紹介：Spatio-Temporal Action Detection Under Large Motion論文紹介：Spatio-Temporal Action Detection Under Large Motion
論文紹介：Spatio-Temporal Action Detection Under Large Motion
 
論文紹介：Vision Transformer Adapter for Dense Predictions
論文紹介：Vision Transformer Adapter for Dense Predictions論文紹介：Vision Transformer Adapter for Dense Predictions
論文紹介：Vision Transformer Adapter for Dense Predictions
 
動画像理解のための深層学習アプローチ Deep learning approaches to video understanding
動画像理解のための深層学習アプローチ Deep learning approaches to video understanding動画像理解のための深層学習アプローチ Deep learning approaches to video understanding
動画像理解のための深層学習アプローチ Deep learning approaches to video understanding
 
論文紹介：Masked Vision and Language Modeling for Multi-modal Representation Learning
論文紹介：Masked Vision and Language Modeling for Multi-modal Representation Learning論文紹介：Masked Vision and Language Modeling for Multi-modal Representation Learning
論文紹介：Masked Vision and Language Modeling for Multi-modal Representation Learning
 

Recently uploaded

AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）Hiroshi Tomioka
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）UEHARA, Tetsutaro
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？akihisamiyanaga1
 
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NTT DATA Technology & Innovation
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 

Recently uploaded (8)

AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
 
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 

文献紹介：VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding