SlideShare ist ein Scribd-Unternehmen logo

【DL輪読会】Emergent World Representations: Exploring a Sequence ModelTrained on a SyntheticTask

•Als PPTX, PDF herunterladen•
•
Deep Learning JP
Deep Learning JP

2023/4/28 Deep Learning JP http://deeplearning.jp/seminar-2/

Technologie
1 von 15
1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Emergent World Representations: Exploring a Sequence ModelTrained on a SyntheticTask” (ICLR 2023) Istuki Okimura, Matsuo Lab M2
アジェンダ 1 書誌情報 2 概要 3 問題意識 4 方法 5 プロービング 6 介入実験 7 潜在的顕著性マップ 2
1 書誌概要 タイトル： Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task 出典： ICLR2023 oral (top 5%) https://openreview.net/forum?id=DeG07_TcZvT 著者： Kenneth Li, Aspen K. Hopkins, David Bauなど (Harvard University, Massachusetts Institute of Technology, Northeastern University…) 選んだ理由：特殊な設定で問題を解くことで、面白いテーマについて議論しているkと感じた ため。 3
2 概要 4 • 言語モデルは驚くほど多様なタスクで成果を示いているが、 その能力が単に配列を記憶していることによるのか、 その配列の裏側にある内部表現の獲得に依存するのかは依然として不明である。 • 本論文では、GPTモデルをボードゲーム「オセロ」をプレーヤーの手だけで 学習を行い、「オセロ」の合法的な手を予測するタスクに適用した。 その結果、ネットワークはゲームやそのルールに関する先験的な知識を 明示的に学習せずに、ボードの情報を内包した内部表現が得られることを示した • また、この内部表現に介入することでネットワークの出力を制御できる事を 明らかにし、このような介入技術を活用することで、 予測を説明するのに役立つ潜在的顕著性マップを得られる事も示した。
3 問題意識 5 言語モデルは単純なタスクにも関わらず、多様なタスクで性能を発揮する • 言語モデリングはそれまでのトークンから次のトークン を予測するタスクである。 𝑃LM 𝑤𝑛 𝑤1𝑤2 ⋯ 𝑤𝑛−1 • この学習を通じて驚くほど多くのことが可能に なることが示されている  論理パズルを解く能力  コーディングすることができる能力 • このような性能が表層的なプロセスの関係を 記憶していることで得られているのか、 内部的にそのプロセスを生成するモデルを 構築できることで得られるのかは 依然としてわかっていない
4 方法 6 オセロを題材に、表層的な系列の学習で世界モデルを創発できるか検証 • 本研究はルールやボード構造に関する先験的な 知識を用いず、ゲームの記録を観察するだけで、 GPT型モデル(Othello-GPT)がそのゲームのルールを 獲得できるのかに焦点を当てる • ランダムに初期化した8層のGPT型モデルを 用いて、8×8のボード上でオセロの交互の プレーヤーの手を学習する。 この時にモデルへの入力は連続したタイルの インデックスを用いる。 (i.e. A4は４番目の単語、H6は58番目の単語の ように扱う) • 学習においては言語モデリングのように 自己回帰的に実際の次の単語と予測の クロスエントロピー損失を最小化する
4 方法 7 Othello-GPTは学習により、合法的な次の手を予測することができる • 実験にあたり2つのデータセットを用いる。それぞれのデータセットは訓練用のセットと その中に含まれない検証セットを含む。  Championデータセット： 合計約14万件のオセロの選手権の対戦データセット 人間が戦略を持って指したデータである  Synthesisデータセット： 合計約2380万件のオセロのゲームツリーから分岐を一様にサンプリングして計算したデータセット 人間の戦略を反映していないデータである • 二つのデータセットでそれぞれでモデルを学習し、top1の予測が合法な手となるかを検証  予測が合法な手とならないエラー率  Championデータセットで学習したOthello-GPT：5.17%  Synthesisデータセットで学習したOthello-GPT：0.01%  学習を行わないOthello-GPT：93.29％  (参考)Synthesisデータセットのうち、4つの可能な初手の内1つを欠損させたもので学習したOthello- GPT：0.02％
5 プロービング 8 Othello-GPTの内部表現に盤面の情報がエンコードされているのか？ • Othello-GPTがゲームの内部表現を計算しているかどう かを理解することを目指し、 プローブ(“probe”)を用いて検証する • プロービング(“probing”)： その層の内部状態を入力として、目的とする 特徴の分類機(プローブ)を学習し、 評価することでその特徴の表現が 内部のネットワークに符号化されている事を示す • 本実験においてそれぞれの層での内部状態を入力とし て、64のタイルの状態(黒、空、白)を予測する 黒 空 白
5 プロービング 9 非線形プローブにおいて高い精度で盤面の情報を復元することができる 線形プローブ プローブに線形分類器を用いた場合、 学習したネットワークにおいてもエラー率が 20%を下回ることはない。 このことは盤面の情報が内部状態に 含まれていても単純な 線形形式ではないことを示す。 非線形プローブ プローブに2層のMLPを用いた場合、 ランダムなネットワークと比較して 学習したネットワークにおいても大きく 精度が向上している。 非線形プローブが、ネットワークの活性化に おける盤面の状態の非自明な表現を 回復している可能性を示す。
6 介入実験 10 内部状態に介入することにより、次の手の予想を操作できるか検証する • Othello-GPTから一連の活性が与えた場合、 プローブは盤面状態𝐵を予測する。 • その後、プローブが盤面状態𝐵とあるタイル𝑠の状態だ け異なる盤面状態𝐵’を報告するように、 時間的に最後のトークンの内部状態を操作する。 • 内部状態を介入後のものにし、 それ以降の層の内部状態を修正する。 • そして、介入した場合に予測する手が 盤面状態𝐵’での合法的な手とどの程度一致している かを検証する。
6 介入実験 11 内部状態に介入することで、予測結果を操作することができる • 1000の介入ケースからなる二つのセットで評価 – Naturalベンチマーク：合法的なプレーで到達可能な位置のみ – Unnaturalベンチマーク：合法的なプレーで到達不可能な位置も含む • 上位𝑁件の予想を実際の合法的な次の手の集合と比較 すると、両ベンチマークは5層を介入する場合が 最も性能が良く、1件あたりの平均誤差は 0.12と0.06となった。 このことから介入により、 ベースラインよりも良い精度で 予想を操作できていることがわかる。
7 潜在的顕著性マップ 12 介入実験を用いて、あるタイルの予測に寄与するタイルのマップが得られる • ボード𝐵上の各タイル𝑠について、そのタイル𝑠の状態表現 を変更するために介入した場合、 帰属するタイル𝑝に対するネットワークの予測確率がどれ だけ変化するかを検証する。 これにより、タイル𝑝の予測に関与する 正または負のタイルが示され、top1予測に対する 顕著性に応じタイルが色付けされたマップが得られる。 • Synthesisデータセットで学習したOthello-GPTでは、 手を合法にするために必要なタイルに対して 高い顕著性を示しているのに対し、 Championデータセットで学習したOthello-GPTの 顕著性マップはより複雑な値を示す。 (このことから、Championデータセットでは 戦略的に良い手を打つことを学習すると主張。)
感想 13 Transformerが合理的な世界状態表現を学習するのか、 それとも単にデータの表面レベルの統計量を利用するのかという GPT系のモデルにおいて関心があるテーマについて、制約条件のあるデータで学習することで 検証を行っているのが面白いと思った。 なぜ線形プローブでは性能が得られずに、非線形プローブで性能が得られるのかがあまり言及 されていなかった トイデータでの検証のその先が気になる
まとめ 14 • 言語モデルは驚くほど多様なタスクで成果を示いているが、 その能力が単に配列を記憶していることによるのか、 その配列の裏側にある内部表現の獲得に依存するのかは依然として不明である。 • 本論文では、GPTモデルをボードゲーム「オセロ」をプレーヤーの手だけで 学習を行い、「オセロ」の合法的な手を予測するタスクに適用した。 その結果、ネットワークはゲームやそのルールに関する先験的な知識を 明示的に学習せずに、ボードの情報を内包した内部表現が得られることを示した • また、この内部表現に介入することでネットワークの出力を制御できる事を 明らかにし、このような介入技術を活用することで、 予測を説明するのに役立つ潜在的顕著性マップを得られる事も示した。
DEEP LEARNING JP [DL Papers] “Emergent World Representations: Exploring a Sequence ModelTrained on a SyntheticTask” (ICLR 2023) Istuki Okimura, Matsuo Lab M2 http://deeplearning.jp/

Empfohlen

【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot LearningDeep Learning JP
 
[DL輪読会]GQNと関連研究，世界モデルとの関係について
[DL輪読会]GQNと関連研究，世界モデルとの関係について[DL輪読会]GQNと関連研究，世界モデルとの関係について
[DL輪読会]GQNと関連研究，世界モデルとの関係についてDeep Learning JP
 
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language SupervisionDeep Learning JP
 
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCHDeep Learning JP
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 

Empfohlen

【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII
 
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot LearningDeep Learning JP
 
[DL輪読会]GQNと関連研究，世界モデルとの関係について
[DL輪読会]GQNと関連研究，世界モデルとの関係について[DL輪読会]GQNと関連研究，世界モデルとの関係について
[DL輪読会]GQNと関連研究，世界モデルとの関係についてDeep Learning JP
 
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language SupervisionDeep Learning JP
 
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCHDeep Learning JP
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? Deep Learning JP
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP
 
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知画像処理AIを用いた異常検知
画像処理AIを用いた異常検知Hideo Terada
 
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphing[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphingDeep Learning JP
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII
 
【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"Deep Learning JP
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Yamato OKAMOTO
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object DetectionDeep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP
 
【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language Models【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language ModelsDeep Learning JP
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingYasunori Ozaki
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP
 
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者cvpaper. challenge
 
【報告】いきいき研究室増産プロジェクトFORUM2012
【報告】いきいき研究室増産プロジェクトFORUM2012【報告】いきいき研究室増産プロジェクトFORUM2012
【報告】いきいき研究室増産プロジェクトFORUM2012Yusuke Yamamoto
 
Tutorial2015 tomida
Tutorial2015 tomidaTutorial2015 tomida
Tutorial2015 tomidaEiji Tomida
 

Weitere ähnliche Inhalte

Was ist angesagt?

【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? Deep Learning JP
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision TransformerYusuke Uchida
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP
 
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知画像処理AIを用いた異常検知
画像処理AIを用いた異常検知Hideo Terada
 
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphing[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphingDeep Learning JP
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...Deep Learning JP
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII
 
【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"Deep Learning JP
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and EditingDeep Learning JP
 
Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Yamato OKAMOTO
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object DetectionDeep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP
 
【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language Models【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language ModelsDeep Learning JP
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs Deep Learning JP
 
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingYasunori Ozaki
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）cvpaper. challenge
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP
 
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者cvpaper. challenge
 

Was ist angesagt? (20)

【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks? 【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
 
画像処理AIを用いた異常検知
画像処理AIを用いた異常検知画像処理AIを用いた異常検知
画像処理AIを用いた異常検知
 
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphing[DLHacks]StyleGANとBigGANのStyle mixing, morphing
[DLHacks]StyleGANとBigGANのStyle mixing, morphing
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
 
【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"【DL輪読会】"A Generalist Agent"
【DL輪読会】"A Generalist Agent"
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
 
Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）Skip Connection まとめ（Neural Network）
Skip Connection まとめ（Neural Network）
 
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
 
【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language Models【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language Models
 
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs 【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
 
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingDecision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
 
自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）自己教師学習（Self-Supervised Learning）
自己教師学習（Self-Supervised Learning）
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者
 

Ähnlich wie 【DL輪読会】Emergent World Representations: Exploring a Sequence ModelTrained on a SyntheticTask

【報告】いきいき研究室増産プロジェクトFORUM2012
【報告】いきいき研究室増産プロジェクトFORUM2012【報告】いきいき研究室増産プロジェクトFORUM2012
【報告】いきいき研究室増産プロジェクトFORUM2012Yusuke Yamamoto
 
Tutorial2015 tomida
Tutorial2015 tomidaTutorial2015 tomida
Tutorial2015 tomidaEiji Tomida
 
【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...
【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...
【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...Deep Learning JP
 
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...Deep Learning JP
 
トモノカイ2021年度版 探究教材 説明資料
トモノカイ2021年度版 探究教材 説明資料トモノカイ2021年度版 探究教材 説明資料
トモノカイ2021年度版 探究教材 説明資料tankyu tomonokai
 
Rm20150805 14key
Rm20150805 14keyRm20150805 14key
Rm20150805 14keyyouwatari
 
自動計測制御学会発表091124
自動計測制御学会発表091124自動計測制御学会発表091124
自動計測制御学会発表091124ikiikilab
 
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 [最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 Yuki Arase
 
Rm20130417 2bkey
Rm20130417 2bkeyRm20130417 2bkey
Rm20130417 2bkeyyouwatari
 
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 [旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 Yuki Arase
 
研究力向上WS@T橋科学技術大学
研究力向上WS@T橋科学技術大学研究力向上WS@T橋科学技術大学
研究力向上WS@T橋科学技術大学ikiikilab
 
PresentationMethod 20130307 KnowledgeCommons vol.20
PresentationMethod 20130307 KnowledgeCommons vol.20PresentationMethod 20130307 KnowledgeCommons vol.20
PresentationMethod 20130307 KnowledgeCommons vol.20Visso株式会社
 
論文の書き方・読み方
論文の書き方・読み方論文の書き方・読み方
論文の書き方・読み方Satoshi Miura
 
いきいき研究室増産プロジェクトFourm2011報告書
いきいき研究室増産プロジェクトFourm2011報告書いきいき研究室増産プロジェクトFourm2011報告書
いきいき研究室増産プロジェクトFourm2011報告書Yusuke Yamamoto
 
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...Deep Learning JP
 
反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響
反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響
反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響Sachika Shibukawa
 
無題の添付ファイル 00060
無題の添付ファイル 00060無題の添付ファイル 00060
無題の添付ファイル 00060Shigeru Kishikawa
 
Clg_q2l_fujimoto_20111209
Clg_q2l_fujimoto_20111209Clg_q2l_fujimoto_20111209
Clg_q2l_fujimoto_20111209Toru Fujimoto
 
ケーススタディ：研究がうまくいかないのは 誮のせい?
ケーススタディ：研究がうまくいかないのは 誮のせい?ケーススタディ：研究がうまくいかないのは 誮のせい?
ケーススタディ：研究がうまくいかないのは 誮のせい?ikiikilab
 

Ähnlich wie 【DL輪読会】Emergent World Representations: Exploring a Sequence ModelTrained on a SyntheticTask (20)

【報告】いきいき研究室増産プロジェクトFORUM2012
【報告】いきいき研究室増産プロジェクトFORUM2012【報告】いきいき研究室増産プロジェクトFORUM2012
【報告】いきいき研究室増産プロジェクトFORUM2012
 
Tutorial2015 tomida
Tutorial2015 tomidaTutorial2015 tomida
Tutorial2015 tomida
 
【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...
【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...
【DL輪読会】Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs...
 
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transfor...
 
トモノカイ2021年度版 探究教材 説明資料
トモノカイ2021年度版 探究教材 説明資料トモノカイ2021年度版 探究教材 説明資料
トモノカイ2021年度版 探究教材 説明資料
 
Rm20150805 14key
Rm20150805 14keyRm20150805 14key
Rm20150805 14key
 
自動計測制御学会発表091124
自動計測制御学会発表091124自動計測制御学会発表091124
自動計測制御学会発表091124
 
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 [最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
 
Rm20130417 2bkey
Rm20130417 2bkeyRm20130417 2bkey
Rm20130417 2bkey
 
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 [旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
 
研究力向上WS@T橋科学技術大学
研究力向上WS@T橋科学技術大学研究力向上WS@T橋科学技術大学
研究力向上WS@T橋科学技術大学
 
PresentationMethod 20130307 KnowledgeCommons vol.20
PresentationMethod 20130307 KnowledgeCommons vol.20PresentationMethod 20130307 KnowledgeCommons vol.20
PresentationMethod 20130307 KnowledgeCommons vol.20
 
論文の書き方・読み方
論文の書き方・読み方論文の書き方・読み方
論文の書き方・読み方
 
いきいき研究室増産プロジェクトFourm2011報告書
いきいき研究室増産プロジェクトFourm2011報告書いきいき研究室増産プロジェクトFourm2011報告書
いきいき研究室増産プロジェクトFourm2011報告書
 
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
 
反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響
反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響
反転授業におけるワークシートの利用が対面授業時のグループディスカッションの発話内容に与える影響
 
無題の添付ファイル 00060
無題の添付ファイル 00060無題の添付ファイル 00060
無題の添付ファイル 00060
 
Clg_q2l_fujimoto_20111209
Clg_q2l_fujimoto_20111209Clg_q2l_fujimoto_20111209
Clg_q2l_fujimoto_20111209
 
2016.10.22
2016.10.222016.10.22
2016.10.22
 
ケーススタディ：研究がうまくいかないのは 誮のせい?
ケーススタディ：研究がうまくいかないのは 誮のせい?ケーススタディ：研究がうまくいかないのは 誮のせい?
ケーススタディ：研究がうまくいかないのは 誮のせい?
 

Mehr von Deep Learning JP

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについてDeep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLMDeep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP
 
【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究について【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究についてDeep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP
 
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...Deep Learning JP
 
【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...
【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...
【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...Deep Learning JP
 
【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデルDeep Learning JP
 

Mehr von Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
 
【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究について【DL輪読会】Hopfield network　関連研究について
【DL輪読会】Hopfield network　関連研究について
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
 
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...
 
【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...
【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...
【DL輪読会】Deep Transformers without Shortcuts: Modifying Self-attention for Fait...
 
【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル【DL輪読会】マルチモーダル 基盤モデル
【DL輪読会】マルチモーダル 基盤モデル
 

Kürzlich hochgeladen

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NTT DATA Technology & Innovation
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案sugiuralab
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？akihisamiyanaga1
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）Hiroshi Tomioka
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）UEHARA, Tetsutaro
 

Kürzlich hochgeladen (9)

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？
 
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ～Text-to-MusicとText-To-ImageかつImage-to-Music...
 
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）
 

【DL輪読会】Emergent World Representations: Exploring a Sequence ModelTrained on a SyntheticTask