Weitere ähnliche Inhalte
Ähnlich wie TabNetの論文紹介 (6)
Kürzlich hochgeladen (11)
TabNetの論文紹介
- 2. 今回紹介する内容
● TabNet: Attentive Interpretable Tabular Learning
○ 著者: Sercan O. Arik, Tomas Pfister
○ 投稿: https://arxiv.org/abs/1908.07442, 2019
● 論文の内容
○ 表形式のデータに適したDNNモデルTabNetを提案
○ DNNと決定木系の利点を組み合わせたモデル
○ 既存のデータセットに対してXGBoost, LightGBM, MLPなどと同等以上の性能
○ 特徴生成が不要であり、特徴重要度も算出できる
○ 教師なしの事前学習と組み合わせることでさらに精度が改善する
- 5. モデル概要
● Feature transformer
○ 情報のフィルタリング
○ 各stepごとにフィルターは異な
る
● Attentive transformer
○ 前stepの学習情報を元に使う
特徴を決める
● Mask
○ 元データをAttentive transformer
の情報を元にマスクする
● stepごとに特徴選択が行われる
● 1stepでやること → 前stepの学習に基づき次に使う特徴を決定
学習の流れ 重要な部分
- 8. 実験
● Forest Cover Type dataset
○ 分類タスク
○ 地理情報から森林中の木の種類を予測
● Store sales dataset
○ 回帰タスク
○ 店舗ごとの日時売上データから
各店舗の将来の売上を予測
XGBoost , LightGBM, MLP などと同等以上の性能を示す
- 10. Kaggleでの実例
● Mechanisms of Action (MoA) Prediction (2020/09~2020/12)
○ 上位10チームのほとんどがTabNetを利用
○ アンサンブルの一手法として使っていた
○ 高い精度を保ちつつ他のモデルと異なった特徴
を重要視できているのでは
1st place solution 2nd place solution
- 12. チャンネル紹介
● チャンネル名: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル
● URL: https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg
● チャンネルの内容
○ 経営・データサイエンス・開発に関する情報を発信しています。
○ 例: アジャイル開発、データパイプライン構築、AIで使われるアルゴリズム4種類など
● noteでも情報発信しています → https://note.com/kenichiro