Suche senden
Hochladen
Deep forest
•
Als PPTX, PDF herunterladen
•
33 gefällt mir
•
13,142 views
naoto moriyama
Folgen
https://arxiv.org/pdf/1702.08835.pdfを解説しました
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 18
Jetzt herunterladen
Empfohlen
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
Yuto Mori
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
Deep Learning JP
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
Empfohlen
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
Yuto Mori
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
Deep Learning JP
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
naoto moriyama
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
Kazuyuki Miyazawa
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
研究の基本ツール
研究の基本ツール
由来 藤原
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
Deep Learning JP
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
【DL輪読会】SUMO: Unbiased Estimation of Log Marginal Probability for Latent Varia...
【DL輪読会】SUMO: Unbiased Estimation of Log Marginal Probability for Latent Varia...
Deep Learning JP
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
画像認識と深層学習
画像認識と深層学習
Yusuke Uchida
最適輸送の解き方
最適輸送の解き方
joisino
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
Yuya Unno
自然言語処理 Word2vec
自然言語処理 Word2vec
naoto moriyama
Weitere ähnliche Inhalte
Was ist angesagt?
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
naoto moriyama
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
Kazuyuki Miyazawa
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
研究の基本ツール
研究の基本ツール
由来 藤原
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
Deep Learning JP
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
【DL輪読会】SUMO: Unbiased Estimation of Log Marginal Probability for Latent Varia...
【DL輪読会】SUMO: Unbiased Estimation of Log Marginal Probability for Latent Varia...
Deep Learning JP
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
画像認識と深層学習
画像認識と深層学習
Yusuke Uchida
最適輸送の解き方
最適輸送の解き方
joisino
Was ist angesagt?
(20)
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monoc...
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
Optimizer入門&最新動向
Optimizer入門&最新動向
研究の基本ツール
研究の基本ツール
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...
Semantic segmentation
Semantic segmentation
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】SUMO: Unbiased Estimation of Log Marginal Probability for Latent Varia...
【DL輪読会】SUMO: Unbiased Estimation of Log Marginal Probability for Latent Varia...
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
画像認識と深層学習
画像認識と深層学習
最適輸送の解き方
最適輸送の解き方
Andere mochten auch
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
Yuya Unno
自然言語処理 Word2vec
自然言語処理 Word2vec
naoto moriyama
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
Shuyo Nakatani
国際化時代の40カ国語言語判定
国際化時代の40カ国語言語判定
Shuyo Nakatani
RecSys 2015: Large-scale real-time product recommendation at Criteo
RecSys 2015: Large-scale real-time product recommendation at Criteo
Romain Lerallut
情報推薦システム入門:講義スライド
情報推薦システム入門:講義スライド
Kenta Oku
Latent factor models for Collaborative Filtering
Latent factor models for Collaborative Filtering
sscdotopen
自然言語処理
自然言語処理
naoto moriyama
JP Chaosmap 2015-2016
JP Chaosmap 2015-2016
Hiroshi Kondo
Ensembles of example dependent cost-sensitive decision trees slides
Ensembles of example dependent cost-sensitive decision trees slides
Alejandro Correa Bahnsen, PhD
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Yuya Unno
Andere mochten auch
(12)
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
自然言語処理 Word2vec
自然言語処理 Word2vec
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013
国際化時代の40カ国語言語判定
国際化時代の40カ国語言語判定
RecSys 2015: Large-scale real-time product recommendation at Criteo
RecSys 2015: Large-scale real-time product recommendation at Criteo
情報推薦システム入門:講義スライド
情報推薦システム入門:講義スライド
Latent factor models for Collaborative Filtering
Latent factor models for Collaborative Filtering
自然言語処理
自然言語処理
JP Chaosmap 2015-2016
JP Chaosmap 2015-2016
Ensembles of example dependent cost-sensitive decision trees slides
Ensembles of example dependent cost-sensitive decision trees slides
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Deep forest
1.
Deep Forest ~ニューラルネットの代替えに向けて~
2.
• 森山 直人(もりやま
なおと) • もともと中国国籍 ⇒ 帰化(国籍変更)して日本人に • 趣味でpythonを始める(仕事はエンジニアではない) • 勢いでディープラーニング始める(自然言語) • 趣味でKaggleやってます
3.
• すべて個人の見解による内容であり、所属会社、団体の公式見解 ではありません • 概念理解を優先しているため、一部厳密の定義は割愛しています
4.
今日話すこと Deep forestという論文が界隈で注目され、論文に込められ た並々ならぬ情熱に感銘を受け、 (論文通りに動くのなら)機械学習界隈に大きなインパクト をもたらす可能性を感じた Deep Forest:Towards
An Alternative to Deep Neural Networks https://arxiv.org/pdf/1702.08835.pdf
5.
論文のサマリ ニューラルネットと同等な計算精度を持つアンサンブル決定 木モデルを用いて、ニューラルネットの代替えを提案 • パラメータ調整の簡易化がもたらす計算速度 • GPUリソースを必要としない低リソース •
木構造の性質である簡易な並列化 • 小規模なデータから効率よく学習可能
6.
事前知識-決定木関連 決定木 -規則を設けて識別境界を設ける アンサンブル学習 -複数の決定木の結果を合わせて識別器を作る バギング -複数の識別器の結果から多数決で出力を決める ランダムフォレスト -バギングに制限を設けて分散を抑える この本がわかり やすいです
7.
事前知識-ニューラルネットワーク 入力層 中間層 出力層 中間層(隠れ層)をもつ全結合の有向グラフ ■強み • 単調な非線形表現を積み重なることで、 複雑な非線形表現(合成関数)を獲得 • パターン認識問題が得意 ■弱み •
現在のデータだけでなく、過去の情報が必要な 問題は苦手 • 初期に学習された情報は忘れてしまう
8.
ニューラルネットのココがだめ • 大量なデータがないと精度が出ない • ↑このデータを作るコストが高い •
大量な計算資源を要する • パラメータが多く、そのチューニングが大変 • 人の手を介さずに特徴を抽出できるのが利点と言われるが、 実際のところかなり細かいチューニングが必要 • 論理的な理解が難しい
9.
gcForestのココが素晴らしい ※gcForestは本論文が提案するアンサンブル決定木モデル • 少量なデータで学習できる • パラメータが少なく、チューニングが簡易 •
CPUのみのgcForestとGPUありのニューラルネットの 計算速度が互角 • 論理解析が簡単
10.
以降gcForestの概念を論文に沿って 説明して行きます
11.
gcForestの概念 • gcForestはmulti-Grained Cascade
forestの略 • Cascadeはこんなイメージ 上流から下流へたくさんの段を構 成し情報が流れる 写真では不変な水が流れるが、本 モデルでは段ごとにそれぞれ計算 がなされる http://www.geocities.jp/emkj20002000/newpage53.htmlより引用
12.
Cascade forest 3クラス分類の問題をgcForestで解くケースを例を考える https://arxiv.org/pdf/1702.08835.pdf
13.
Cascade forest ①学習デー タ入力 ②前ページのような 複数のcascade (段)を構築 ③各段ではそれぞれ決定木と ランダムフォレストの2種類の 分類器を設ける ④出力段では3クラスそれぞれの 確率を出力 https://arxiv.org/pdf/1702.08835.pdf
14.
Cascade forest 一つの段の中で起きている計算は下記のようになる https://arxiv.org/pdf/1702.08835.pdf ①それぞれの決定器(ランダム フォレストで計算を行い、出力ク ラスの推定を行う ②最終出力では全てのフォ レストの出力の平均を取る ※学習時には、過学習を防ぐためのクロスバリ デーションは行われる
15.
Multi-Grained Scanning RNN(LSTM)の入力ミニバッチとCNNの畳込み概念を用いて学習デー タから特徴量の抽出を行うことでさらに近い性能を引き出す ①時系列データを一定区間ごとにずらし てミニバッチを作る。 (どちらかと言えばword2vecに近い) ②おなじみのCNNプーリング
16.
gcForestの処理流れ ①Multi-Grained Scanningで前処理 ここでは3種類のプーリングを合算 ②Cascade forestで出力計算
17.
ベンチマーク MNISTの画像分類 ORLデータセットの顔認識 GTZANデータセットの音楽分類 生体データ(手の動き)認証 その他多数あり
18.
まとめ • 決定木ベースのアンサンブル学習であるランダムフォレ ストを更に多層(段)で構築したgcForestを紹介した • 著者のニューラルネットへの代替えに対する情熱が凄ま じく、理論的に可能であることも感覚的に理解できる •
利便性と低リソース観点から、XGBoostに次ぐ学習器と して期待できそう(個人感) • PythonかRで実装できたらKaggleで流行ると思われる
Jetzt herunterladen