Suche senden
Hochladen
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
•
Als PPTX, PDF herunterladen
•
7 gefällt mir
•
2,023 views
Yusuke Iwasawa
Folgen
JSAI2017発表資料
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 28
Jetzt herunterladen
Empfohlen
機械学習を民主化する取り組み
機械学習を民主化する取り組み
Yoshitaka Ushiku
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
Kazuki Maeno
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
[DL輪読会]Active Domain Randomization
[DL輪読会]Active Domain Randomization
Deep Learning JP
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
Empfohlen
機械学習を民主化する取り組み
機械学習を民主化する取り組み
Yoshitaka Ushiku
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
Transformer 動向調査 in 画像認識(修正版)
Transformer 動向調査 in 画像認識(修正版)
Kazuki Maeno
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
[DL輪読会]Active Domain Randomization
[DL輪読会]Active Domain Randomization
Deep Learning JP
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
Deep Learning JP
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
カルマンフィルタ入門
カルマンフィルタ入門
Yasunori Nihei
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
Shota Imai
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII
強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類
佑 甲野
深層学習の数理
深層学習の数理
Taiji Suzuki
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
Yusuke Iwasawa
[DL輪読会] Semi-Supervised Knowledge Transfer For Deep Learning From Private Tra...
[DL輪読会] Semi-Supervised Knowledge Transfer For Deep Learning From Private Tra...
Yusuke Iwasawa
Weitere ähnliche Inhalte
Was ist angesagt?
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
Deep Learning JP
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
カルマンフィルタ入門
カルマンフィルタ入門
Yasunori Nihei
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
Shota Imai
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII
強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類
佑 甲野
深層学習の数理
深層学習の数理
Taiji Suzuki
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
Was ist angesagt?
(20)
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
カルマンフィルタ入門
カルマンフィルタ入門
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
Active Learning 入門
Active Learning 入門
ドメイン適応の原理と応用
ドメイン適応の原理と応用
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類
深層学習の数理
深層学習の数理
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Andere mochten auch
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
Yusuke Iwasawa
[DL輪読会] Semi-Supervised Knowledge Transfer For Deep Learning From Private Tra...
[DL輪読会] Semi-Supervised Knowledge Transfer For Deep Learning From Private Tra...
Yusuke Iwasawa
[ICLR2016] 採録論文の個人的まとめ
[ICLR2016] 採録論文の個人的まとめ
Yusuke Iwasawa
[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)
[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)
Yusuke Iwasawa
Paper Reading, "On Causal and Anticausal Learning", ICML-12
Paper Reading, "On Causal and Anticausal Learning", ICML-12
Yusuke Iwasawa
[DL輪読会] Controllable Invariance through Adversarial Feature Learning” (NIPS2017)
[DL輪読会] Controllable Invariance through Adversarial Feature Learning” (NIPS2017)
Yusuke Iwasawa
研究室輪読 Recommending Investors for Crowdfunding Projects
研究室輪読 Recommending Investors for Crowdfunding Projects
Yusuke Iwasawa
008 20151221 Return of Frustrating Easy Domain Adaptation
008 20151221 Return of Frustrating Easy Domain Adaptation
Ha Phuong
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
Yusuke Iwasawa
Dl hacks輪読: "Unifying distillation and privileged information"
Dl hacks輪読: "Unifying distillation and privileged information"
Yusuke Iwasawa
[DL Hacks輪読] Semi-Supervised Learning with Ladder Networks (NIPS2015)
[DL Hacks輪読] Semi-Supervised Learning with Ladder Networks (NIPS2015)
Yusuke Iwasawa
PRML8章
PRML8章
弘毅 露崎
エキスパートGo
エキスパートGo
Takuya Ueda
先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15
Yoichi Ochiai
Andere mochten auch
(14)
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
[DL輪読会] Semi-Supervised Knowledge Transfer For Deep Learning From Private Tra...
[DL輪読会] Semi-Supervised Knowledge Transfer For Deep Learning From Private Tra...
[ICLR2016] 採録論文の個人的まとめ
[ICLR2016] 採録論文の個人的まとめ
[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)
[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)
Paper Reading, "On Causal and Anticausal Learning", ICML-12
Paper Reading, "On Causal and Anticausal Learning", ICML-12
[DL輪読会] Controllable Invariance through Adversarial Feature Learning” (NIPS2017)
[DL輪読会] Controllable Invariance through Adversarial Feature Learning” (NIPS2017)
研究室輪読 Recommending Investors for Crowdfunding Projects
研究室輪読 Recommending Investors for Crowdfunding Projects
008 20151221 Return of Frustrating Easy Domain Adaptation
008 20151221 Return of Frustrating Easy Domain Adaptation
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
Dl hacks輪読: "Unifying distillation and privileged information"
Dl hacks輪読: "Unifying distillation and privileged information"
[DL Hacks輪読] Semi-Supervised Learning with Ladder Networks (NIPS2015)
[DL Hacks輪読] Semi-Supervised Learning with Ladder Networks (NIPS2015)
PRML8章
PRML8章
エキスパートGo
エキスパートGo
先端技術とメディア表現1 #FTMA15
先端技術とメディア表現1 #FTMA15
Ähnlich wie JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
Overview and Roadmap
Overview and Roadmap
JubatusOfficial
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
Preferred Networks
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
Preferred Networks
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Preferred Networks
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
Preferred Networks
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
Ohsawa Goodfellow
データマイニングにおける属性構築、事例選択
データマイニングにおける属性構築、事例選択
無職
Ähnlich wie JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
(8)
Overview and Roadmap
Overview and Roadmap
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
データマイニングにおける属性構築、事例選択
データマイニングにおける属性構築、事例選択
Mehr von Yusuke Iwasawa
JSAI2018 類似度学習を用いた敵対的訓練による特徴表現の検閲
JSAI2018 類似度学習を用いた敵対的訓練による特徴表現の検閲
Yusuke Iwasawa
"Universal Planning Networks" and "Composable Planning with Attributes"
"Universal Planning Networks" and "Composable Planning with Attributes"
Yusuke Iwasawa
ICLR2018参加報告
ICLR2018参加報告
Yusuke Iwasawa
[DL輪読会] Hybrid computing using a neural network with dynamic external memory
[DL輪読会] Hybrid computing using a neural network with dynamic external memory
Yusuke Iwasawa
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
Yusuke Iwasawa
[Paper Reading] Learning Distributed Representations for Structured Output Pr...
[Paper Reading] Learning Distributed Representations for Structured Output Pr...
Yusuke Iwasawa
[DL Hacks] Self Paced Learning with Diversity
[DL Hacks] Self Paced Learning with Diversity
Yusuke Iwasawa
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
Yusuke Iwasawa
Mehr von Yusuke Iwasawa
(8)
JSAI2018 類似度学習を用いた敵対的訓練による特徴表現の検閲
JSAI2018 類似度学習を用いた敵対的訓練による特徴表現の検閲
"Universal Planning Networks" and "Composable Planning with Attributes"
"Universal Planning Networks" and "Composable Planning with Attributes"
ICLR2018参加報告
ICLR2018参加報告
[DL輪読会] Hybrid computing using a neural network with dynamic external memory
[DL輪読会] Hybrid computing using a neural network with dynamic external memory
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[DL Hacks] Learning Transferable Features with Deep Adaptation Networks
[Paper Reading] Learning Distributed Representations for Structured Output Pr...
[Paper Reading] Learning Distributed Representations for Structured Output Pr...
[DL Hacks] Self Paced Learning with Diversity
[DL Hacks] Self Paced Learning with Diversity
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
Kürzlich hochgeladen
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Kürzlich hochgeladen
(7)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
1.
敵対的訓練による ドメイン不変な表現の学習 東京大学 岩澤有祐 上智大学 矢入郁子 東京大学
松尾豊 1
2.
研究背景:ドメインバイアス • DL含む多くの検証・一般的な学習理論は左を前提 – MNIST,CIFAR10など •
一部の機械学習タスクはドメインバイアスがある(つまり右) – 訓練時と異なるユーザを対象とする,ユーザの行動が変化するなど – ドメインバイアスを無視すると,テストに対して精度が悪化 2 P(X) 訓練 データ テスト データ P(X) 訓練 データ テスト データ P’(X ) w/oドメインバイアス w/ドメインバイアス ≒ 同じ真の分布から サンプルされたデータ 異なる真の分布から サンプルされたデータ
3.
研究背景:ドメイン汎化 [Blanchard, 2011] •
ドメインシフト有 + 未知ドメインのラベルデータを得にくい場合に重要 – 加速度センサによる行動認識,医療(フローサイトメトリー [Blanchard, 2011]) 3 P1(X ) ユーザ1 データ 未知 ユーザ P’(X ) ドメイン汎化:未知ドメインに有用な知識を関連ドメイン群から獲得する P2(X ) ユーザ2 データ P3(X ) ユーザ3 データ … 任意の数の関連ドメインの観測データ (例:学習時にいるユーザ) 未知のドメインのデータ (例:未知のユーザ) ≒ ≒ ≒
4.
研究背景:ドメイン汎化へのアプローチ • アプローチの1つにドメイン不変な表現を学習するもの (i.e., ドメイン間の違いを吸収するような表現を学習する) •
例:Domain Invariant Component Analysis [Muandet, 2014] – ドメイン間の類似度をカーネルにより計測し,その差を最小化 • 本研究では,任意の構造を持つニューラルネットが学習する表現の ドメイン不変性を高める方法を提案 4
5.
提案:敵対的訓練のドメイン不変な表現の学習への応用 5 G Network z ~
N(0, 1) Fake Real D Network Real / Fake 識別ネット: 入力がR/Fの どちらかを識別 生成ネット: 識別ネットが 区別出来ないよう にzを写像 X ~ P1(X) D1 特徴 D2 特徴 D Network Domain1/Domain2/ Domain3/… 識別ネット: 入力がどのドメイン のサンプルか識別 Domain1 X ~ P2(X) ... ... 識別ネットが ドメインを識別 出来ないようにXを 特徴空間に写像 Domain2 画像生成に利用 [Goodfellow, 2014] 提案手法:ドメイン汎化に応用 P1(z) P2(z)PG(X) PR(X)
6.
ここまでのまとめ • ドメイン汎化とは,未知のドメインに対する認識精度を高め るための問題設定 – [Blanchard
11]が初出 – 複数の類似ドメインのデータを使い,ドメイン不変な表現を学習す るのがアプローチの1つとして検討されている • 本研究では,敵対的訓練の応用によりドメイン不変な表現 を学習するニューラルネットを提案 – 学習時にドメインを識別するドメイン分類器を用意し,騙す 6
7.
関連研究:ドメイン適応 • ドメイン適応:ある対象ドメインのデータが観測された元で 関連ドメインのデータから有用な知識を獲得 • 類似点:ドメインの違いを吸収することで対策可能 –
Domain Adversarial Neural Networks [Ajakan, 2014] – Deep Domain Adaptation [Long, 2015] • 相違点(ドメイン適応/ドメイン汎化) – 対象ドメインのデータが観測される/されない – (通常は)関連ドメインが1つ/関連ドメインが複数 • 今回はドメイン汎化の設定で有効性を検証 – 未知のドメインへの有効性,複数ドメインを扱う 7
8.
関連研究:ドメイン汎化 • カーネルベースのアプローチ – [Blanchard
et al., 2011]:ドメイン汎化の問題を初めて定義 – (Unsupervised) Domain Invariant Component Analysis [Muandet et al., 2013]:カーネ ルPCAをドメインの類似度を考慮するように拡張 • ニューラルネットベースのアプローチ – Constractive Autoencoder [Rifai, 2013]:AEやDAEより良い ※ドメイン汎化目的で開発された方法ではない – Multitask AutoEncoder [Ghifary, 2015]:複数ドメインのXを予測するAE • 課題:多くの場合教師なし => 認識には2ステップの学習 • 本研究は、任意の構造の教師ありNNと併用可能 – ラベルYの予測精度と不変性を同時最適化できる – 対象タスクで予測精度の良いモデルを再活用できる 8
9.
提案手法の全体像 9 特徴抽出器 ドメイン分類器ラベル分類器 X 特徴量R y1,y2,… d1,d2,… 通常のNNとの違い1 ドメインDの 負の交差エントロピーLd を最小化 通常のNNとの違い2 ラベルYの 交差エントロピー Ly +
λLdを最小化
10.
特徴抽出器 ド メ イ
ン分類器ラ ベル分類器 W earab les X 特徴量R y1, y2, … d1, d2, … 提案手法の学習方法 10 Step1 Step2 固定 固定固定 交互 最適化 現在の特徴量Rを 使ってドメイン 分類器を訓練 特徴抽出器 ド メ イ ン分類器ラ ベル分類器 W earab les X 特徴量R y1, y2, … d1, d2, … 現在のドメイン 分類器を騙す+ Yを 分類するように訓練
11.
工夫:重みλのスケジューリング • 特徴抽出器は最終的にLy +
λLdを最小化するが, 最終的に重要なのは未知のドメインに対するLy • 単純に最初からLdを考慮した学習を行うと,Lyが下がり切 らない傾向(Ldだけを考慮しても☓) => λを徐々に大きくするスケジューリングにより改善(後述) 11
12.
評価用データセット:Opportunity Challenge Dataset •
キッチンにおける行動を計測したデータ(慣性センサ中心,w/o vision) • 認識対象:Locomotion -> 5種類,Gestures -> 18種類 • 4人のユーザ(各ユーザを別のドメインとして扱う),合計50,000サンプル強 12
13.
評価:評価指標 13 評価1: R->Yの予測精度の高さ - 未知のドメイン(ユーザ)に対 する認識精度で比較 評価2:
R->Dの予測精度の低さ - 認識精度が低い->識別しにくい - モデル学習後に,評価用分類器を 新たに学習させ評価 D評価用分類器γ 表現Rの良さをラベル分類精度 + ドメイン(非)分類精度で検証 特徴抽出器 ド メ イ ン分類器ラ ベル分類器 W earab les X 特徴量R y1, y2, … d1, d2, …
14.
評価:提案手法ADV-MLPAの具体的な構造 14 特徴抽出器: 畳み込み×3 + 全結合層×1 [Jian,
2015]を参考に構築 ラベル分類器: ロジスティック回帰 ドメイン分類器: 3層MLP (800ユニット)
15.
評価:比較対象 1. 通常のCNN(敵対的訓練なし) => 敵対的訓練の有効性 2.
学習時のドメイン分類器を変更したモデルADV-LR (MLP -> ロジスティック回帰) =>ドメイン分類器の強さが学習される表現に与える影響 3. λのスケジューリングを行わないモデル ADV-MLP =>スケジューリング導入の効果 15
16.
評価に関するその他の情報 比較対象について • CNNに加えて行動認識で良く利用される特徴量を比較 (詳しくは予稿3P右下参照) – MV
[Yang, 2015]:各軸の平均値と分散値 – ECDF [Hammerla, 2013]:Empirical Cumulative Distribution Function ドメイン損失Ldについて • ドメイン分類はSoftmax + 交差エントロピー 学習方法・パラメタについて • 150エポックAdamで学習 • λ= 0.1(焼きなましを行う場合は前後15エポックを固定) • Leave-One-Subject-Out評価の平均で評価 16
17.
結果:Locomotion Task(赤がw/敵対的訓練) 17 0.87 0.516 0.48 0.501 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 ドメイン不変性 (ドメイン予測精度) CNN Adv-LR Adv-MLP Adv-MLPA 0.557 0.547 0.551 0.566 0.535 0.54 0.545 0.55 0.555 0.56 0.565 0.57 ドメイン汎化性能 CNN Adv-LR Adv-MLP Adv-MLPA •
ドメイン不変性は大幅改善 • ドメイン汎化性能はAdv-MLPAのみ改 善(F値で約0.01ポイント) • λのスケジューリングしないと微減
18.
結果:Gestures Task (赤がw/敵対的訓練) 18 0.903 0.579 0.543
0.55 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 ドメイン不変性 (ドメイン予測精度) CNN Adv-LR Adv-MLP Adv-MLPA 0.794 0.786 0.781 0.804 0.765 0.77 0.775 0.78 0.785 0.79 0.795 0.8 0.805 0.81 ドメイン汎化性能 CNN Adv-LR Adv-MLP Adv-MLPA • ドメイン不変性は大幅改善 • ドメイン汎化性能はAdv-MLPAのみ改 善(F値で約0.01ポイント) • λのスケジューリングしないと微減
19.
分析:クラスタリングによる学習表現の可視化 19 可視化 N個のサンプルをNNの上から2番 目の層で出力でクラスタリングして クラスタIDをN個得る 各サンプルへのクラスタIDと ユーザIDをクロス集計して各 クラスタに特定のユーザが 占める割合を計算し可視化
20.
結果:特徴量のクラスタリングによる比較 20 既存手法:CNN (λ=0.0) 提案手法:UANNMLP
(λ=0.1) Opp-G (20クラスタ) USC (30クラスタ) 特徴空間で特定のユーザのみ同じ位置にいない =>学習された表現はユーザに関する情報をより持たない
21.
結果:評価用ユーザ分類器を変更した場合の比較 21 LR MLP (50)
MLP (800) None (CNN) 0.870 0.963 0.983 LR 0.516 0.955 0.981 MLP (800) 0.501 0.774 0.950 学習用 分類器 評価用に作成した分類器γ 1. γによらず強い分類器がベター 2. γが強いと分類可能 提案手法はよりドメイン不変になるが,完全に不変ではない
22.
考察:ドメイン汎化性の改善が微量である理由 • 理由1:完全にドメイン不変でない – 提案法の表現はCNNよりはドメイン不変だがランダムよりは ドメイン依存 –
学習時の敵対的分類器の選択が重要になりそう(直感的には 強い分類器を選ぶほど不変性は高まるが,学習が難しい) • 理由2:ドメイン不変性とラベル予測性のトレードオフ – 単にドメイン不変性をあげるだけだとラベル予測性は下がる(例:ラン ダム写像は完全にドメイン不変だが予測性は無い) – 焼きなまし以外のベターなヒューリスティックの模索が必要 22
23.
考察:表現の不変性の応用先 • プライバシー保護 [Iwasawa,
2017] – “Privacy Issues Regarding Applications of DNNs to Activity Recognition using Wearable and Its Countermeasure”, IJCAI2017 – 特徴量が任意の情報を学習して良いとするとプライバシー 情報を予測可能な情報を持つ可能性がある (例:歩き方に紐づく病気の有無など) • 異なるエージェント間でのスキルの転移 in RL [Gupta, 2017] – エージェント不変な空間を学習して転移 – これ自体は敵対的訓練は使っていない 23
24.
まとめ・将来課題 • ドメイン汎化に向けドメイン不変な表現を学習するNNを提案 • 各ユーザをドメインとみなし,行動認識データセットで検証 –
ドメイン不変性:通常のNNとくらべて大幅に改善 – ドメイン汎化性能:λのスケジューリングにより微改善 • 将来課題 – 不変性を高める方法・パラメタの探索 – P(Z)の不変性+P(Y|X)の維持を実現する方法・ヒューリスティック – 行動認識以外のデータでの検証(画像認識,医療系のデータ) – ドメイン汎化との理論的接続 24
25.
ドメイン依存性はユニットレベルかレイヤレベルか • A. ユニットレベルでもある •
レイヤレベルで依存していることを示す事実: – 高精度に分類が可能 – 第1主成分がドメイン(ユーザ)依存になっている – クラスタリングすると、ドメイン毎にまとまる • ユニットレベルで依存していることを示す事実: – ユニットを落としたときの認識精度の劣化がドメインごとに異なる (が全てが異なるわけではない) 25
26.
関連研究:敵対的訓練の応用研究 • Generative Adversarial
Nets [Goodfellow, 2014] – 敵対的訓練を画像生成に利用 • Domain-Adversarial Neural Nets [Ajakan, 2014] – ドメイン適応に利用 • Adversarial Learned Fair Representations [Edwards, 2016] – 公正性配慮データマイニングに利用 本研究は敵対的訓練の新たな応用方法として位置づけ 26
27.
従来の応用事例との違いと対策 27 ある情報を消すと,もともと識別した かった情報も消える可能性がある Dが2値分類ではなく多値分類になる ため,理論的位置づけが不明 (2値の場合はMMDという統計的尺 度で説明可能) 識別したい情報を予測できること+ 識別したくない情報を識別できないこ との同時最適化 違いと対策 対策 Gの損失としてカテゴリカル交差エン トロピーを利用する場合の 相互情報量との関係を整理
28.
関連研究:ドメイン汎化 • カーネルベースのアプローチ – [Blanchard
et al., 2011]:ドメイン汎化の問題を初めて定義 – (Unsupervised) Domain Invariant Component Analysis [Muandet et al., 2013]: カーネルPCAをドメインの類似度を考慮するように拡張 • ニューラルネットベースのアプローチ – Constractive Autoencoder [Rifai, 2013]:AEやDAEより良い ※ドメイン汎化目的で開発された方法ではない – Multitask AutoEncoder [Ghifary, 2015]:複数ドメインのXを予測するAE 本研究は教師ありニューラルネットが学習する 表現がドメイン不変になるようする手法を提案 28
Jetzt herunterladen