Suche senden
Hochladen
[ICML2019読み会in京都] Agnostic Federated Learning
•
4 gefällt mir
•
5,148 views
Yamato OKAMOTO
Folgen
ICML2019読み会in京都での発表資料です。 Federated-Learningについて背景を含めての基本説明+最新論文紹介をします。
Weniger lesen
Mehr lesen
Technologie
Diashow-Anzeige
Melden
Teilen
Diashow-Anzeige
Melden
Teilen
1 von 26
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
Yamato OKAMOTO
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
楽天における機械学習アルゴリズムの活用
楽天における機械学習アルゴリズムの活用
Rakuten Group, Inc.
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
Empfohlen
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
Yamato OKAMOTO
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
楽天における機械学習アルゴリズムの活用
楽天における機械学習アルゴリズムの活用
Rakuten Group, Inc.
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫
Masahiro Yasumoto
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
帰納バイアスが成立する条件
帰納バイアスが成立する条件
Shinobu KINJO
最適化超入門
最適化超入門
Takami Sato
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
takaya imai
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Sift特徴量について
Sift特徴量について
la_flance
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
New総合企画書
New総合企画書
JK-Branding
(Ja) A unified feature disentangler for multi domain image translation and ma...
(Ja) A unified feature disentangler for multi domain image translation and ma...
Yamato OKAMOTO
Weitere ähnliche Inhalte
Was ist angesagt?
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫
Masahiro Yasumoto
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
帰納バイアスが成立する条件
帰納バイアスが成立する条件
Shinobu KINJO
最適化超入門
最適化超入門
Takami Sato
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
takaya imai
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Sift特徴量について
Sift特徴量について
la_flance
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
Was ist angesagt?
(20)
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Transformer メタサーベイ
Transformer メタサーベイ
強化学習の実適用に向けた課題と工夫
強化学習の実適用に向けた課題と工夫
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
帰納バイアスが成立する条件
帰納バイアスが成立する条件
最適化超入門
最適化超入門
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Sift特徴量について
Sift特徴量について
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Ähnlich wie [ICML2019読み会in京都] Agnostic Federated Learning
New総合企画書
New総合企画書
JK-Branding
(Ja) A unified feature disentangler for multi domain image translation and ma...
(Ja) A unified feature disentangler for multi domain image translation and ma...
Yamato OKAMOTO
高専カンファレンス@OSC2009SpringTokyo
高専カンファレンス@OSC2009SpringTokyo
Kuniaki Igarashi
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
Yamato OKAMOTO
NeurIPS2018読み会@PFN a unified feature disentangler for multi domain image tran...
NeurIPS2018読み会@PFN a unified feature disentangler for multi domain image tran...
Yamato OKAMOTO
ICDM'18 速報
ICDM'18 速報
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(2日目)
ICML2019@Long Beach 参加速報(2日目)
Yamato OKAMOTO
B19
B19
SugawaraYosuke
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
事故からはじまるスケールチャンス
事故からはじまるスケールチャンス
Yusuke Wada
[DojoCon Japan 2018]自分にできる貢献のしかたを見つけよう by CoderDojo光
[DojoCon Japan 2018]自分にできる貢献のしかたを見つけよう by CoderDojo光
Hiroyuki Ishikawa
平成27年度プログラミング教育実践
平成27年度プログラミング教育実践
Naoki Kato
20180810 クリエイティブ・コモンズから考えるアーカイブ、シェア、リーガル・コミュニケーション
20180810 クリエイティブ・コモンズから考えるアーカイブ、シェア、リーガル・コミュニケーション
Tomoaki Watanabe
高専カンファレンスについて @kosenconf-012hachinohe
高専カンファレンスについて @kosenconf-012hachinohe
Kuniaki Igarashi
EDIX2015 デジタル教科書の未来と学校ICT
EDIX2015 デジタル教科書の未来と学校ICT
Naoki Kato
高専キャリア ~アプリコンテストに独りで挑んだ「OnlyOne」の皆さん~
高専キャリア ~アプリコンテストに独りで挑んだ「OnlyOne」の皆さん~
KubotaHideya
Ähnlich wie [ICML2019読み会in京都] Agnostic Federated Learning
(16)
New総合企画書
New総合企画書
(Ja) A unified feature disentangler for multi domain image translation and ma...
(Ja) A unified feature disentangler for multi domain image translation and ma...
高専カンファレンス@OSC2009SpringTokyo
高専カンファレンス@OSC2009SpringTokyo
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
NeurIPS2018読み会@PFN a unified feature disentangler for multi domain image tran...
NeurIPS2018読み会@PFN a unified feature disentangler for multi domain image tran...
ICDM'18 速報
ICDM'18 速報
ICML2019@Long Beach 参加速報(2日目)
ICML2019@Long Beach 参加速報(2日目)
B19
B19
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
事故からはじまるスケールチャンス
事故からはじまるスケールチャンス
[DojoCon Japan 2018]自分にできる貢献のしかたを見つけよう by CoderDojo光
[DojoCon Japan 2018]自分にできる貢献のしかたを見つけよう by CoderDojo光
平成27年度プログラミング教育実践
平成27年度プログラミング教育実践
20180810 クリエイティブ・コモンズから考えるアーカイブ、シェア、リーガル・コミュニケーション
20180810 クリエイティブ・コモンズから考えるアーカイブ、シェア、リーガル・コミュニケーション
高専カンファレンスについて @kosenconf-012hachinohe
高専カンファレンスについて @kosenconf-012hachinohe
EDIX2015 デジタル教科書の未来と学校ICT
EDIX2015 デジタル教科書の未来と学校ICT
高専キャリア ~アプリコンテストに独りで挑んだ「OnlyOne」の皆さん~
高専キャリア ~アプリコンテストに独りで挑んだ「OnlyOne」の皆さん~
Mehr von Yamato OKAMOTO
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
Yamato OKAMOTO
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ
Yamato OKAMOTO
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
Yamato OKAMOTO
ICLR'2020 参加速報
ICLR'2020 参加速報
Yamato OKAMOTO
(SURVEY) Active Learning
(SURVEY) Active Learning
Yamato OKAMOTO
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning
Yamato OKAMOTO
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
Yamato OKAMOTO
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
Yamato OKAMOTO
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(最終日 Workshop)
ICML2019@Long Beach 参加速報(最終日 Workshop)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(4日目)
ICML2019@Long Beach 参加速報(4日目)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(3日目)
ICML2019@Long Beach 参加速報(3日目)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(1日目)
ICML2019@Long Beach 参加速報(1日目)
Yamato OKAMOTO
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
Yamato OKAMOTO
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic Segmentation
Yamato OKAMOTO
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
Yamato OKAMOTO
IntelliLight: A Reinforcement Learning Approach for Intelligent Traffic Light...
IntelliLight: A Reinforcement Learning Approach for Intelligent Traffic Light...
Yamato OKAMOTO
A unified feature disentangler for multi domain image translation and manipul...
A unified feature disentangler for multi domain image translation and manipul...
Yamato OKAMOTO
neural architecture search with reinforcement learning
neural architecture search with reinforcement learning
Yamato OKAMOTO
Mehr von Yamato OKAMOTO
(20)
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR'2020 参加速報
ICLR'2020 参加速報
(SURVEY) Active Learning
(SURVEY) Active Learning
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Net...
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
ICML2019@Long Beach 参加速報(最終日 Workshop)
ICML2019@Long Beach 参加速報(最終日 Workshop)
ICML2019@Long Beach 参加速報(4日目)
ICML2019@Long Beach 参加速報(4日目)
ICML2019@Long Beach 参加速報(3日目)
ICML2019@Long Beach 参加速報(3日目)
ICML2019@Long Beach 参加速報(1日目)
ICML2019@Long Beach 参加速報(1日目)
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic Segmentation
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
IntelliLight: A Reinforcement Learning Approach for Intelligent Traffic Light...
IntelliLight: A Reinforcement Learning Approach for Intelligent Traffic Light...
A unified feature disentangler for multi domain image translation and manipul...
A unified feature disentangler for multi domain image translation and manipul...
neural architecture search with reinforcement learning
neural architecture search with reinforcement learning
Kürzlich hochgeladen
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Kürzlich hochgeladen
(10)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
[ICML2019読み会in京都] Agnostic Federated Learning
1.
ICML’2019 読み会in京都 Federated Learningの研究動向 [紹介論文] Agnostic
Federated Learning 2019/08/04 Yamato OKAMOTO
2.
自己紹介 岡本大和(おかもとやまと) 京都大学でパターン認識を研究して修士課程修了
オムロンで技術起点のBusiness Developmentを担当 夢は京都をポスト・シリコンバレーにすること ⇒ 京都の学生と変人が持つパワーを世界に知らしめたい お気に入りの ジョジョTシャツ Twitter : RoadRoller_DESU
3.
過去の発表内容 完全に『Disentangle信者』のようでした NeurIPS読み会in京都(2019/01) A Unified
Feature Disentangler for Multi-Domain Image Translation and Manipulation ICLR読み会in京都(2019/06) Emerging Disentanglement in Auto-Encoder Based Unsupervised Image Content Transfer
4.
過去の発表内容 完全に『Disentangle信者』のようでした Disentangleは きっとくるでぇ!!
5.
なんとDisentangleの論文がICMLでBest Paperに!! きたぁぁぁーー!!!
6.
本日の発表内容 Best PaperになったDisentangleの研究を紹介...
7.
本日の発表内容 Best PaperになったDisentangleの研究を紹介... しません (Best Paperになって注目されすぎちゃったしなぁ…) (だって僕が紹介しなくても誰かしてるでしょ…) 簡単に紹介すると、 これまでの教師なしDisentangle手法をフェアに再評価して、 パラメータ設定などに無意識にBiasが混入していると指摘。 完全な教師なし学習はまだ達成されていないことを示した。 そして今後のDisentangle研究の指針を打ち出した。
8.
本日は ”Federated Learning”
を紹介 Federated Learningってどんな技術? なにが嬉しいの? なぜ必要になったの? ICMLでどんな論文が出たの? Federated Learningについて 背景から正しく理解して頂くための スライド構成となっています
9.
Federated Learningってどんな技術? 機械学習を非集中環境で実行する技術(Google社が2017年に提唱) 1. クラウドに1つだけ親モデルを保有して、クライアント端末に配布 2.
クライアントは端末上で自らのデータによる機械学習をする 3. クライアントは算出したモデル更新パラメタ(ΔW)をクラウドに送信 4. クラウドはΔWを集約してから、データ量に応じた重みを付けてモデル更新 引用元: https://proandroiddev.com/federated-learning-e79e054c33ef ④親モデルを更新 ①配布 ② 機械学習を 端末で実行 ③ΔWを集約 ※kはクライアント番号、nkはクライアントkのデータ数、Wはモデルパラメータ
10.
なにが嬉しいの? ①大量のデータで効率よく学習できる • データ集約することなく、非集中環境のまま大量データで学習できる • クライアント端末で機械学習するのでクラウド側の計算負荷は一定 ②プライバシーを保つことができる •
データはクライアント端末から外に出ないのでプライバシー確保 • 算出したモデル更新パラメタ(ΔW)を送信するだけなので通信量が少ない ③教師データを入手する仕掛けを作りやすい • インタラクションによって教師データを取得する仕掛けを作りやすい • 例えば、キーボード入力時の『予測変換』と『実際に入力した文字』を 保存すれば学習用の教師付きデータとなる Googleのキーボードアプリに 試験導入済みとのこと 引用元: https://ai.googleblog.com/2017/04/federated-learning-collaborative.html
11.
なぜ必要になったの? Android端末のデータを有効活用したいというGoogle社の狙い データがもっと欲しかった • スマートフォンは人間のあらゆる行動に密着したインターフェース • データという観点では宝の山である データ提供の心理的ハードルを下げたかった •
例えば「よりよいAIモデル構築のためにあなたのデータを提出して下さい」と いっても首を縦に振る人は少ない(とはいえ、対価を払うのもヤだ) • データはダメでも学習したモデルパラメータなら抵抗なく提出してくれるかも 機械学習においてデータ保有=強み それなのにスマホの貴重なデータが これまでうまく活用されていなかった
12.
企業展示にも”Federated Learning”が!! ICMLにて、doc.aiの企業展示 病歴や服薬履歴や食生活といった個々人のデータから 医療AIモデルをFederated Learningで学習しようとしている 医療関連の研究者にもFederated
Learningが注目され始めている
13.
ICMLでどんな論文が出たの? Agnostic Federated Learning
(Google) クライアントの保有するデータ量やデータ分布に偏りがあると、 学習がうまくいかない場合があると指摘。そのような条件下で、 全クライアントに対してモデル性能を確保する学習方法を提案。 Bayesian Nonparametric Federated Learning of Neural Networks (IBM) Federated-Learningにおけるモデル更新パラメタの集約&更新を、 ノンパラメトリックな手法で”もっとええ感じ”にする手法。 Analyzing Federated Learning through an Adversarial Lens (IBM) 悪意あるパラメータ共有によってモデル汚染できることを証明した研究。 現存のアルゴリズムでは完全に汚染を防ぐことは難しいと問題提起した。
14.
ICMLでどんな論文が出たの? Agnostic Federated Learning
(Google) クライアントの保有するデータ量やデータ分布に偏りがあると、 学習がうまくいかない場合があると指摘。そのような条件下で、 全クライアントに対してモデル性能を確保する学習方法を提案。 本日紹介するのはコチラ
15.
一緒に考えてみてください Federated Learningを適用して 地球上の人々のスマホに保存されている顔画像から 顔認識モデルを学習したらどうなる??
16.
一緒に考えてみてください Federated Learningを適用して 地球上の人々のスマホに保存されている顔画像から 顔認識モデルを学習したらどうなる?? ⇒ たぶん中国人の顔認識がすごく得意なモデルになる 引用元:
https://www.jprime.jp/articles/-/11972 https://graphic-data.com/page/geography/001.html 世界人口の約2割!! 自撮りが好きな人も多い
17.
本研究が解決したい課題 データ分布の偏りが原因でクライアントに対して得意や苦手が生じる 引用元: https://icml.cc/media/Slides/icml/2019/102(13-16-00)-13-16-30-5038-agnostic_federa.pdf どのクライアントでも”ええ感じ”になるように学習したい
18.
提案手法: 敵対学習を活用する 苦手なクライアントを優先選定するλkと、性能向上を図るwで敵対学習 STEP1: 各クライアントでLOSSを算出 STEP2: 重みλkによってクライアントに 傾斜をかけたLOSSを定義 STEP3: このLOSSに対して敵対学習 引用元: https://icml.cc/media/Slides/icml/2019/102(13-16-00)-13-16-30-5038-agnostic_federa.pdf ※λは和が1になるmixture
weight ※pはクライアントの数 ※kはクライアント番号、mkはデータ数 ※wはモデルパラメータ、hは推論 ⇒ この内容は次のスライドで!
19.
敵対学習の振る舞い 苦手なクライアントがあるとλに付け込まれてしまう 結果的にどのクライアントのデータも偏りなく扱えるように学習される 引用元: https://icml.cc/media/Slides/icml/2019/102(13-16-00)-13-16-30-5038-agnostic_federa.pdf どんなλでも 成績向上すべく とにかく学習するぞ wさんが 最も苦手とする 傾斜λを探そう
20.
敵対学習の振る舞い 各クライアントが異なるドメインに所属すると捉えると この学習は『ドメイン汎化』と解釈することもできる 引用元: https://icml.cc/media/Slides/icml/2019/102(13-16-00)-13-16-30-5038-agnostic_federa.pdf どんなλでも 成績向上すべく とにかく学習するぞ wさんが 最も苦手とする 傾斜λを探そう国 語 数 学 英 語 傾斜付き 合計得点
21.
実験結果(1/3) 人物プロフィール(Adult Dataset)から収入予測するモデルを学習 クライアント1:博士号を取得した人物のデータだけ所有
クライアント2:博士号を取得していない人物のデータだけ所有 引用元: http://proceedings.mlr.press/v97/mohri19a/mohri19a.pdf Ldoctorate:doctorateのデータのみで学習、non-doctorateのデータで性能が低い Lnon-doctorate:non-doctorateのデータのみで学習、doctorateのデータで性能が低い Lu : Federated-Learningで学習、データ数の少ないdoctorateの性能がイマイチ LDA : 提案手法で学習、 doctorateの性能に向上が見られる データ量に基づく 傾斜付きスコア 最も苦手な 傾斜付きスコア 最低性能が改善された non-doctorateは データ量が少ないので苦手
22.
実験結果(1/3) 人物プロフィール(Adult Dataset)から収入予測するモデルを学習 クライアント1:博士号を取得した人物のデータだけ所有
クライアント2:博士号を取得していない人物のデータだけ所有 引用元: http://proceedings.mlr.press/v97/mohri19a/mohri19a.pdf Ldoctorate:doctorateのデータのみで学習、non-doctorateのデータで性能が低い Lnon-doctorate:non-doctorateのデータのみで学習、doctorateのデータで性能が低い Lu : Federated-Learningで学習、データ数の少ないdoctorateの性能がイマイチ LDA : 提案手法で学習、 doctorateの性能に向上が見られる データ量に基づく 傾斜付きスコア 最も苦手な 傾斜付きスコア non-doctorateのデータ量が多いので 全体平均のスコアは下がった ただし得意だったnon-doctorateの スコアが下がってしまう
23.
実験結果(2/3) キーボード入力の候補予測モデルを学習 クライアント1:conversationの言語データを所有 クライアント2:documentの言語データを所有 引用元:
http://proceedings.mlr.press/v97/mohri19a/mohri19a.pdf データ量に基づく 重み付き性能 敵対学習による 重み付き性能 ※数値が小さいほど良い Ldoc.:documentのデータのみで学習、conversationのデータで性能が低い Lcon.:conversationのデータのみで学習、documentのデータで性能が低い Lu : Federated-Learningで学習、documentが苦手で性能に偏りがある LDA : 提案手法で学習、 苦手を克服している 苦手パターンが減る代わりに 全体性能は劣化している 苦手改善
24.
実験結果(3/3) Fashion-MNISTによるカテゴリ(3classのみ)認識モデルの学習 3クライアントにそれぞれshirt/pullover/t-shirtのデータを持たせる 先ほどの実験と異なり、各クライアントが所有するクラスが異なる(ドメインではない) 引用元:
http://proceedings.mlr.press/v97/mohri19a/mohri19a.pdf Lu : Federated-Learningで学習、他と比べてshirtが苦手 LDA : 提案手法で学習、 苦手だったshirtの性能が向上 苦手改善の効果を確認 最低性能が改善された データ量に基づく 傾斜付きスコア 最も苦手な 傾斜付きスコア
25.
考察 最低を想定したときの性能を改善するのに役立つ AccじゃなくてLossで実験結果を見てみたい(平滑化されているはず) 詳細設計に不明点がある(論文に記載済なのに私が理解してないだけかもしれません...) λがそのまま学習対象のパラメータだとしたら、学習率の設定がキモになりそう 単純に
maxkLk(ω) としないのは、振動してなかなか収束しなかったのかな? 課題は、クライアント数が多くなるほど学習が難しい、とのこと (※今回の実験は2~3クライアント)
26.
まとめ 非集中環境で機械学習するFederated Learningの手法を提案 Biasが生じない(苦手や得意がない)ような学習方法を提案 最低パターンでの性能向上を実験で確認 (ただし、最高パターンでの性能は劣化する場合が多い)
Jetzt herunterladen