Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Learning from Irregularly-SampledTime Series
A Missing Data Perspe...
書誌情報
• Title: Learning from Irregularly-Sampled Time Series A Missing Data Perspective
• Author: Steven Cheng-Xian Li and ...
本資料の構成
• 手法のキモが2つに分けられるため、それぞれごとに実験を紹介します
• 背景、目的
• 提案手法 1: 不規則にサンプリングされたデータの再構成法
• 実験 1
• 提案手法 2: 時系列の再構成法
• 実験 2
• 結論
3
背景
• 実世界の時系列は一定周期でサンプリングできるとは限らない
• ex. 患者の生体データなど
• 複数の時系列を観測するとき、すべて同じタイミングで観測できるとは限らない
• 観測時刻と観測回数
• すごくスパースになりがち
• 時系列...
目的
• 今回考える問題: (固定長内で)不規則にサンプリングされた時系列から分布を学習する
• 学習して、潜在変数の推定や分類を行う
• この問題はデータ欠損問題と言い換えられる
• 本研究の目的: 不規則にサンプリングされた時系列データから...
凡例
• インデックスセットをIとし、𝑡 ⊂ 𝐼がインデックス、そこでの観測を𝑥とする
6
Partial Varational Autoencoder (P-VAE)
• tを条件のように扱うVAEを設計する(P-VAE)
7
マスク関数
• 観測されない部分を0とするマスク関数𝑚を導入する
• エンコーダへの入力は𝑞 𝜙 𝑧 𝑥, 𝑡 = 𝑞 𝜙 𝑧 𝑚(𝑥, 𝑡) = 𝒩(𝑧|𝜇 𝜙 𝑚 𝑥, 𝑡 , Σ 𝜙 𝑚 𝑥, 𝑡 )となる
8
確率的エンコーダの設定
• マスクのされ方によって、正しいとされる出力は複数パターン存在しうる
• (決定論的に)VAEをそのまま学習させるということはできない
9
(MNISTの潜在空間)
(とり得る再構成結果)
Partial Bidirectional GAN (P-BiGAN)
• P-VAEをGANの方法で学習する(P-BiGAN)
• デコーダの出力が本物に近づくよう(𝑥, 𝑡, 𝑧)の組の識別機𝐷を学習させる
10
正規化項
• P-BiGANの誤差項に正規化項としてVAEの誤差項を加えると学習が改善される
11
(P-BiGANのLoss)
実問題への適用法
• P-VAEによって、欠損値補完や分類などの問題に対応できる
12
(欠損値補完の場合) (分類の場合)
比較対象: MisGAN
• 入力とマスクを同時に学習させるMisGANを比較対象とする
13
実験 1-1
• 90%マスクをかけた状態からの元画像の復元実験
14
実験 1-2
• マスク率を変えて復元実験を行い、FID(Fréchet Inception Distance)を比較
• P-VAEだと画像がぼやけてスコアが悪化しがちだが、P-BiGANだと高スコア
15
手法2: 不規則にサンプリングされた時系列への対処
• [0, T]で不規則にサンプリングされた時系列でこれらを学習するにはどうすればいいか?
16
デコーダ
• デコーダからは一定間隔𝑢で出力
• それらをEpanechnikovカーネル 𝐾 によるスムーザを用いて補完したものを最終的な出力
とする
17
エンコーダ: 連続畳み込み層
• 1次のB-スプライン曲線による連続カーネル𝑤(𝑡)で入力を一定間隔𝑢に畳み込む
• カーネルとマスク関数の相互相関をとる
• それをCNNエンコーダに入れる
18
アーキテクチャまとめ
• 以上の機構を導入することで、P-VAEは不規則にサンプリングされた時系列に対応できる
19
実験 2
• MIMIC-IIIによる死亡予測(分類)タスク
• 12種類の不規則にサンプリングされた生体時系列データ、平均死亡率8.10%
• 提案手法によって高速かつ高精度の分類が実現している
20
結論
• 不規則にサンプリングされた時系列データのモデリング手法を提案した
• 欠損データに対するエンコーダ・デコーダのフレームワークを提案
• P-VAE
• P-BiGAN
• (連続)時系列データのモデリング手法を提案
• カーネルスムー...
Nächste SlideShare
Wird geladen in …5
×

[DL輪読会]Learning from Irregularly-Sampled Time Series: A Missing Data Perspective (ICML2020)

325 Aufrufe

Veröffentlicht am

2020/09/11
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

[DL輪読会]Learning from Irregularly-Sampled Time Series: A Missing Data Perspective (ICML2020)

  1. 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Learning from Irregularly-SampledTime Series A Missing Data Perspective” Jun Hozumi, Matsuo Lab
  2. 2. 書誌情報 • Title: Learning from Irregularly-Sampled Time Series A Missing Data Perspective • Author: Steven Cheng-Xian Li and Benjamin M. Marlin • University of Massachusetts Amherst • Conf.: ICML 2020 • Paper: https://arxiv.org/abs/2008.07599 • Slides: https://icml.cc/media/Slides/icml/2020/virtual(no-parent)-14-14-00UTC-6300- learning_from_i.pdf • スライド中の図表は主に上の2つから引用 2
  3. 3. 本資料の構成 • 手法のキモが2つに分けられるため、それぞれごとに実験を紹介します • 背景、目的 • 提案手法 1: 不規則にサンプリングされたデータの再構成法 • 実験 1 • 提案手法 2: 時系列の再構成法 • 実験 2 • 結論 3
  4. 4. 背景 • 実世界の時系列は一定周期でサンプリングできるとは限らない • ex. 患者の生体データなど • 複数の時系列を観測するとき、すべて同じタイミングで観測できるとは限らない • 観測時刻と観測回数 • すごくスパースになりがち • 時系列を取り扱うアルゴリズムの多くは、固定次元のデータを必要とする 4
  5. 5. 目的 • 今回考える問題: (固定長内で)不規則にサンプリングされた時系列から分布を学習する • 学習して、潜在変数の推定や分類を行う • この問題はデータ欠損問題と言い換えられる • 本研究の目的: 不規則にサンプリングされた時系列データから分布を学習するためのス ケーラブルなフレームワークを開発する • 最終的に既存手法を上回り、より高速に学習できる手法を示す 5
  6. 6. 凡例 • インデックスセットをIとし、𝑡 ⊂ 𝐼がインデックス、そこでの観測を𝑥とする 6
  7. 7. Partial Varational Autoencoder (P-VAE) • tを条件のように扱うVAEを設計する(P-VAE) 7
  8. 8. マスク関数 • 観測されない部分を0とするマスク関数𝑚を導入する • エンコーダへの入力は𝑞 𝜙 𝑧 𝑥, 𝑡 = 𝑞 𝜙 𝑧 𝑚(𝑥, 𝑡) = 𝒩(𝑧|𝜇 𝜙 𝑚 𝑥, 𝑡 , Σ 𝜙 𝑚 𝑥, 𝑡 )となる 8
  9. 9. 確率的エンコーダの設定 • マスクのされ方によって、正しいとされる出力は複数パターン存在しうる • (決定論的に)VAEをそのまま学習させるということはできない 9 (MNISTの潜在空間) (とり得る再構成結果)
  10. 10. Partial Bidirectional GAN (P-BiGAN) • P-VAEをGANの方法で学習する(P-BiGAN) • デコーダの出力が本物に近づくよう(𝑥, 𝑡, 𝑧)の組の識別機𝐷を学習させる 10
  11. 11. 正規化項 • P-BiGANの誤差項に正規化項としてVAEの誤差項を加えると学習が改善される 11 (P-BiGANのLoss)
  12. 12. 実問題への適用法 • P-VAEによって、欠損値補完や分類などの問題に対応できる 12 (欠損値補完の場合) (分類の場合)
  13. 13. 比較対象: MisGAN • 入力とマスクを同時に学習させるMisGANを比較対象とする 13
  14. 14. 実験 1-1 • 90%マスクをかけた状態からの元画像の復元実験 14
  15. 15. 実験 1-2 • マスク率を変えて復元実験を行い、FID(Fréchet Inception Distance)を比較 • P-VAEだと画像がぼやけてスコアが悪化しがちだが、P-BiGANだと高スコア 15
  16. 16. 手法2: 不規則にサンプリングされた時系列への対処 • [0, T]で不規則にサンプリングされた時系列でこれらを学習するにはどうすればいいか? 16
  17. 17. デコーダ • デコーダからは一定間隔𝑢で出力 • それらをEpanechnikovカーネル 𝐾 によるスムーザを用いて補完したものを最終的な出力 とする 17
  18. 18. エンコーダ: 連続畳み込み層 • 1次のB-スプライン曲線による連続カーネル𝑤(𝑡)で入力を一定間隔𝑢に畳み込む • カーネルとマスク関数の相互相関をとる • それをCNNエンコーダに入れる 18
  19. 19. アーキテクチャまとめ • 以上の機構を導入することで、P-VAEは不規則にサンプリングされた時系列に対応できる 19
  20. 20. 実験 2 • MIMIC-IIIによる死亡予測(分類)タスク • 12種類の不規則にサンプリングされた生体時系列データ、平均死亡率8.10% • 提案手法によって高速かつ高精度の分類が実現している 20
  21. 21. 結論 • 不規則にサンプリングされた時系列データのモデリング手法を提案した • 欠損データに対するエンコーダ・デコーダのフレームワークを提案 • P-VAE • P-BiGAN • (連続)時系列データのモデリング手法を提案 • カーネルスムーザによるデコーダ • 連続畳み込み層 • 提案手法は既存手法に比べ高精度かつ学習時間を大幅に短縮できた 21

×