documents about SPIGAN.

1. 【画像処理 & 機械学習】論文LT会#1
発表資料
2019/4/19
株式会社ウェブファーマー
大政孝充

2. ◾️名前：大政孝充（おおまさ たかみつ）
◾️株式会社ウェブファーマー 代表
http://web-farmer.net
◾️AIシステムの開発（画像・動画・時系列データ）
◾️AIコンサルタント
自己紹介
masataka46

3. 本日の予定
論文の概要
背景
先行研究
モデルの全体像
目的関数
ネットワークのアーキテクチャ
実験方法
実験結果
実装のポイント

4. 論文 SPIGAN の概要
論文：
K. Lee, et. al. ” SPIGAN: PRIVILEGED ADVERSARIAL LEARNING
FROM SIMULATION”
投稿先：
ICLR 2019 accepted
arXivのURL：
https://arxiv.org/abs/1810.03756
私の実装例：
https://github.com/masataka46/SPIGAN

5. 論文 SPIGAN の概要
 simulatorで作成した画像を real な画像に変換する（domain adaptation）
 real な画像に対するアノテーション無しで目的タスクの推論値が求まる
 depth 情報等の privileged information を利用して real に変換する

6. 論文 SPIGAN の背景
real な画像 annotation
１. segmentation のようなタスクでは annotation に手間がかかる。
２. simulator を使って画像と annotation を自動で作成したい
annotationsimulator からの画像
３. しかし simulator からの画像と real な画像とでは大きく違うため学習で使えない
real な画像 simulator からの画像
・・・・・・
・・・・・・

7. 論文 SPIGAN の背景
４．そこで simulator 画像の domain から real な画像の domain へ domain adaptation したい
K. Saito, et. al, “Maximum Classifier Discrepancy for Unsupervised Domain Adaptation”
Figure 1 より

8. 先行研究
domain adaptation の先行研究
K. Saito, et. al, “Maximum Classifier Discrepancy for Unsupervised Domain Adaptation”
Figure 1 より

9. モデルの全体像
モデルの全体像

10. モデルの全体像
GANで simulator 画像を real 画像へ domain adaptation する部分

11. モデルの全体像
GANの学習と共にsegmentation タスクを学習することにより、学習した 予測器 T は real な
画像に対して segment できるようになるだろう

12. モデルの全体像
これに P (privileged network) を加えるとより target domain に adapt するだろう？

13. 目的関数
目的関数の全体像

14. 目的関数
GAN loss は Least squared loss で安定化させる

15. 目的関数
segment 部分（T）では pixel 単位の交差エントロピー

16. 目的関数
privileged network 部分（P）では L1 norm

17. 目的関数
さらに generator で adapt する前と後の画像を学習済みVGG19に入力し、中間層からの出
力で perceptual loss をとる

18. Network のアーキテクチャ
１．generator：
２．discriminator
３. task predictor (segmentor)
４. pirivileged network
→作成したコード
https://github.com/masataka46/SPIGAN
を参照してください

19. 実験方法
●simulator からのデータ：SYNTHIA dataset から rgb画像、depth画像、
segmentation画像
→そのままだと使いづらい？
●real な画像データ：CityScape dataset

20. 実験方法
• SYNTHIA dataset の segmentation annotation は、人・車・自転車・バイク・ライダーなどが
インスタンスごとに色分けされている
• 各インスタンスの色に法則性が見つからない……
→先行研究の方が作成した修正データを使用

21. 実験結果
• 学習したモデルによる real data（CityScape の validation set）での各クラスIoU及び mean
IoU
• mean IoUはSPIGANが最も高い
• PI(privileged information)により数%精度が上がっている

22. 実験結果
• 出力画像の例・・・・PI(privileged informationの情報が効いてる)

23. 自分の実験結果
10 epoch
• 作成したコードで10epochほど学習させた
• 左から、simulator画像、adapted画像、 simulator画像に対するsegment推論値、adapted
画像に対するsegment推論値、segmentのground truth。
• 先にadapted画像が変化し始め、遅れてsegment推論値が変化する。まだ10epochなので
segmentationは面積の大きいクラスのみ描かれている

24. 自分の実験結果
10 epoch
• 作成したコードで10epochほど学習させた
• 左から real画像のvalidation、それに対するsegment推論値、segmentのground truth。
• 同様にまだ10epochなのでsegmentationは面積の大きいクラスのみ描かれている

25. 論文 SPIGAN まとめ
 simulatorで作成した画像を real な画像に変換する（domain adaptation）
 real な画像に対するアノテーション無しで目的タスクの推論値が求まる
 depth 情報等の privileged information を利用して real に変換する

26. おわり