制御工学とディープラーニングの関わりについて

1. システム制御と機械学習
@syuntoku14

2. 自己紹介
● 名前：北村俊徳
● SD 3年
● ロボット技術研究会
● KCS AI班
● 制御工学、確率ロボティクス
⚠勉強中であり、スライドは間違いを含むかもしれない

3. このスライドで伝えること
● 事前知識（制御って何？）
● 学習制御というジャンル
● ディープな学習制御について（論文紹介）

4. このスライドで伝えること
● 事前知識（制御って何？）
● 学習制御というジャンル
● ディープな学習制御について（論文紹介）

5. 事前知識
制御って何？

6. システム制御でやりたいこと
入力値を操作して出力を目標値に近づける
[例えば] 台車の目標座標への移動
x
モータへ信号u(t)を入力
r(t)
x(t)
偏差e(t)
入力：モータへの入力電圧u(t)
出力：台車位置x(t)

7. 手法のひとつ：古典制御
● 入力に対する出力のみに着目
● 完璧では無いが、いい感じの出力が得られる
● 設計が簡単
②制御器を設計する
①偏差をゼロにした
い
伝達関数

8. 古典制御方法のひとつ PID制御
● 偏差のP（比例）I(積分）D（微分）を入力に追加し、出力の定常偏差を減ら
し、振動現象を抑える
https://ja.wikipedia.org/wiki/PID%E5%88%B6%E5%BE%A1

9. 制御手法（PID制御）
偏差の比例（P）、微分（D)、積分（I）に
基づいて入力値を変える制御手法
● P制御：大きくすると振動が起こる
● I制御：定常偏差を小さくする
● D制御：振動現象を抑える

10. 古典制御の問題点
線形時不変系にしか使えない...
世の中非線形なことばっかり 伝達関数->周波数応答解析
ができない！！

11. 現代制御へ…
● 入出力だけでなく、状態空間を扱う
● 多入出力を扱える
● 時変システム、非線形システムも扱える

12. 現代制御の問題点
非線形システムも扱えるが…
● 非線形システムを一般的に扱う理論の展開が非常に難しい
→有用な制御理論が少ない＆ほぼ体系化されていない（らしい）

13. このスライドで伝えること
● 事前知識（制御って何？）
● 学習制御というジャンル
● ディープな学習制御について（論文紹介）

14. 学習制御って？
完璧なモデル化→現代制御でなんとか...
モデル化出来なくても→対象がある程度単純ならPID制御でなんとか...
モデル化出来ない上に複雑、かつ精度もほしい時はどうすれ
ば？

15. 学習制御って？
モデル化出来ない上に複雑な場合はどうすれば？
→学習（繰り返し）を通じて制御しよう
● モデルがわからない＆非線形にも対応可能
ｋ回目 ∞回目

16. 繰り返し学習制御の基本：D型学習制御
学習可能なシステム：
● 制御対象が変化しない
● 入出力が正確に計測可能
繰り返しで精度が上がってい
く

17. D型学習制御の基本構造 目標値
目標値と出力値
の差分
偏差を処理（今回は微分）
次回の
入力値
次回の入力を処理し
た偏差で更新

18. 問題点
● 実空間上で学習する場合
→反復回数を少なく＆試行回数を短くする必要
● 微分するので、観測雑音に弱い
● 繰り返すと制御対象は変わってしまう

19. このスライドで伝えること
● 事前知識（制御って何？）
● 学習制御というジャンル
● ディープな制御について（論文紹介）

20. ディープな制御について
● どこに深層学習を適用するか？
①制御対象を学習する
②コントローラをNeuralNetworkで置き換える
制御対象
入力
NN
出力
+
-

21. Modeling of nonlinear system based on deep learning
framework(2016)
● 非線形なシステムをDeepLearningでモデル化した
● ENN(Elman Neural Network)で非線形なシステムの
memory effectも学習している
● RBM(Restricted Boltzman Machine)で初期値を事前学習
→局所解を避け、学習を高速化
● ENNとRBMを組み合わせたDRM(Deep Reconstruction
Model)で学習を行う

22. D級アンプモデルの学習結果
DRMによる学習結果
周波数に対する振幅特性（上）誤差（下）
RBMとENNとDRMの
周波数誤差の比較
DRMによって精度が
上がっている

23. ディープな制御について
● どこに深層学習を適用するか？
①制御対象を学習する
②コントローラをNeuralNetworkで置き換える
NN
置き換え

24. PID制御器のNNでの置き換え
● On replacing PID controller with ANN controller for DC motor position
control (2013)
● On Replacing PID Controller with Deep Learning Controller for DC Motor
System(2015)(Deepにしたやつ）
PID制御器の部分をニューラルネットで置き換え

25. On replacing PID controller with ANN controller for DC motor position
control (2013)
● PIDコントローラをNNで置き換えることが出来た
● 教師あり学習で、未知のシステムに対してもPIDよりも良く対応できる（ら
しい）
目標値
これを0に
したい
制御対象

26. DCモータモデルについての学習結果
・許容できる遅れ、偏差
・未知のシステムに対して
PIDよりも良い結果をしめす
目標値
出力

27. On Replacing PID Controller with Deep Learning Controller for DC Motor
System(2015)
PIDコントローラの出力を教師データとして学習
→DeepLearningControllerのみで制御（テスト時）
学習時
テスト時

28. DCモータモデルについての学習結果
カスケードステップ入力に対する応答
→PIDを学習できている→DeepLearningをコントローラとして使用できる可能性
PID制御の出力 DeepLearningControllerの出力

29. まとめ
● 学習によるモデルフリーな制御
● コントローラとしてのDeepLearningの可能性
● 非線形モデルをDeepLearningで学習

30. 参考
● On replacing PID controller with ANN controller for DC motor position control
(http://consortiacademia.org/wp-content/uploads/IJRSC/IJRSC_v2i1/236-
1374-1-PB.pdf)
● On Replacing PID Controller with Deep Learning Controller for DC Motor
System
（http://www.joace.org/uploadfile/2015/0408/20150408032023512.pdf）
● Modeling of nonlinear system based on deep learning
framework(http://link.springer.com/10.1007/s11071-015-2571-6)