リプシッツ連続性に基づく勾配法・ニュートン型手法の計算量解析 2011年　RAMP シンポジウム講演資料 制約なし最適化問題に対するアルゴリズムの計算量解析について紹介しています． 研究室ＨＰ http://www-optima.amp.i.kyoto-u.ac.jp

1. リプシッツ連続性に基づく
勾配法・ニュートン型手法の計算量解析
京都大学大学院 情報学研究科 数理工学専攻
上田 健詞， 山下信雄
２０１１年 ＲＡＭＰシンポジウム 講演資料

2. 平成28年度 数理工学専攻説明会
第１回： 平成２８年５月 ７日(土) １３：３０～
第２回： 平成２８年５月３０日(月) １７：００～
場所、プログラムの詳細は以下の専攻ＨＰをご覧ください。
http://www.amp.i.kyoto-u.ac.jp
＊説明会は教員とのコネクションを作るチャンスです。
＊本説明会は修士課程の説明会も兼ねています。
京都大学大学院 情報学研究科 数理工学専攻
博士後期課程の学生募集

3. はじめに
大域的反復回数
リプシッツ連続性
非凸な問題に対する解法の大域的反復回数
凸な問題に対する解法の大域的反復回数
まとめ
発表の流れ
2／57

4. はじめに
大域的反復回数
リプシッツ連続性
非凸な問題に対する解法の大域的反復回数
凸な問題に対する解法の大域的反復回数
まとめ
発表の流れ
3／57

5. 制約なし最小化問題
解法
最急降下法
ニュートン法
・
・
・
反復法
解に収束する点列 を生成する
制約なし最小化問題
例（ニュートン法）
4／57

6. 解法の評価基準
収束率
解の近傍での収束の速さ
： 解
： を満たす定数
： 0に収束する点列
： を満たす定数
大域的収束性
どの初期点 から始めても解に収束する
1次収束
超1次収束
2次収束
5／57

7. 収束率の違い
1次
超1次
2次
超1次・2次収束は1次収束よりも非常に速い
6／57

8. 収束の速さ＝収束率？
収束率＝解の近傍での収束の速さ
収束が速いのはどちらのアルゴリズム？
解の近傍に到達するまでの速さはわからない
A：近傍まで1秒で到達できるが、1次収束しかしない
B：近傍まで1日かかるが、2次収束する
収束率が良いのはBだけど・・・
7／57

9. はじめに
大域的反復回数
リプシッツ連続性
非凸な問題に対する解法の大域的反復回数
凸な問題に対する解法の大域的反復回数
まとめ
発表の流れ
8／57

10. 大域的反復回数
大域的反復回数
近似解を求めるまでに必要となる反復回数の上限
近似解の条件
 が凸関数でない（非凸）とき
（停留点の近似解）
（ は近似解の精度）
最近、大域的反復回数の研究が盛んに行われている
 が凸関数のとき
9／57

11. 大域的反復回数の見方
大域的反復回数が
（ が非凸のとき（ が近似解の条件））
（ が非凸のとき（ が近似解の条件））
例（ のとき）
10／57

12. はじめに
大域的反復回数
リプシッツ連続性
非凸な問題に対する解法の大域的反復回数
凸な問題に対する解法の大域的反復回数
まとめ
発表の流れ
11／57

13. リプシッツ連続性
リプシッツ連続性
がリプシッツ連続
＝
を満たす非負の定数 （リプシッツ定数）が存在する
（定義）
本発表では、 や のリプシッツ連続性を使う
： のリプシッツ定数
： のリプシッツ定数
行列 に対して
12／57

14. はリプシッツ連続（ （ の最大固有値））
勾配・ヘッセ行列ともにリプシッツ連続となる例
2次関数 （ ：半正定値）
もリプシッツ連続（ ）
（一般に、）
リプシッツ定数は問題の規模（次元 ）の影響を受けない
13／57

15. はリプシッツ連続でない
ヘッセ行列のみがリプシッツ連続となる例
はリプシッツ連続（ ）
14／57

16. は
リプシッツ連続
勾配のみがリプシッツ連続となる例
は
リプシッツ連続でない
15／57

17. 勾配のリプシッツ連続性からわかること
命題1
がリプシッツ連続であるとき、以下が成り立つ
（リプシッツ連続性より）
（証明）
16／57

18. 勾配のリプシッツ連続性からわかること
命題1
がリプシッツ連続であるとき、以下が成り立つ
のとき、右辺を最小にする解 は
このとき、
（最急降下法）
17／57

19. ヘッセ行列のリプシッツ連続性からわかること
命題2
がリプシッツ連続であるとき、以下が成り立つ
のとき、右辺を最小にする解 を使って
と反復点を更新する手法が
3次正則化ニュートン法 [Nesterovら(2006)]
このとき、
18／57

20. はじめに
大域的反復回数
リプシッツ連続性
非凸な問題に対する解法の大域的反復回数
凸な問題に対する解法の大域的反復回数
まとめ
発表の流れ
19／57

21. 大域的反復回数（再掲）
大域的反復回数
近似解を求めるまでに必要となる反復回数の上限
近似解の条件
（停留点の近似解）
（ は近似解の精度）
最近、大域的反復回数の研究が盛んに行われている
 が凸関数のとき
 が凸関数でない（非凸）とき
20／57

22. 最急降下法の大域的反復回数
定理1
がリプシッツ連続であるとき、大域的反復回数は
探索方向
反復点の更新
： ステップサイズ
21／57

23. 最急降下法の大域的反復回数
（ の場合に対する証明）
に
を代入すると、
となるので、
したがって、
（証明終了）
22／57

24. 大域的反復回数を改善できるか？
大域的反復回数＝反復回数の上限
よりも良い見積もりが与えられるかもしれない
定理2 [Cartisら（2010）]
任意の正の定数 に対して、
最急降下法の反復回数が となり、
がリプシッツ連続となる問題を構成できる
よりも良くならない （追加の仮定が必要）
23／57

25. ニュートン法（＋信頼領域法）
探索方向 は以下の制約つき部分問題の解
探索方向
： 信頼半径
モデル関数
（モデル関数の）近似比
目的関数の減少量
モデル関数の減少量
24／57

26. ニュートン法（＋信頼領域法）
反復点の更新
信頼半径の更新
（ が大きいとき）
（ が小さいとき）
（ が大きいとき）
（ が小さいとき）
から大きくする
から小さくする
信頼半径をうまく更新して、大域的収束性を保証する
25／57

27. ニュートン法の探索方向の求め方
定理3
が制約つき部分問題の大域的最適解となるための
必要十分条件は
を満たす が存在することである。
は半正定値行列
のとき、
となるため、 の解が
のとき、
の方程式 を解き、
となる
とする
26／57

28. ニュートン法の大域的反復回数
定理4 [Grattonら（2008）]
がリプシッツ連続であるとき、大域的反復回数は
最悪の場合でも、
ニュートン法は最急降下法と同じ振る舞いをする
ただし、 を求めるための計算量は考慮していない
（ の非線形方程式）
27／57

29. ニュートン法の大域的反復回数
定理5 [Cartisら（2010）]
任意の正の定数 に対して、
ニュートン法の反復回数が となり、
がリプシッツ連続となる問題を構成できる
よりも良くならない （追加の仮定が必要）
28／57

30. 3次正則化ニュートン法
探索方向 は以下の制約なし部分問題の解
探索方向
モデル関数
反復点の更新
の代わりにパラメータ を使い、信頼半径の様に
うまく更新して大域的収束性を保証する拡張も行われている
[Cartisら（2011）]
29／57

31. 3次正則化ニュートン法の探索方向の求め方
定理6 [Nesterovら（2006）]
が制約なし部分問題の大域的最適解となるための
必要十分条件は
を満たす が存在することである。
とした の方程式
を解き、
とする
は半正定値行列
30／57

32. 3次正則化ニュートン法の大域的反復回数
定理7 [Nesterovら（2006）]
がリプシッツ連続であるとき、大域的反復回数は
最急降下法やニュートン法よりも良い上限を持つ
ただし、 を求めるための計算量は考慮していない
（ の非線形方程式）
31／57

33. 3次正則化ニュートン法の大域的反復回数
定理8 [Cartisら（2010）]
任意の正の定数 に対して、
3次正則化ニュートン法の反復回数が で
がリプシッツ連続となる問題を構成できる
よりも良くならない （追加の仮定が必要）
32／57

34. 正則化ニュートン法
探索方向 は以下の制約なし部分問題の解
探索方向
モデル関数
反復点の更新
をうまく更新して大域的収束性を保証する [上田・山下（2009）]
33／57

35. 正則化ニュートン法の探索方向の特徴
は強凸関数なので、
1. 探索方向が陽に求まる
2. のとき、最急降下法の探索方向
3. のとき、ニュートン法の探索方向
解の近傍では、
34／57

36. 正則化ニュートン法の大域的反復回数
定理9 [上田・山下（2009）]
がリプシッツ連続であるとき、大域的反復回数は
ただし、 を求めるための計算量は
考慮していない
最急降下法やニュートン法と同じ上限を持つ
35／57

37. 仮定の追加による大域的反復回数の改善
定理10 [上田・山下（2009）]
がリプシッツ連続であり、かつ
を満たす正の定数 と が存在するとき、
大域的反復回数は
最急降下法やニュートン法よりも良い上限を持つ
36／57

38. 追加の仮定を満たす例
はリプシッツ連続（ ）
は凸関数ではない
37／57

39. Levenberg-Marquardt法（LM法）
探索方向 は以下の制約なし部分問題の解
探索方向
モデル関数
反復点の更新
非線形最小2乗問題
38／57

40. LM法の特徴
は強凸関数なので、
1. 探索方向が陽に求まる
2. 解の近傍では超1次収束する
3. の1階微分しか必要としない
ニュートン法だと の2階微分が必要
最急降下法（1次収束）よりも局所的な振る舞いが良い
39／57

41. LM法の大域的反復回数
定理11 [上田・山下（2010）]
がリプシッツ連続であるとき、大域的反復回数は
よりも良くなるかどうかは、まだわかっていない
最急降下法やニュートン法と同じ上限を持つ
40／57

42. 大域的反復回数のまとめ（非凸）
解法 大域的反復回数 リプシッツ連続性
最急降下法
ニュートン法
3次正則化
ニュートン法
正則化
ニュートン法
LM法（最小2乗）
41／57

43. はじめに
大域的反復回数
リプシッツ連続性
非凸な問題に対する解法の大域的反復回数
凸な問題に対する解法の大域的反復回数
まとめ
発表の流れ
42／57

44. 大域的反復回数（再掲）
大域的反復回数
近似解を求めるまでに必要となる反復回数の上限
近似解の条件
（停留点の近似解）
（ は近似解の精度）
最近、大域的反復回数の研究が盛んに行われている
 が凸関数のとき
 が凸関数でない（非凸）とき
43／57

45. 最急降下法の大域的反復回数
定理12
がリプシッツ連続であるとき、大域的反復回数は
探索方向
反復点の更新
： ステップサイズ
44／57

46. 最急降下法の大域的反復回数
（ の場合に対する証明）
に
を代入すると、
となり、 が凸関数のとき、
（続く）
が成り立つので、
45／57

47. 最急降下法の大域的反復回数
したがって、最急降下法の更新式より、
となるので、
（証明終了）ゆえに、
46／57

48. 3次正則化ニュートン法（再掲）
探索方向 は以下の制約なし部分問題の解
探索方向
モデル関数
反復点の更新
の代わりにパラメータ を使い、信頼半径の様に
うまく更新して大域的収束性を保証する拡張も行われている
[Cartisら（2011）]
47／57

49. 3次正則化ニュートン法の大域的反復回数
定理13 [Nesterovら（2006）]
がリプシッツ連続であるとき、大域的反復回数は
最急降下法よりも良い上限を持つ
ただし、 を求めるための計算量は考慮していない
（ の非線形方程式）
48／57

50. 正則化ニュートン法（再掲）
探索方向 は以下の制約なし部分問題の解
探索方向
モデル関数
反復点の更新
をうまく更新して大域的収束性を保証する [上田・山下（2009）]
49／57

51. 正則化ニュートン法の大域的反復回数
定理14 [上田・山下（2009）]
がリプシッツ連続であるとき、大域的反復回数は
最急降下法よりも良い上限を持つ
50／57

52. 大域的反復回数のまとめ（凸）
解法 大域的反復回数 リプシッツ連続性
最急降下法
3次正則化
ニュートン法
正則化
ニュートン法
51／57

53. おまけ（加速化）
解法 大域的反復回数 リプシッツ連続性
最急降下法
3次正則化
ニュートン法
正則化
ニュートン法
凸な問題では、各解法で加速化が可能
これまでに得られた点の情報を使って高速化する
（右上の数字は加速化前）
52／57

54. はじめに
大域的反復回数
リプシッツ連続性
非凸な問題に対する解法の大域的反復回数
凸な問題に対する解法の大域的反復回数
まとめ
発表の流れ
53／57

55. 大域的反復回数
大域的反復回数
近似解を求めるまでに必要となる反復回数の上限
近似解の条件
 が凸関数でない（非凸）とき
（停留点の近似解）
（ は近似解の精度）
最近、大域的反復回数の研究が盛んに行われている
 が凸関数のとき
54／57

56. リプシッツ連続性
リプシッツ連続性
がリプシッツ連続
＝
を満たす非負の定数 （リプシッツ定数）が存在する
（定義）
本発表では、 や のリプシッツ連続性を使う
： のリプシッツ定数
： のリプシッツ定数
行列 に対して
55／57

57. 大域的反復回数のまとめ
解法
大域的反復回数
リプシッツ連続性
非凸 凸
最急降下法
ニュートン法 ―
3次正則化
ニュートン法
正則化
ニュートン法
LM法（最小2乗） ―
56／57

58. 大域的反復回数のまとめ
解法
大域的反復回数
リプシッツ連続性
非凸 凸
最急降下法
ニュートン法 ―
3次正則化
ニュートン法
正則化
ニュートン法
LM法（最小2乗） ―
57／57

59. 制約つきの問題に対する計算量の見積もり
最急降下法や3次正則化ニュートン法では、射影を使って、
制約つきの問題に対する計算量が見積もられている
正則化ニュートン法、LM法、それ以外の他の手法でも
見積もることができるか？
今後の課題
58／57
限定したクラスに対する厳密な計算量の見積もり
広いクラスの見積もりは理論的には面白いが、
実用的ではない
実問題とその解法に応じた、厳密な計算量の見積もりが
重要になりそう