안녕하세요. 이동민입니다. :) 2018. 8. 9일에 한국항공우주연구원에서 발표한 "Safe Reinforcement Learning" 발표 자료입니다. 목차는 다음과 같습니다. 1. Reinforcement Learning 2. Safe Reinforcement Learning 3. Optimization Criterion 4. Exploration Process 강화학습 계속 공부하면서 실제로 많은 분들이 쓸 수 있게 하려면 더 안전하고 빨라야한다는 생각이 들었습니다. 그래서 이에 관련하여 논문과 각종 자료들로 공부하여 발표하였습니다. 많은 분들께 도움이 되었으면 좋겠습니다. 감사합니다!

1. 02 , 1 2 202
A9 8

2. d
• m S rS
• 7 K a
. h i Ob 7P
, N . O y eo P
, N . O AEGB I AFAG 7A IGEGC. G G I K E GP
LIE AG E I K G G G IAL 4 0 I
, - N . ug !
• 7 69 2 wn ~ t
2 839 12 f ::9 w R c a

3. 2 . 4 2 1
2 . 4 2 1
242 2 2 2
3 2 .
2 . 4 2 1
32

6. :
: A@
?I 7 . 3/ / - -

7. i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S

8. i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S

9. i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S

10. i )
n ( /ooc wu r p h
i n ( 7?? ( @:37 3 ?
:? h [s .? ? t 3? :
e :?b b g [sd [ - A k
:? h R I I [ t
] :? [ a i S

12. dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,

13. dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,

14. dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,

15. dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,

16. dp )
( u a Ou a A R
O : ( S i c O A w k y
( : d c lr
e G x t u a!
. B ( P i : On g y m
do u ( uo - n !
+ ? ,

20. - / 8.4 1 20 4/ - 4 - 0/
:

23. ? ?

24. !

28. !

30. .

31. .

37. !

39. / / . / . / / ./ . / /
/
/ / - . / -

40. -,
, /, , , - /, , , / /
, , , , , , - ,
, , -, . /, , .

41. L
L
L

42. L
L
L
!" = $"%& + ($"%) + ()
$"%* + ⋯ = ∑-./
0
(-
$"%-%&

43. L
L
L

44. L
L
L

49. -1 C E
- 2 .2 2 - 2 2 2
- 2 2
-2 2 2

50. -1 C E
- 2 .2 2 - 2 2 2
- 2 2
-2 2 2

51. -1 C E
- 2 .2 2 - 2 2 2
- 2 2
-2 2 2

52. - 2 E BI C
22
. 2 2
21 2
2 2
2

53. - 2 E BI C
22
. 2 2
21 2
2 2
2

54. . - R C E
1B
2
-
P O SLO I W I!

55. - 2 E BI C
22
. 2 2
21 2
2 2
2

58. !

59. -

60. - - - - -
- - - - -

61. - - - - -
- - - - -
- - - - -

62. -

63. -

64. - - - - -

65. Ω" " #$, &$, #', &', … C
- C

66. - - - - -
C !

67. - C

68. - C

69. - C

70. - C

71. - C

73. -

74. id , - h , ,.,
c e ., i , ,., Wk
, ,., , l , ,., h
h a . Ch . . Ch
, , b

75. id , -
c e - i - Wk C
- l . -
a - - . - .
. b

76. id , -
c e - i - Wk C
- l . -
a - - . - .
. b

78. Worst case
!"#
$(&')
100
0
&'
!"#
High
Reward

79. Worst case
!"#
$(&')
100
0
&'
!"#
High
Reward

80. Worst case
!"#
$(&')
100
0
&'
!"#
High
Reward

81. Worst case
!"#
$(&')
100
0
&'
!"#
High
Reward

84. !

89. C !
"# $ !
%# &
'#

90. C !
"# $ !
%# &
'#

91. C !
"# $ !
%# &
'#

92. C !
"# $ !
%# &
'#

93. ! C

95. .

96. NO P I K
TS /. BC :? /? :5 . C:=: C:? C B 5 / :
P R TS CC B ? C 5?= C5 ( / )5

97. O N T KR S !
/ B C ? = / I ? ? : C B : B
P : C 5 :) ( .

98. a P T cK eO aR aI b a Sd N
/. BC :? /? :5 . C:=: C:? C B 5 / :
CC B ? C 5?= C5 ( / )5

99. OPS S T KI b a N
/. BC :? /? :5 . C:=: C:? C B 5 / :
R CC B ? C 5?= C5 ( / )5

100. O b NT S c I dP bK
a /. BC :? /? :5 . C:=: C:? C B 5 / :
R a CC B ? C 5?= C5 ( / )5

101. N e T O P dR N K e b dR !
ca / B C ? = / I ? ? : C B : B
S ca : C 5 :) ( .

102. N !!!
PO / B C ? = / I ? ? : C B : B
K PO : C 5 :) ( .

103. .

104. E E A
8 !

108. !

109. - 2 E BI C
22
2 2
2
. 2 2
21 2

110. . E . K
L L K

111. .

112. P ! 2:11 1 3 L D
M a ./:
3 9 5 1 3/:1 71 72- 7 11 9/:

113. . R
. E

114. . .

115. .

117. ! !

121. !
!

125. !
!

127. . 2
. 2 1

128. . 2 1

129. . A 12
A 12
?

130. - , . 1 21 ?
-: 2 - - , ( 1- - - , (
) )

131. ?
. 1
2

132. 1 ? 2 .
.

133. . 2 1

134. ) ( 2 . 2 2 1 1 : !", $", !%, $%, …
E )
T?

136. : / . : /
A :: : .
: :

137. .
. : . . . . . / . . : .
A :: : / . ..
: : .
.
: .
:
. .

138. ! = { $%, '% , $(, '( , … }

139. ! = { $%, '% , $(, '( , … }

140. !(#, %)' = { #*, %* , #+, %+ , … }

141. !(#, %)' = { #*, %* , #+, %+ , … }

142. !(#, %)' = { #*, %* , #+, %+ , … }
.

143. ?
ML ? 7 C7 7 ? 7 7? 7 ? ? 4 C7 ? = 7
I ML : C H 47 : . / 2 7 7 H 47 &C

146. O Z I L N E
8 . : . : . :/: ?= 8.
= AAA :? ?/ :8 A.

147. 8
& /= = : ? = : E : 8 E 8 8 8=
H & 7 & E= = 7 ?. ? E=

148. A
SR 1//8 0 (& ) . G ADA G:G H IKGG D :HN LA=
P Q SR GI MMM N K K D M: L )2=.M8 0 ? : KH N K K D((I

150. !"
#"

151. !"
#"

152. !
"#
$#

153. !
"#
$#
!($#|"#)

154. .

155. .

156. .

158. !

159. .

160. , ) . ( ) C

161. L D !

162. :CDCNC ACO
1CCM :CG DLNAC C P 5C N G 1LCO P LNH CP IL 5G H
0L MNC C OGRC NRCT L DC :CG DLNAC C P 5C N G ( ' 9 MCN 5G H
N OP :C GL 9LIGAT 8MPG G PGL ( ' 9 MCN 5G H
:98 N OP :C GL 9LIGAT 8MPG G PGL - 4 BCMP :COC NA 9 MCN :CRGCS L C 5G H
I LNGP O DLN 4 RCNOC :CG DLNAC C P 5C N G ( 9 MCN 5G H
MMNC PGACO GM 5C N G RG 4 RCNOC :CG DLNAC C P 5C N G ( ) 9 MCN 5G H
9: (,- MMNC PGACO GM 5C N G RG 4 RCNOC :CG DLNAC C P 5C N G 99 5G H
DC IPG C P :CG DLNAC C P 5C N G DLN PL L L O 1NGRG 99 5G H
4 PNLB APGL LD 4 RCNOC :CG DLNAC C P 5C N G 99 5G H
4 RCNOC :CG DLNAC C P 5C N G OCB L 0NGPGA I P PC L C 5G H
4 GP PGL 5C N G DLN 8 NL LP OG 4 PC L C 5G H
:L LP IC N O PL MI T P IC PC GO T G GP PGL L C 5G H
422: 9 ( ' - 1CCM G GA M MCN O MMIC C P NT RGBCL L C 5G H

164. !

165. !