2. 2/88
講者簡介
講者:陳志華
學歷:國立交通大學資訊管理與財務金融學系資訊管理博士
國立交通大學網路工程研究所(輔所)
現職:中華電信研究院 / 研究員
國立清華大學工業工程與工程管理學系 / 兼任助理教授
經歷:國立交通大學運輸與物流管理學系 / 兼任助理教授
國立交通大學資訊管理與財務金融學系 / 兼任助理教授
國立交通大學傳播與科技學系 / 兼任助理教授
工業技術研究院服務系統科技中心 / 軟體工程師
聯發科技股份有限公司多媒體技術開發處 / 軟體工程師
IBM China Software Development Lab / Intern
服務:Guest Editor-in-Chief for Symmetry (SCI), IJGI (SCI), IEEE TEE
Project Reviewer for Chilean National Commission for Scientific and
Technological Research, Chile
Project Reviewer for National Research Foundation, Republic of South Africa
Program Committee Member for IEEE Globecom, IEEE EDUCON, etc.
研究:國內外發表90篇期刊論文
國內外發表102篇會議論文
國內外發表53件專利
國內外獲獎70件專題競賽、論文競賽
85. 85/88
神經網路與神經元
梯度下降法證明
‧
‧
‧
‧
‧
‧
‧
‧
‧
‧
‧
‧
l
z1
l
z2
l
iz
l
sl
z
1
+
l
a1
l
a2
l
ia
l
sl
a
l
jw ,1
l
jiw ,
l
jw ,2
l
jSl
w ,
l
jb
1l
jz 1l
ja
第l層 第l+1層
第l+1層zj值(加權總和後)
l
i
s
i
l
i
l
ji
l
j bawz
l
1
,
1
第l+1層aj值(激活函式計算後)
l
i
s
i
l
i
l
ji
l
j bawga
l
1
,
1
激活函式(activation function)
可為線性、S型函式、或其他
xxg
x
e
xg
1
1
0if,0
0if,
x
xx
xg
線性函式
S型函式
ReLU函式
86. 86/88
梯度下降法證明
監督式學習目標為最小化估計值與真實值之間的誤差(損失)
假設損失函式(loss function)為
為真實值, 為估計值
最小化損失函式,計算方式為對損失函式微分
由於損失函式為多參數組成之函式,故分別對不同參數做偏微分
對 值計算偏微分,取得第l層最小誤差
對 值計算偏微分,取得第l層最小誤差之最佳 值
對 值計算偏微分,取得第l層最小誤差之最佳 值
對 值計算偏微分之數學證明
yyF ˆ,
y yˆ
l
iz
l
jiw ,
l
jb
l
jiw ,
l
jb
l
iz
1
1
1
1
1
,
1
1,
1
1
1
l
l l
l
s
j
l
j
l
ji
l
i
s
j
l
j
l
j
s
k
l
k
l
jkl
i
l
i
l
i
s
j
l
j
l
i
l
j
l
i
l
i
l
i
l
i
wzg
z
F
baw
az
a
z
F
a
z
z
a
z
F
0and
otherwise,0
f,1
where
l
i
l
j
l
i
l
k
a
bkii
a
a
損失函式示意圖
誤
差
或
損
失
全域最佳解
區域最佳解
87. 87/88
梯度下降法證明
對 值計算偏微分之數學證明
對 值計算偏微分之數學證明
l
jiw ,
l
jb
1
1,
,
1
,
1
,
l
j
l
i
l
j
l
j
s
k
l
k
l
jkl
ji
l
j
l
ji
l
j
l
ji
a
z
F
baw
w
z
F
w
z
w
F
l
0and
otherwise,0
f,1
where
,,
,
l
ji
l
j
l
ji
l
jk
w
bkii
w
w
1
1,
1
1
l
j
l
j
l
j
s
k
l
k
l
jkl
j
l
j
l
j
l
j
l
j
z
F
baw
b
z
F
b
z
b
F
l
0where
,
l
i
l
jk
b
w
l
ji
l
ji
l
ji
w
F
ww
,
,,
權重值修正
l
j
l
j
l
j
b
F
bb
誤差項值修正
為學習率
避免一次跳太遠,
而錯過全域最佳解
為學習率
避免一次跳太遠,
而錯過全域最佳解