機械学習でよく使う線形代数の公式です。行列やlog行列式の微分、逆行列の微分、２次形式のtraceでの記述、ブロック行列の逆行列などの公式が書かれています。

1. 付録１．数学の復習
行列の微分
行列式のlogの微分
対称行列の2次形式のtraceへの置き換え
ブロック行列の逆行列（Woodbury)
クラシックな機械学習の入門
by 中川裕志（東京大学）

2. 行列の微分
     
 x
x
x
x
x
x
B
A
ABAB
BA,
a
x
xa
x
ax
xx
xx
x
xf
x
x
x
x
a
x
x
xfxx
g
gfggf
Tr
B
A
Tr
matrix
x
f
x
f
x
f
x
f
x
f
x
f
f
a
a
f
f
f
x
x
T
ji
ij
TT
k
m
k
m
k
kmk


































































































)()(
rulechain
)()(
)()(
)()(
)(
)(
)(
)(
)(
)(
)()(
1
11
1
1
111
行列で微分する場合の
とする。を
とする。はスカラー






3. 行列で微分
 
   
   





































mnm
n
mnm
n
a
Af
a
Af
a
Af
a
Af
A
Af
aa
aa
A
1
111
1
111


4. 行列の積の微分、逆行列の微分
11
1
1
1
1
11
1
1
1
1
0
0
)ontindependenisif(
)(
)(
















































A
A
A
A
A
A
A
A
AA
A
A
A
IAA
A
x
A
A
x
A
x
A
AA
x
A
x
IAA
BAB
A
B
AB
A
AB
x
B
AB
x
A
x
AB
で微分するとこれを
で微分するとこれを

5. 行列式のlogの微分
 
 
 
 
   
   
 
T
T
dc
ba
ac
bd
bcad
bcad
d
bcad
c
bcad
b
bcad
a
bcad
example
x
Tr
x
d
x
c
x
b
x
a
ac
bd
bcad
Tr
b
x
c
c
x
b
a
x
d
d
x
a
bcad
bcad
xdc
ba
x
example
dc
ba
x
Tr
x






















































































































































1
1
1
1
1
loglog
loglog1
||log:
||log
1
1
loglog:
||log
A
A
AA
A
A
A
A
A
AA りの場合の例は以下の通

6. 線形代数学の役立つ公式
)(
)()(
TT
AtraceAA
BAtraceABtrace
Trtrtrace
xxxx 

が対称行列なら
共分散行列Σは対象で、正規分布では、xTΣxの計
算をすることが多く、そのときには必須。
ＡＩＣやＢＩＣなどの情報量基準の計算ではよく使う。

7. 線形代数学の役立つ公式１
1111111
11
11111
111
)()(
identityWoodbury
)()(
)()(
1||
LemmaInversionMatrix,1
||||
,
)()(
||
1
||||||||














CABCADBAACBDA
BAIAAABI
casespecial
RBPBPBRBBRBP
baabI
baN
BAIABI
MNBA
AA
A
ABAAB
TTTT
TT
NN
T
MM
T
NN
TT
立つ公式：逆行列を求めるとき役
立つ公式逆行列を求めるとき役
のときすなわち列ベクトル
行列のときは
P-1の計算が大変な
とき役立つ
Ｄ-1の計算が大変
なとき役立つ

8. 線形代数学の役立つ公式
||
1
||||||||
1
1),..1(
)1(||
1
,2,21,1
A
ABAAB
theneven
thenoddiNipermutaionif
AAAA iNNii





 

9. 線形代数学の役立つ公式
ブロック行列の逆行列
  )( 111
1111
11




















MatrixCBDAMwhere
CMBDDDCMD
MBDM
DC
BA
式
例えば、多次元正規分布の共分散
行列やその逆行列（精度行列）を求
めるときに必須