マルコフ過程について勉強した事をまとめました。感覚的な説明がかなり多いため、大学の教科書で習うような事は後半の「おまけ」を見て下さい。 反省点は、大学入試問題を解くためのテクニックに終始してしまったことかな。

1. マルコフ過程についてまとめた
大学入試や金融やネット広告など様々な応用されてい
るマルコフ過程を、高校生でも分かるように解説
Author:ryuichi64(Twi1er:web_studying)

2. 第一章(外伝シナリオ):
行列のn乗と連立漸化式を復習
大学入試でいう「確率と漸化式」に当たる部分の多く
がマルコフ過程と関連している。まずはマルコフ過程
の理解に必要な、連立漸化式、行列のn乗の復習を
行なう。

3. 行列のn乗の求め方
連立漸化式を解くためには行列のn乗を計算する必要がある。そ
の為に対角化と言う手法を用いる。以下2行2列の行列を例に説
明する。
A x
!
= ! x
!
"| A # !E |= 0 ! = !1,!2
x
!
= !1
p
q
"
#
$
%
&
', !2
r
s
"
#
$
%
&
'
B =
p r
q s
!
"
#
#
$
%
&
&
, P =
!1 0
0 !2
!
"
#
#
$
%
&
&
A = BPB!1
とおけば
An
= BPB!1
BPB!1
...BPB!1
= BPn
B!1
[手順3]最後に掛け合わせてAを求める
但し、ΔB=ps-rq 0(B-1が存在する)
[手順1]まず行列Aの固有値λと、固有ベクトルxを求める
[手順2]次に固有ベクトルをまとめた行列Bと、対角行列Pを用意する
(固有値の定義)

4. 行列のn乗の求め方の例題(1)
A =
8 1
4 5
!
"
#
$
%
&
A ! !E =
8! ! 1
4 5! !
"
#
$
%
&
' より、
| A ! !E |= (8! !)(5! !)! 4 = 0 ! = 4,9
!1
4
"
#
$
%
&
',
1
1
"
#
$
%
&
'これより固有ベクトルは、 より
B =
!1 1
4 1
"
#
$
%
&
' P =
4 0
0 9
!
"
#
$
%
&
問：行列 のn乗を求めよ。
[手順1]
[手順2]

5. 行列のn乗の求め方の例題(2)
A =
8 1
4 5
!
"
#
$
%
&
An
= BPn
B!1
=
1
5
*4n
+
4
5
*9n
!
1
5
*4n
+
1
5
*9n
!
1
5
*4n+1
+
4
5
*9n 1
5
*4n+1
+
1
5
*9n
"
#
$
$
$
$
%
&
'
'
'
'
(答)
B =
!1 1
4 1
"
#
$
%
&
' B!1
= !
1
5
1 !1
!4 !1
"
#
$
%
&
' =
!
1
5
1
5
4
5
1
5
"
#
$
$
$
$
%
&
'
'
'
'
P =
4n
0
0 9n
!
"
#
#
$
%
&
&
問：行列 のn乗を求めよ。
[手順3]

6. 連立漸化式とその解き方
まず2つの数列an,bnに対する連立漸
化式とは、右が成り立つ事を言う。
an+1 = aan + bbn
bn+1 = can + dbn
!
"
#
A =
a b
c d
!
"
#
$
%
&
<手順1>二元一次連立方程式を行列を使って解く要領で、以下のよう
にを行列とベクトルで表す。
より、X
!
n =
an
bn
"
#
$
%
&
' Xn+1
!
=
an+1
bn+1
"
#
$
$
%
&
'
' A Xn
!
= X
!
n+1
Xn = AXn!1 = A2
Xn!2 = A3
Xn!3 =... = An
X 0 = An a0
b0
"
#
$
%
&
'
<手順2>さらにXを1つずつずらし、Anを求め、ベクトルX0をかけ算

7. 連立漸化式の例題
an+1 = 8an + bn
bn+1 = 4an + 5bn
!
"
#
問：連立漸化式 においてan,bnを求めよ。
an+1
bn+1
!
"
#
#
$
%
&
&
=
8 1
4 5
!
"
#
$
%
&
an
bn
!
"
#
#
$
%
&
& より A =
8 1
4 5
!
"
#
$
%
& とおくと
<手順2>先ほどの例題よりAnは(計算は省略します。)
An
= BPn
B!1
=
1
5
*4n
+
4
5
*9n
!
1
5
*4n
+
1
5
*9n
!
1
5
*4n+1
+
4
5
*9n 1
5
*4n+1
+
1
5
*9n
"
#
$
$
$
$
%
&
'
'
'
'
Xn =
xn
yn
!
"
#
#
$
%
&
&
以上よりan、bnは
a0 = 0,b0 =1
Xn = An
X0 =
!
1
5
*4n
+
1
5
*9n
1
5
*4n+1
+
1
5
*9n
"
#
$
$
$
$
%
&
'
'
'
'
an = !
1
5
*4n
+
1
5
*9n
bn =
1
5
*4n+1
+
1
5
*9n
"
#
$$
%
$
$
<手順1>
(答)

8. 追記
• 本節では行列のn乗の求め方、連立漸化式の解き方につい
て確認した。
• 本節では2行2列の行列を例としたが、一般のn行n列の行
列の場合も同様の手順で求める事ができる。
• n行n列の行列における逆行列の求め方や対角化は、大学
1年の線形代数にて勉強する。
• 又プログラムで逆行列を計算する場合、Pythonのライブラリ
「numpy」等を用いると良い

9. 第二章:
マルコフ過程
マルコフ過程は時刻(n+1)の状態が、時刻nの状態の
みに依ってきまる為、連立漸化式で記述される。まず
は連立漸化式の復習を行なう。

10. 確率変数について
• 確率変数
– 試行の結果によって，その値をとる確率が定まる変数Xを確
率変数Xという
– 確率変数XがX=xiをとる確率をP(X=xi)と表す。
• 確率過程
– 回数(時間など)nとともに確率変数が変化するとき、そ
の確率変数を確率過程と言う。

11. 確率過程、マルコフ過程について
• マルコフ過程(青空学園数学科より)
– 確率過程で(n+1)回目の確率変数の値が、n回目の確率変数の
値のみから定まるとき、マルコフ過程と言う。
– 推移の確率がnに依らないとき、このマルコフ過程は定常状
態という。このとき、pikを推移確率と呼び、
– と漸化式を立てて解く事ができる。
P(Xn+1 = k) = pikP(Xn = i)
i
!

12. マルコフ過程について:推移確率行列
• 例えば時刻t=n+1のときにある粒子が1または2に居る確率
P(Xn+1=1), P(Xn+1=2)を考える。
• P(Xn+1=1)=p11P(Xn=1)+p21P(Xn=2)
• P(Xn+1=2)=p12P(Xn=1)+p22P(Xn=2)
• これを行列の形に直すと、
• となり、 を推移確率行列と言う。
P(Xn+1 =1)
P(Xn+1 = 2)
!
"
#
#
$
%
&
&
=
p11 p21
p12 p22
!
"
#
#
$
%
&
&
P(Xn =1)
P(Xn = 2)
!
"
#
#
$
%
&
&
M =
p11 p21
p12 p22
!
"
#
#
$
%
&
&

13. マルコフ過程について:推移確率行列
Pn =
P(Xn =1)
P(Xn = 2)
!
"
#
#
$
%
&
&• このとき、 とおくと、
• Pn+1=MPnより、連立漸化式の<手順2>を適用して、
Pn=MnP0が成立する。
• このPnを用いて、具体的な数量の予測をしていく。
• 次ページでは、人口予測に対するマルコフ過程のモ
デルを立てる例題について見て行く(飛ばしても可)

14. マルコフ過程の例題:人口予測
では、実際にマルコフ過程の簡単なモデルを立てて人口予測し
てみよう。
2006年名古屋大学後期(改)(人口推移とマルコフ過程:Izumiの数学より)
A,B2つの町がある。毎年1月1日にA町の前年の住民のうち4割がB町に、B町の
前年の住民のうち2割がAに、それぞれ引っ越す（住民の数は十分多く、引っ越
す住民の割合は正確に4割、2割と見なしてよい）。それ以外には住民の移動は
なく、Ａ町、Ｂ町両方をあわせた住民の数は不変である。つぎの各問に答えよ。
(1):n年目の末にＡ町とＢ町それぞれに済んでいる住民の数を an , bn とする。(n
+1)年目にＡ町とＢ町それぞれに住んでいる住民の数 an+1 , bn+1 を表す式を以下
のように表すとき、この行列Mを求めよ。
(2):Mnを求めよ(原題の誘導を取りました)
(3): を求めよ。
an+1
bn+1
!
"
#
#
$
%
&
&
= M
an
bn
!
"
#
#
$
%
&
&
lim
bn
an
n!"

15. マルコフ過程の例題:人口予測
an+1 = 0.6an + 0.2bn
bn+1 = 0.4an + 0.8bn
この連立漸化式を行列に直して、 M =
0.6 0.2
0.4 0.8
!
"
#
$
%
&
(答)
(1):n年目からn+1年目の推移図を書くと、
注:このMが推移確率行列

16. マルコフ過程の例題:人口予測
(2)[手順1]
0.6 ! !( ) 0.8! !( )! 0.08 = 0 "#! = 0.4,1
! =1
!0.4 0.2
0.4 !0.2
"
#
$
%
&
'
!
x = O
のとき、
より、
! = 0.4
0.2 0.2
0.4 0.4
!
"
#
$
%
&
!
x = O
!
x1 =
1
2
!
"
#
$
%
&
!
x2 =
1
!1
"
#
$
%
&
'
A
!
x = !
"
x ! A " !E( )
"
x = O !| A " !E |= 0
のとき、
より、

17. マルコフ過程の例題:人口予測
(2)
M = PBP!1
" M n
= PBn
P!1
!M n
=
1
3
1+ 2"0.4n
1# 0.4n
2 # 2"0.4n
2 + 0.4n
$
%
&
&
'
(
)
)
(答)
P =
1 1
2 !1
"
#
$
%
&
' B =
1 0
0 0.4
!
"
#
$
%
& P!1
=
1
3
1
3
2
3
!
1
3
"
#
$
$
$
$
%
&
'
'
'
'
(3) an
bn
!
"
#
#
$
%
&
&
= M n'1
a0
b0
!
"
#
#
$
%
&
&
=
1
3
(1+ 2(0.4n'1
)a0 +(1' 0.4n'1
)b0
(2 ' 2(0.4n'1
)a0 +(2 + 0.4n'1
)b0
!
"
#
#
$
%
&
&
[手順2,3]
<手順2>

18. マルコフ過程の例題:人口予測
(3) an
bn
!
"
#
#
$
%
&
&
= M n'1
a0
b0
!
"
#
#
$
%
&
&
=
1
3
(1+ 2(0.4n'1
)a0 +(1' 0.4n'1
)b0
(2 ' 2(0.4n'1
)a0 +(2 + 0.4n'1
)b0
!
"
#
#
$
%
&
&
よりA町とB町の人口比は年数を重ねると1:2に近
づくと予想できる(間違ってたらごめんなさい）
lim
bn
an
=
2a0 + 2b0
a0 + b0
= 2
lim
bn
an
=
(2 ! 2"0.4n!1
)a0 +(2 + 0.4n!1
)b0
(1+ 2"0.4n!1
)a0 +(1! 0.4n!1
)b0

19. マルコフ過程の例題:人口予測
• 今回は2つの都市間における人口の推移をマ
ルコフ過程を使って考えた。
• 例題を通し人口の推移と言う現実の事象を、
数学的なモデルを立てて考察する事を体験し
た。
• 以下はマルコフ過程の応用例について紹介
する。

20. マルコフ過程(人口予測)の応用例
• 本ページではマルコフ連鎖の応用例をまとめてみた。
• 人口推移、金融、ネット広告など様々な分野で応用
されている。
• 人口推移
• 「日本における人口移動の構造分析に関する研究」
• 金融
• マルコフ関数モデルによる金利オプションの価格付けの実
用化(太田 晴康)
• ネット広告
• マルコフ連鎖モデルによるアトリビューション分析(イン
ターネット広告代理店で働くデータサイエンティストのブ
ログ)

21. 第三章:
学術論文や発表会を読み取るポイント
次は学術論文や発表会を読み取るポイントを述べる

22. 本スライドを作ったきっかけ
• WebMiningTokyo 37の聴講をWebで聞く
• h_okagawa氏のマルコフ過程の聴講を聞く
• 基本的な解説の時間があれば、もっと聴講者が参
加しやすいのではないかと思った
• 折角なのでマルコフ過程の復習をしようと考え、ス
ライドを作成
• 身近な事例を取り扱って、高校生からわかるように
した(具体的な説明はおまけで確認を)
• 本稿が金融、アドテクノロジーなど各種業種の発展、
又は興味をもつきっかけになれば幸い

23. 発表会で確認するポイント
• 背景を確認
• 論文を読み解く上で知っておくべき知識を整理
• どのような場合なのか？
• どのような仮定やモデルを設定するのかを確認
• どのような場合に対する提案なのか？
• あるいは他の事を考えない場合なのか？
• 仮定から論者の着眼点
• マルコフ過程の場合なら、一つ前の事象と現在の事象に注
目する
• モデルに放り込む数値を確認する
• [売上 = 単価 個数]の場合、単価と個数をどのように計算
• マルコフ過程の場合ならば、推移確率行列のpijをどう計算
するかを確認

24. 発表会を聞く上で注意するポイント(1)
• 実際に使えるかはできる限り考えない
• 実際に役に立つ/立たないは結果論
• どのようにすれば、問題が考えやすくなるのかを
発表者や他の聴講者と考えに行くように聴講する
事(前向きに考える)
• もっと簡単にできないか？難しくすべきか？
• 発表者や論文の案の利点、欠点を明確にする
• 欠点の例:計算の精度、プログラムの実行速度等

25. 発表会を聞く上で注意するポイント(2)
• 発表会に参加する目的を明確にする
• 趣味の参加か？知り合いを増やす為の参加か？
• 他人の技術に触れる等
• 発表会の特徴を掴む！
• 技術そのものを議論する発表会なのか？
• 技術よりも仕事の取り方、勉強の方法などの発表
会なのか？
• ソーシャル(Twitter)の使い回し等
• 協賛にどのような企業が参加しているか？
• チケット予約の方法等は？

26. おまけ
確率過程に関する大学の授業テキスト

27. 確率過程に関する大学の授業テキスト(1)
• 確率過程の基礎
• 各種確率過程の呼び方と由来が簡単にまとめられています
• 数理統計学I 前期 ランダムウォークと投票者モデル
担当 平場 誠示
• 本稿では大まかな説明ですが、こちらでは具体的に説明さ
れています
• 確率論 - ランダム・ウォーク 2009年, 西岡
• 金融の分野で書かせないランダムウォークの具体例が、高
校生にでも分かるようにまとめられています。「ギャンブ
ラーの破産問題」の項は必見
•

28. 確率過程に関する大学の授業テキスト(2)
• 講義ノート 経済学のための確率過程論入門 増山
幸一
• 金融工学でおなじみの伊藤(微分)の公式が紹介されていま
す
• 計画数理演習(確率微分方程式)
• 確率微分方程式についてまとめられています。本稿では離
散的な状況のみの解説ですが、連続的な状況について勉強
したい人にお勧めです