モンテカルロサンプリング

モンテカルロサンプリング

kos59125

[2011-08-27] Nagoya.R#6

© RecycleBin

レジュメ

• 自己紹介
• モンテカルロサンプリングの概要説明
• 具体的な方法の紹介
– 直接的方法
– 間接的方法
• 集団遺伝学での応用例

© RecycleBin

自己紹介

• 専門: 集団遺伝学

• 趣味プログラマ

• R の位置づけ
– DIS ■■□□□□□□□□ LOVE

© RecycleBin

R コミュニティ活動

• Nagoya.R: 発表 4 回
– 今回で 5 回目
• Tokyo.R: 発表 1 回

• R.NET: コーディネーター
– 開発協力者募集中

© RecycleBin

モンテカルロ法

• 乱数を用いる数値計算法の総称
• カジノの街モンテカルロ (Monte Carlo) に由来
– 英語では Monte Carlo method と MC が大文字

Wikimedia Commons より引用

© RecycleBin

モンテカルロ法

• 計算時間が多項式時間

• 得られた結果は必ずしも正しい答えではない
– 試行回数を増やすことで精度が上がる

© RecycleBin


• モンテカルロ法を用いて目的とする確率分布から
のサンプリングを行う

• 使いどころ
– 確率分布の理論式が扱いづらい
– 確率分布の理論式を知らない

© RecycleBin

サンプリングの方法

© RecycleBin

注意

• 本スライドではいくつかのサンプリングアルゴリズム
を例示しますが，必ずしも最善の手法を示してい
るわけではありません

• R には様々な関数やパッケージが用意されている
ので，利用できるならそちらを利用しましょう

© RecycleBin

直接的方法

© RecycleBin

戦略

• ある分布にしたがう乱数は容易に得られる
– 例えば一様分布 U(0, 1)

• 得られる乱数を用いて，目的分布からサンプリン
グを行う

© RecycleBin

変換法

• 乱数: z
• 変換式: f
• f(z) は目的分布にしたがう

• サンプリング手順
1. 乱数 z を生成する
2. f(z) を得る

© RecycleBin

例題
• 指数分布 Exp(1)
– 密度関数: exp(–x)

© RecycleBin

例題
• 指数分布 Exp(1)
– 密度関数: exp(–x)

• 逆関数法
– 一様乱数 u ~ U(0, 1)
– 変換式 f(u) = –ln(1–u)
• Exp(1) の累積分布関数: 1 – exp(–x)
• u = 1–exp(–x) を x について解くと x = f(u)

© RecycleBin

R

u <- runif(1000)

x <- -log(1 - u)

© RecycleBin

利点・欠点
利点欠点
• 計算が軽い • 一般に累積分布関数の逆
– 無駄な計算がない関数を求めることは困難

© RecycleBin

棄却サンプリング法

• 目的分布の密度関数: π(x)
• 提案分布の密度関数: g(x)
• 定数 c が存在してすべての x で π(x) ≦
cg(x) が成り立つ
1. x* ~ g(x) および u ~ U(0, 1) を生成
2. u ≦ π(x*)/cg(x*) なら x* を受容，そうでなけ
れば棄却して 1 に戻る

© RecycleBin

例題
• レイリー分布 Rayleigh(1)
– 密度関数: π(x) = x exp(–x2/2)

© RecycleBin

例題
• レイリー分布 Rayleigh(1)
– 密度関数: π(x) = x exp(–x2/2)

• 提案分布: 指数分布 Exp(1)
– 密度関数: g(x) = exp(–x)
• 定数: c = max π(x)/g(x) ≒ 2.2
– x = (1+√5)/2 で最大

© RecycleBin

R

drayleigh <- function(x) x * exp(-x*x/2)
argmax <- (1+sqrt(5)) / 2
k <- drayleigh(argmax) / dexp(argmax)
ratio <- function(x)
drayleigh(x) / (k * dexp(x))

proposal <- rexp(5000)
u <- runif(5000)
acceptance <- proposal[u <= ratio(proposal)]

© RecycleBin

利点・欠点
利点欠点
• 実装が容易 • π(x)/cg(x) が小さいと受
容率が低くなり，効率が悪く
なる
– 分布の端
– 高次元

© RecycleBin

マルコフ連鎖モンテカルロ法

• マルコフ連鎖
– 直前の状態からのみ，次の状態が定まる

• 特定の条件を満たすマルコフ連鎖は，均衡分布
に収束する
– 均衡分布が目的分布となるようにマルコフ連鎖を設
計

© RecycleBin

マルコフ連鎖モンテカルロ法

• 連鎖の設計
– ギブスサンプラー
– メトロポリス・ヘイスティング法

1. 初期値および連鎖を定める
2. 連鎖からサンプリング
• 初期値に依存する最初の何ステップかは棄てる

© RecycleBin

例題
• 2 変量正規分布
– 平均: (0, 0)，分散: (12, 12)，共分散: 0.7

© RecycleBin

例題
• 2 変量正規分布
– 平均: (0, 0)，分散: (12, 12)，共分散: 0.7

• ギブスサンプラー
– 初期値: (x1, y1) = (–10, –10)
– xt ~ N(0.7 yt–1, 12 – 0.72/12)
– yt ~ N(0.7 xt, 12 – 0.72/12)
– 最初の 500 ステップを棄てて 500 ステップ

© RecycleBin

R
x <- vector("numeric", 1000)
y <- vector("numeric", 1000)
x[1] <- -10; y[1] <- -10

dev <- sqrt(1^2 - 0.7^2/1^2)
for (index in 2:1000) {
x[index] <- rnorm(1, 0.7*y[index-1], dev)
y[index] <- rnorm(1, 0.7*x[index], dev)
}
x <- x[-(1:500)]; y <- y[-(1:500)]

© RecycleBin

利点・欠点
利点欠点
• 高次元に対応可能 • 収束判定が必要

• 並列化が困難

© RecycleBin

その他の方法

• 重点サンプリング法

• 逐次モンテカルロ法

© RecycleBin

間接的方法

© RecycleBin

戦略

• 真の分布からサンプリングを行いたいが，分布に
関する知見が不足している

• 真の分布を近似するような分布を見つけ，その分
布からサンプリングを行う

© RecycleBin

シミュレーション

• 目的分布にしたがうサンプルが得られるようなシ
ミュレーションを行う

1. シミュレーションを行い，結果をサンプリング

© RecycleBin

例題

• 正規分布 N(0, 12)

© RecycleBin

例題

• 正規分布 N(0, 12)

• 中心極限定理の利用
1. 12 個の一様乱数 u1,..., u12 ~ i.i.d. U(0, 1)
• 平均 1/2，分散 1/12
• ū は近似的に N(6, 1/122) にしたがう
2. 合計から 6 を引いた値をサンプリング
• 12ū – 6 は近似的に N(0, 12) にしたがう

© RecycleBin

R

simulation <- function(...)
sum(runif(12)) - 6

x <- sapply(vector(length=1000), simulation)

© RecycleBin

利点・欠点
利点欠点
• 目的分布についての知見が • 計算が重い
ほとんどいらない

© RecycleBin

近似ベイズ計算

• 事後分布 f(θ|D) ∝ P(D|θ)π(θ) において
尤度 P(D|θ) を求めることが困難
– 解析的に求められない
– 計算コストが大きすぎる

• θ を与えればシミュレーションデータ D’ が容易
に生成できる

© RecycleBin


• 尤度をシミュレーションで求める
– #(D = D’) / #(試行)
– 現実的でない試行回数が必要

• データ間距離 ρ(D, D’) が小さければ良い
– f(θ|D = D’) を f(θ|ρ(D, D’) ≦ ε) で近似
– 普通は ρ(D, D’) が定義しづらいので D の代わり
に適当な統計量 S(D) を用いる

© RecycleBin


• サンプリング法
– 棄却サンプリング法
– マルコフ連鎖モンテカルロ法
• サンプリング手順 (棄却サンプリング)
1. 事前分布からサンプリング
2. データをシミュレーション (統計値を計算)
3. ρ≦ε なら受容，そうでなければ棄却して 1 に戻る

© RecycleBin

例題
• 混合正規分布
– 密度関数: 0.5 * φ(–2, 12) + 0.5 * φ(2, 12)

© RecycleBin

例題
• 混合正規分布
– 密度関数: 0.5 * φ(–2, 12) + 0.5 * φ(2, 12)

• 事前分布: N(0, 52)
• 距離: |x – μ|
– x ~ N(θ, 12) | θ ~ 事前分布
– μ: –2 または 2 を等確率で採択
• 許容誤差: 0.01

© RecycleBin

R
x <- vector("numeric")
while(length(x) < 1000) {
n <- 1000 - length(x)
prior <- rnorm(n, 0, 5)
distance <- abs(
rnorm(n, prior)
- ifelse(runif(n) <= 0.5, -2, 2)
)
x <- c(x, prior[distance <= 0.01])
}

© RecycleBin

R (高速版)
x <- vector("numeric")
while(length(x) < 1000) {
n <- 1000 - length(x)
prior <- rnorm(n, 0, 5)
distance <- abs(
rnorm(n, prior)
+ 2 + (-2 - 2) * (runif(n) <= 0.5)
)
x <- c(x, prior[distance <= 0.01])
}

© RecycleBin

デモグラフィーの推定

• 近似ベイズ計算による推定
– シミュレーションして生成した遺伝データの統計量を
計算して観察データと比較
– パラメーター
• 集団内の個体数 (集団サイズ)
• 分化時間
• 分集団間の遺伝的交流の程度 (移住)
• その他

© RecycleBin

観察データ

• 自然選択に対して中立な 30 遺伝子座の塩基
配列
– 遺伝子座あたりの突然変異率: 10-5
– 各集団 20 配列ずつ

• 集団ごとに多型サイト数 (S) および平均塩基
相違数 (Π) を計算

© RecycleBin

観察データ

• 本スライドではコアレセントシミュレーションにより
架空のデータを生成・利用
– (N, r, a, T) = (80000, 0.1, 3.0, 1.0)
– (S1, Π1, S2, Π2) = (15.4, 2.9, 8.9, 0.3)

© RecycleBin

サンプリングの手順

1. パラメーター (N, r, a, T) を生成
– N ~ U(0, 400000)
– r ~ U(0, 2)
– a ~ U(0, 5)
– T ~ U(0, 2)
2. コアレセントシミュレーションを行い，集団 1, 2
の遺伝データを生成
3. 統計量 (S1’, Π1’, S2’, Π2’) を計算

© RecycleBin

サンプリングの手順

4. それぞれの統計量の誤差が 10% 以内ならパ
ラメーターを受容
– S1: |15.4 – S1’| ≦ 1.54
– Π1: |2.9 – Π1’| ≦ 0.29
– S2: |8.9 – S2’| ≦ 0.89
– Π2: |0.3 – Π2’| ≦ 0.03
5. パラメーターが 1,001 組に達するまで繰り返
す

© RecycleBin

モンテカルロサンプリング

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to モンテカルロサンプリング

Similar to モンテカルロサンプリング (20)

モンテカルロサンプリング