またはいかにしてN次元超球内部から一様に点をサンプリングするか

1. 次元の呪い
またはいかにしてN次元超球内部から
一様に点をサンプリングするか
@kosuke_tsujino

2. 誰ですか
• 辻野 孝輔 (@kosuke_tsujino)
• eコマースの会社で検索エンジンのエンジニアをして
います
– 情報検索、自然言語処理、機械学習、分散データ処理
– Python, C++, Pig (Hadoop), Ruby
– Sparkおぼえたい
• 1年前まで通信キャリアで研究職・エンジニア
– 音声・音響符号化 (MPEG標準化)
– 携帯電話むけ音声認識
– 対話アプリむけ言語処理 (言語理解=分類問題、系列ラベ
リング、対話制御、上位概念獲得 etc.)

3. ところで
• 悩み: 勉強しても忘れる
• 鈍器みたいな本を読んでも1年経ったら90%忘れて
る自信がある
• 大事な部分だけでも忘れないための工夫
– 直感的理解に頼る
– 書いて覚える (実装)
…なのでLTしてみます

4. 次元の呪い
• メロンパン?
• N次元超球の内部からのサンプリング?
– 棄却サンプリングでは次元が上がると歩留まりが下がっ
て大変
– どうやってやるのか気になったのでちょっと調べてみた

5. いきなりコード (numpy/scipy)
xn = numpy.random.randn(NUM_SAMPLES,
DIM)
s2 = numpy.sum(xn*xn, axis=1)
r = RADIUS *
scipy.special.gammainc(DIM/2.0,
s2/2)**(1.0/DIM)
x = xn * (r / numpy.sqrt(s2))[:,
numpy.newaxis]
Reference:
http://stackoverflow.com/questions/5408276/sampling-uniformly-distributed-
random-points-inside-a-spherical-volume
https://en.wikipedia.org/wiki/Hypersphere

6. やってること
• N次元標準正規分布に従う乱数を生成
• L2ノルムと不完全ガンマ関数(?)を使って絶
対値を調整
• するとなんかN次元超球内で一様分布する乱
数が得られる
• 根拠がよくわからない、合ってるかどうかもよ
くわからない
– のでとりあえずプロットしてみる

7. 2次元標準正規分布
(変数間は独立)
• PDF: 1/2π・exp(-x0^2/2)・exp(-x1^2/2)
= 1/2π・exp{-(x0^2 + x1^2)/2}
= 1/2π・exp(-r^2/2)
– 確率密度が方向に依存せず原点からの距離rだけに依存する

8. 超球内の一様分布、のつもりのもの
• 角度は変えずに絶対値を調整すると一様分布に、
見た目なってるっぽい
– 合ってるかわからないけど合ってるとして進めます

9. メロンパンの検証
• 5000点サンプルして絶対値(原点からのユー
クリッド距離)のヒストグラムを書いてみる
• 次元を変えたらどうなる?
• ほんとうは解析的にできるようだ
– 半径rのN次元超球の表面積∝r^(N-1)

14. 100binのヒストグラムだが、全部右端(0.495以上)

15. 点間の距離
• 高次元ではクラスタリングが困難らしい
– 点間の距離のばらつきが小さい
• プロットしてみる
– 5000点サンプリングし、1つめの点と残りの4999
点のユークリッド距離を求める
– 4999個の距離の平均・分散・最大・最小をプロット

16. 結果

17. 参考: hypercubeの場合

18. 直感に反する
• これが高次元空間、ということらしい
• とりあえずnumpyのべんきょうになった (小並感)
• サンプリングのコードが間違ってるかも
• 以上