8. Ising モデル
H =
i,j
Jij
z
i
z
j
z
i = ±1
強磁性相互作⽤用
基底状態が簡単に分かる
強磁性 反強磁性
基底状態が簡単に分からない
ランダムスピン系
反強磁性相互作⽤用
並進対称性
フーリエ変換:基底状態の解析
最適化問題の汎⽤用的解法
シミュレーテッドアニーリング
交換法
相互作⽤用による協調または競合を
最も端的に表現する理理論論模型
9. シミュレーテッドアニーリング
シミュレーテッドアニーリング
温度度を徐々に下げる
z
i = ±1
つながっている
スピン(ビット)間の
相互作⽤用
スピン(ビット)に
働く強制⼒力力
(磁場)
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
✔ モンテカルロ法
✔ 変分ベイズ法
絶対ゼロ度度
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi, Science, Vol. 220, 671 (1983)
温度度
(熱ゆらぎ効果)
10. 量量⼦子アニーリング
温度度
(熱ゆらぎ効果)
シミュレーテッドアニーリング
温度度を徐々に下げる
量量⼦子ゆらぎ効果
z
i = ±1
つながっている
スピン(ビット)間の
相互作⽤用
Hopt. =
i,j
Jij
z
i
z
j
i
hi
z
i
量量⼦子アニーリング
量量⼦子効果を徐々に弱める
✔ モンテカルロ法
✔ 変分ベイズ法
✔ シュレディンガー⽅方程式
✔ 実験
スピン(ビット)に
働く強制⼒力力
(磁場)
絶対ゼロ度度
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi, Science, Vol. 220, 671 (1983)
T. Kadowaki and H. Nishimori,
Phys. Rev. E Vol. 58, 5355 (1998).
17. クラスタ分析
与えられたデータ全集合を、部分集合に分割する問題
・新聞記事のカテゴリー分類
・グループの検出
・スペクトルの分離離
given: N個の⽂文書・K個のトピック
・⽂文書 i において、vi 個の単語
・⽂文書 i 中の単語 j (wij) はトピック k に属する
・各⽂文書は K 個のトピックの混合分布 θi
・トピック k は対応する単語分布 φk (wij を⽣生成)
ure 2: Illustrative explanation of QA. The left figure
ws m independent SAs, and the right one is QA algo-
hm derived with the Suzuki-Trotter (ST) expansion. σ
notes a clustering assignment.
he
me
nt
ta
ts.
o-
ed
er
cluster 1; cluster 2; cluster 3; cluster 4;
σ1 (local optimum) σ2 (local optimum)
ure 2: Illustrative explanation of QA. The left figure
ws m independent SAs, and the right one is QA algo-
m derived with the Suzuki-Trotter (ST) expansion. σ
otes a clustering assignment.
e
e
t
a
s.
-
d
r
cluster 1; cluster 2; cluster 3; cluster 4;
σ1 (local optimum) σ2 (local optimum)
adds another dimension to simulated
annealing (SA) to control a model.
QA iteratively decreases T and Γ
whereas SA decreases just T.
Figure 2: Illustrative explanation of QA.
shows m independent SAs, and the right o
rithm derived with the Suzuki-Trotter (ST
denotes a clustering assignment.
globally optimal solutions like σ1 and σ2, where the
majority of data points are well-clustered, but some
of them are not. Thus, a better clustering assignment
can be constructed by picking up well-clustered data
points from many sub-optimal clustering assignments.
Note an assignment constructed in such a way is lo-
cated between the sub-optimal ones by the proposed
quantum effect Hq so that QA-ST can find a better
assignment between sub-optimal ones.
2 Preliminaries
First of all, we introduce the notation used in this
paper. We assume we have n data points, and they
are assigned to k clusters. The assignment of the i-
th data point is denoted by binary indicator vector
˜σi. For example, when k is equal to two, we denote
the i-th data point assigned to the first and the sec-
ond cluster by ˜σi = (1, 0)T
and ˜σi = (0, 1)T
, re-
cluster 1; cluster 2; clu
σ1 (local optimum) σ2
σ∗
(global optimum)
19. モンテカルロ法
古典ハミルトニアン(KN x KN ⾏行行列列)
Hc = diag E( (1)
), · · · , E( (KN
)
)
状態更更新確率率率
pSA(˜i| ˜i) =
e E( )
˜i
e E( )
˜i = {˜j|j = i}
確率率率分布関数
pSA( ; ) =
|e Hc
|
|e Hc |
|e Hc
| = e E( )
Hc が対⾓角⾏行行列列だから
シミュレーテッドアニーリング+モンテカルロ
逆温度度 β を増加させる
20. 量量⼦子アニーリング+モンテカルロ法
H = Hc + Hq
量量⼦子ハミルトニアン(KN x KN ⾏行行列列)
Hq =
N
i=1
x
i
x
= (EK 1K) EK
1K
:KxK の単位⾏行行列列
:全要素が1の
KxK ⾏行行列列
x
=
0
0 x
=
0
0
0
x
=
0
0
0
0
K=2 K=3 K=4
Ising模型における
横磁場と等価 ⾮非対⾓角項導⼊入=量量⼦子効果の導⼊入
Hc = diag E( (1)
), · · · , E( (KN
)
)
21. 量量⼦子アニーリング+モンテカルロ法
H = Hc + Hq
量量⼦子ハミルトニアン(KN x KN ⾏行行列列)
Hq =
N
i=1
x
i
x
= (EK 1K) EK
1K
:KxK の単位⾏行行列列
:全要素が1の
KxK ⾏行行列列
Hc = diag E( (1)
), · · · , E( (KN
)
)
確率率率分布関数
pQA( ; , ) =
|e H
|
|e H|
H が⾮非対⾓角⾏行行列列であるため
計算が困難
Suzuki-‐‑‒Trotter 分解
22. 量量⼦子アニーリング+モンテカルロ法
Suzuki-‐‑‒Trotter分解: d 次元量量⼦子系を d+1 次元古典系に
m:Trotter数
pQA( 1; , ) =
2
· · ·
m
pQA ST( 1, 2, · · · , m; , ) + O
1
m
pQA ST( 1, 2, · · · , m; , ) =
1
Z
m
j=1
pSA( j; /m)es( j , j+1)f( , )
s( j, j+1) =
1
N
N
i=1
(˜j,i, ˜j+1,i) f( , ) = log
a + b
b
a = e m
b =
1
K
a(a K
1)
˜j,i:j 番⽬目のレイヤーの i 番⽬目の
要素のクラス状態
23. 量量⼦子アニーリング+モンテカルロ法
ter
(6)
(8)
(9)
σ1 = σ′
2 σ2
Figure 4: σ1 and σ2 give the same clustering but have
different cluster labels. Thus, s(σ1, σ2) = 0. After
cluster label permutation from σ2 to σ′
2, s(σ1, σ′
2) = 1.
The purity, ˜s, gives ˜s(σ1, σ2) = 1 as well.
カテゴリー分割のみを考えている 左右の状態は同じ
状態(⾊色)の置換を⾏行行い、ドメインウォールを防ぐ。
各ステップでこの操作を⾏行行う。
27. 量量⼦子・熱同時アニーリング
以下のスケジュールを検討
逆温度度:
量量⼦子揺らぎ項:
= 0rt
Trotter数 m は 50 に固定
pQA ST( 1, 2, · · · , m; , ) =
1
Z
m
j=1
pSA( j; /m)es( j , j+1)f( , )
s( j, j+1) =
1
N
N
i=1
(˜j,i, ˜j+1,i) f( , ) = log
a + b
b
a = e m b =
1
K
a(a K
1)
= 0e rt
エネルギーが低い解=良良い解
31. 数値計算結果
40 60 80 100
iteration
40 60 80 100
iteration
40 60 80 100
iteration
SA
40 60 80 100
1.78
1.8
1.82
1.84
1.86
x 10
5
iteration
minjE(σj)
40 60 80 100
1.8
1.82
1.84
1.86
1.88
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
Reuters with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
40 60 80 100
9.4
9.6
x 10
5
iteration
minjE(σj)
40 60 80 100
9.4
9.6
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
90 120 150 180
9.35
9.4
9.45
9.5
x 10
5
iteration
minjE(σj)
90 120 150 180
9.4
9.5
9.6
x 10
5
iteration
Ej[E(σj)]
90 120 150 180
0.2
0.4
0.6
0.8
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.02
QA rΓ =1.02; f2
QA rΓ =1.05; f∗
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
e 6: Comparison between SA and QA varying annealing schedule. rΓ, f2 and f∗
in legends corres
The left-most column shows what SA and QA found. QA with f∗
always found better results th
NIPSの1684記事を20トピックに分割
全レイヤー中
エネルギー最⼩小
全レイヤー
エネルギー平均
レイヤー間
類似度度(相関関数)
スケジュール f* の場合に、
SAよりも良良い解が得られた
CPU time(QA): 62.5hours
CPU time(SA): 62.8hours
良良い解
32. 数値計算結果
40 60 80 100
iteration
40 60 80 100
iteration
40 60 80 100
iteration
SA
40 60 80 100
9.4
9.6
x 10
5
iteration
minjE(σj)
40 60 80 100
9.4
9.6
x 10
5
iteration
Ej[E(σj)]
40 60 80 100
0
0.5
1
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.05
QA rΓ =1.02; f2
QA rΓ =1.05; f2
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
90 120 150 180
9.35
9.4
9.45
9.5
x 10
5
iteration
minjE(σj)
90 120 150 180
9.4
9.5
9.6
x 10
5
iteration
Ej[E(σj)]
90 120 150 180
0.2
0.4
0.6
0.8
iteration
Ej[˜s(σj,σj+1)]
NIPS with LDA
rβ = 1.02
QA rΓ =1.02; f2
QA rΓ =1.05; f∗
QA rΓ =1.10; f∗
QA rΓ =1.20; f∗
SA
e 6: Comparison between SA and QA varying annealing schedule. rΓ, f2 and f∗
in legends corres
The left-most column shows what SA and QA found. QA with f∗
always found better results th
how QA’s performance for each problem like this
. However, it is worth trying to develop QA-
algorithms for different models, e.g. Bayesian
rks, by different quantum effect Hq. The pro-
algorithm looks like genetic algorithms in terms
ning multiple instances. Studying their relation-
s also interesting future work.
Tadashi Kadowaki and Hidetoshi Nishimori. Qua
nealing in the transverse Ising model. Physica
E, 58:5355 – 5363, 1998.
S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi. O
tion by simulated annealing. Science, 220(45
680, 1983.
Percy Liang, Michael I. Jordan, and Ben Tas
permutation-augmented sampler for DP mixtu
NIPSの1684記事を20トピックに分割
全レイヤー中
エネルギー最⼩小
全レイヤー
エネルギー平均
レイヤー間
類似度度(相関関数)
スケジュール f* の場合に、
SAよりも良良い解が得られた
CPU time(QA): 62.5hours
CPU time(SA): 62.8hours
良良い解