テンソルネットワーク形式による計算問題の記述法と、それを効率的に計算機で計算するための技術について紹介する。

1. テンソルネットワークを用いた大規模計算
東京大学理学系研究科 大久保毅
C o m p u t a t i o n a l
S c i e n c e
A l l i a n c e
T h e U n i v e r s i t y o f T o k y o
テ〉
15mm
最小サイズ

2. 講師の背景
大久保 毅（OKUBO Tsuyoshi) 東京大学理学系研究科物理学専攻
特任講師
研究分野：
統計物理、物性物理、磁性、計算物理
• 剛体円盤のランダムパッキング
• 階層社会形成の平均場解析・シミュレーション
• （古典）フラストレート磁性体の新規秩序
• multiple-Q 状態, Z2-vortex,…
• 脱閉じ込め量子臨界現象
• テンソルネットワーク
• （量子）スピン系、テンソル繰り込み
• 量子多体系のための量子アルゴリズム
• ….
Monte Carlo
「京」
「富岳」？

3. 今日の話の流れ
• はじめに
• テンソルとテンソルネットワーク
• テンソルネットワーク計算の基礎
• 基本的な演算
• 近似的なテンソルネットワーク縮約：テンソル繰り込み群
• 変分法による固有値問題への応用
• テンソルネットワーク計算の大規模化
• テンソルネットワーク計算の実装・特徴
• アルゴリズムに特化した並列化：HOTRG
• 汎用的なライブラリを使った並列化：TeNeS
• まとめ

4. はじめに：テンソルとテンソルネットワーク

5. テンソル？
：
• ベクトル
• 行列 ：
1次元的な数字の並び
2次元的な数字の並び
• (n階の）テンソル ： n次元的な数字の並び
一般化
【基本的な演算＝縮約】
行列積：
縮約：
"足"が多くなると
表記が複雑...

6. ダイアグラムを用いたテンソル表記
：
• ベクトル
• 行列 ：
：
• テンソル
＊n階のテンソル＝n本の足
テンソルの積（縮約）の表現
＝ A B
C
A
B
C
D ＝

7. 縮約の計算量
の計算量=
行列積： A, B =
＝ A B
C
A B
＝
テンソル縮約： A =
B =
の計算量=
C
3本
4本
• 縮約の計算量はダイアグラムの足の数で分かる
• （メモリ使用量も分かる）
ダイアグラムとの対応
4本

8. 縮約の計算量と計算順
A
B
C
D ＝
テンソル縮約：
A =
B =
C =
の計算量=
Case 1:
A
B
C
AB
Case 2:
A
C
AC
B
の計算量=
縮約の評価順で計算量が変わる！
＊最適順序の決定はNP困難。実用的なアルゴリズム例
R.N.C. Pfeifer, et al., Phys. Rev. E 90, 033315 (2014).

9. テンソルネットワーク
テンソルネットワーク（TN）
：テンソルの縮約で構成されたネットワーク
• Openな足：あり or なし
• Openな足があり：TN自身が大きなテンソル
• Openな足がなし：TNは数字
• ネットワーク構造：規則的 or 不規則
• ネットワーク構造は問題に応じて変わる
• 例：スピン模型の分配関数は規則的
• 例：分子の多体電子状態は不規則
• ネットワークサイズ：有限 or 無限
• 基本的に有限だが、場合によっては無限系も
取り扱える
【（ざっくりした）分類】

10. テンソルネットワークの例1：統計物理学
古典イジング模型（磁性体のモデル）
温度T での確率分布：ボルツマン分布
熱力学自由エネルギー
状態：
(2Nの和)
逆温度：
分配関数：
A
【分配関数のテンソルネットワーク表示】
A
A
A
A
A
A
A
A
A
• Openな足は"なし"
• 規則的
• 有限∼無限

11. テンソルネットワークの例2：量子回路
量子回路：
Article
developedfast,high-fidelitygatesthatcanbeexecutedsimultaneously
acrossatwo-dimensionalqubitarray.Wecalibratedandbenchmarked
theprocessoratboththecomponentandsystemlevelusingapowerful
new tool: cross-entropy benchmarking11
. Finally, we used component-
level fidelities to accurately predict the performance of the whole sys-
tem, further showing that quantum information behaves as expected
when scaling to large systems.
Asuitablecomputationaltask
Todemonstratequantumsupremacy,wecompareourquantumproces-
soragainststate-of-the-artclassicalcomputersinthetaskofsampling
theoutputofapseudo-randomquantumcircuit11,13,14
.Randomcircuits
are a suitable choice for benchmarking because they do not possess
structureandthereforeallowforlimitedguaranteesofcomputational
hardness10–12
. We design the circuits to entangle a set of quantum bits
(qubits) by repeated application of single-qubit and two-qubit logi-
cal operations. Sampling the quantum circuit’s output produces a set
of bitstrings, for example {0000101, 1011100, …}. Owing to quantum
interference, the probability distribution of the bitstrings resembles
a speckled intensity pattern produced by light interference in laser
scatter, such that some bitstrings are much more likely to occur than
others. Classically computing this probability distribution becomes
exponentiallymoredifficultasthenumberofqubits(width)andnumber
of gate cycles (depth) grow.
We verify that the quantum processor is working properly using a
methodcalledcross-entropybenchmarking11,12,14
,whichcompareshow
ofteneachbitstringisobservedexperimentallywithitscorresponding
idealprobabilitycomputedviasimulationonaclassicalcomputer.For
agivencircuit,wecollectthemeasuredbitstrings{xi}andcomputethe
linearcross-entropybenchmarkingfidelity11,13,14
(seealso Supplementary
Information), which is the mean of the simulated probabilities of the
bitstrings we measured:
F P x
= 2 " ( )# − 1 (1)
n
i i
XEB
where n is the number of qubits, P(xi) is the probability of bitstring xi
computed for the ideal quantum circuit, and the average is over the
observed bitstrings. Intuitively, FXEB is correlated with how often we
sample high-probability bitstrings. When there are no errors in the
Qubit Adjustable coupler
a
b
10 mm
Fig.1|TheSycamoreprocessor.a,Layoutof processor,showingarectangular
arrayof54 qubits (grey),eachconnected toits fournearestneighbourswith
couplers (blue).Theinoperable qubitis outlined. b, Photograph ofthe
Sycamore chip.
Article
single-qubit gates chosen randomly from X Y W
{ , , } on all qubits,
followedbytwo-qubitgatesonpairsofqubits.Thesequencesofgates
whichformthe‘supremacycircuits’aredesignedtominimizethecircuit
depth required to create a highly entangled state, which is needed for
of running these circuits on the quantum processor is greater than at
least 0.1%. We expect that the full data for Fig. 4b should have similar
fidelities,butsincethesimulationtimes(rednumbers)taketoolong to
check, we have archived the data (see ‘Data availability’ section). The
Single-qubit gate:
25 ns
Qubit
XY control
Two-qubit gate:
12 ns
Qubit 1
Z control
Qubit 2
Z control
Coupler
Cycle 1 2 3 4 5 6 m
Time
Column
Row
7 8
A B C D C D B
A
A
B
D
C
b
a
W
W
X
X
Y
0
0
0
0
0
Fig.3|Controloperationsforthequantumsupremacycircuits.a,Example
quantumcircuitinstanceusedinourexperiment.Everycycle includesa layer
eachofsingle-andtwo-qubit gates.The single-qubitgates arechosen randomly
from X Y W
{ , , },where W X Y
= ( + )/ 2 andgates do notrepeat sequentially.
Thesequenceoftwo-qubitgates is chosenaccordingtoa tiling pattern,
couplingeachqubitsequentially toits fournearest-neighbour qubits.The
couplers are divided intofour subsets(ABCD), eachofwhich is executed
simultaneouslyacrossthe entirearraycorrespondingto shaded colours.Here
weshow an intractable sequence(repeatABCDCDAB);wealso usedifferent
coupler subsetsalong with asimplifiablesequence(repeatEFGHEFGH,not
shown)that can besimulated on a classicalcomputer.b,Waveform ofcontrol
signalsfor single- and two-qubit gates.
F. Arute, et al., Nature 574, 505 (2019)
量子ビットに演算するゲート操作の回路図
googleの"量子超越" 回路
2次元のベクトル。
適当な基底、（ ）で
表現すると2次元の複素ベクトル
|0⟩, |1⟩
適当な基底の元では、ユニタリ
行列（or "テンソル"）
量子回路=テンソルネットワーク
• Openな足は"あり"
• "なし"もある
• 不規則
• 有限
量子コンピュータの古典シミュレーション
＝テンソルネットワークの縮約
googleの"量子超越" 回路 F. Arute, et al., Nature 574, 505 (2019)

12. テンソルネットワークの例3：量子多体状態
量子多体状態：
<latexit sha1_base64="XkC8uXv0uT1Qilx+79HHlBouX2k=">AAACZ3icjVG7SgNBFD1ZXzE+EhVEsFFDxCrMiqBYBW0s4yMPSELYXSfJkH2xuwnE4A9Y2EawUhARP8PGH7DwE8RSwcbCu5sFsYh6h5l758w9956ZUW1duB5jzxFpaHhkdCw6HpuYnJqOJ2Zm867VcjSe0yzdcoqq4nJdmDznCU/nRdvhiqHqvKA2d/3zQps7rrDMI69j84qh1E1RE5ri+VA564pqIimnWWBLg4MkQstaiVuUcQwLGlowwGHCo1iHApdGCTIYbMIq6BLmUCSCc45TxIjboixOGQqhTVrrtCuFqEl7v6YbsDXqotN0iLmEFHtid+yNPbJ79sI+B9bqBjV8LR3yap/L7Wr8bOHw40+WQd5D45v1q2YPNWwFWgVptwPEv4XW57dPem+H2wep7iq7Zq+k/4o9swe6gdl+1272+cElYv/7gPx6WmZpeX8jmdkJvyKKRaxgjd57ExnsIYsc9W3gHD1cRF6kuDQvLfRTpUjImcMPk5a/AI6fiyk=</latexit>
テンソルネットワーク分解
量子相関の
特徴を利用した近似
量子多体状態
• 一般の状態（ランダムベクトル）に比べて、少ない量子相関
• c.f. エンタングルメントエントロピーの面積則
量子多体系の低エネルギー状態：
(a)
小さいテンソルに分解
(b) (c)
PEPS (for 2d system)
基底
量子スピン・bit：
量子化学：
i = 原子軌道・分子軌道の占有数
係数はテンソル
テンソルネットワークによる高精度の近似
• Openな足は"あり"
• 規則・不規則
• 有限・無限
~eNの独立要素 ~O(N)の独立要素

13. テンソルネットワークの例4：テンソル型データ
任意のテンソル型データ
テンソルネットワーク分解
情報の相関構造の
特徴を利用した近似
テンソル型データ
T
：量子多体状態と同様にして分解可能
• Openな足は"あり"
• 規則・不規則
• 有限
ZE-FENG GAO et al.
since t
grows
out th
of the
ment e
the sys
The ap
quantu
[40,41
In t
neural
xi: input neuron (pixel)
yi: output neuron
: weight matrix connecting x and y
Wij
例２：ニューラルネットワークの重み行列
(Z.-F. Gao et al, Phys. Rev. Research 2, 023300 (2020).)
例1：画像データセット
10
TABLE 2
a f2(x) with error bound setting to 10 3 . For the 10th-order tensor, all 9
k r̄ as well as the number of total parameters Np are compared.
Np
9 1 2 3 4 5 6 7 8 9
4 1512 1944 2084 2144 2732 2328 3088 10376 3312
5 1512 1944 2064 2144 4804 4224 9424 7728 2080
5 1360 1360 1360 1360 1360 1360 1360 1360 1360
7 1828 2064 1788 1544 1556 1864 2832 1600 1324
9 1384 1324 1384 1348 1348 1384 1384 1272 1324
ce,
pt
As
m-
In
ral
are
be
TR
ral
ata
s a
her
ors
We
are
10.
mal
der
ng
ks.
ed
go-
3,
en
sive results that are similar to that in noise free cases. TR-
ALSAR slightly overestimates the TR-ranks. It should be
noted that TR-BALS can estimate the true rank correctly
and obtain the best compression ratio as TR-ALS given
true rank. In addition, TR-BALS is more computationally
efficient than TR-ALSAR. In summary, TT-SVD and TR-
SVD have limitations for representing the tensor data with
symmetric ranks, and this problem becomes more severe
when noise is considered. The ALS algorithm can avoid this
problem due to the flexibility on distribution of ranks. More
detailed results can be found in Table 3.
6.2 COIL-100 dataset
COIL-100 dataset = 32 x 32 x 3 x 7200 テンソル
ピクセル 色 画像数
(Q. Zhao, et al arXiv:1606.05535)
M1 M2
M3
M4
r
テンソルリング分解

14. テンソルネットワーク計算の基礎

15. テンソルネットワークの数値計算
テンソルネットワークを用いた応用の基本計算要素
• テンソルの縮約
• 基本的に、2つずつ縮約計算をする
• テンソルを行列に変形し、BLASなどを用いる
• テンソルの低ランク近似
• 特異値分解による低ランク近似の拡張
• 近似的な縮約を行う目的などに用いられる
• 多くの場合、テンソルを行列に変形し、行列の特異値分解を用いる
• テンソルの線形問題
• テンソルから構成される行列の（一般化）固有値問題
• 量子多体問題、テンソル分解などの"最適化"で使用
テンソルの基本演算は、（現状は）行列に変形して行われる
cf. TBLIS テンソル向けのBLAS（BLIS= BLAS-like Library Instantiation Software)

16. テンソルの行列への変形
i
j
k
l
テンソルの足をまとめて行列とみなす
i
j
k
l
i
j
k
l
(0,0) → 0
(0,1) → 1
(1,0) → 2
(1,1) → 3
i, l = 0, 1のとき
テンソル
形状
• テンソル用のライブラリで簡単に行える。（例：numpy.reshape)
• 行列への変形は一般に、一意ではない
• どの様に行列化するかは、目的に合わせる
ダイアグラム

17. テンソルネットワークの縮約
テンソルネットワーク縮約の計算量
ループのないツリー型の構造以外では、
計算量はテンソル数に関して、指数関数的に増大する
端から順に縮約：
長さNのchain L×Lのsquare lattice
端から順に縮約：
局所テンソル：
局所テンソル：
大規模なテンソルネットワーク縮約は近似的に評価
規則TNに対する汎用的アプローチ： • テンソル繰り込み
• 角転送繰り込み群
＊不規則でも同種の近似は可能

18. テンソルネットワーク計算の基礎：近似縮約

19. テンソルネットワーク繰り込み群
• M. Levin and C. P. Nave, PRL (2007)によるTensor network
Renormalization Group (TRG)から始まった比較的新しい流れ
• テンソルネットワークを粗視化していくことで、近似的に縮
約を計算する
• 粗視化⟷実空間繰り込み群
• 種々の（規則格子）TNに適用可能
• 分配関数の計算に適用することで、物性、素粒子、原子
核分野の物理研究に応用されている

20. TRGでやりたいこと
繰り込み
（長さスケールが√２倍）
L×L の正方格子 (L×L)/2 の正方格子
テンソルの大きさを変えずに
テンソルの数を減らす
（近似）
: :

21. TRGの準備：特異値分解
任意の行列N×M行列Aは以下の形に一意に分解できる
特異値分解
は非負の実数。
対角成分がλの
対角行列
一般化ユニタリ行列
と並べると便利
rank(A) = 非ゼロの特異値の数
Aの最適なRランク近似： 特異値を大きい方からR個だけ残し、
残りをゼロで置き換える
A
=

22. TRGの準備：特異値分解による近似
A =
Aの最適なRランク近似： 特異値を大きい方からR個だけ残し、
残りをゼロで置き換える
:M×N
(M ≦ N)
:M×M :R×R
≃
近似
:(M,N)×R
:(M,N)×M
さらに
= X Y
=
：対角成分が
の対角行列
:M×R
:R×M
SVDを使うと
Aを小さい行列の積
に分解できる

23. テンソルネットワーク繰り込みのレシピ
i
j
k
l
１．分解
行列とみなす
i
j
k
l
i
j
k
l
SVD
による近似
rank(A)=χ に近似
（近似）
: :

24. テンソルネットワーク繰り込みのレシピ
２．粗視化
内側の足を縮約
元のテンソル２つが
新しいテンソル１つに
粗視化された
:

25. テンソルネットワーク繰り込みの計算量
M. Levin and C. P. Nave, Phys. Rev. Lett. 99, 120601 (2007)
Z.-C. Gu, M. Levin and X.-G. Wen, Phys. Rev. B 78, 205116 (2008)
計算量： SVD= O(χ6)
縮約= O(χ6)
（＊テンソルあたり）
＊1 TRG ステップで テンソル数は1/2になる
テンソルネットワーク縮約がテンソル数に対して多項式で計算可能
実はO(χ5)まで減らせる
（後で議論します）

26. テンソルネットワーク計算の基礎：固有値問題

27. 固有値問題の変分法
例：最低エネルギー状態
コスト関数：
Fの最小値
その時の
変分法
• 固有値問題の近似解を得る方法の一つ
• Fの最小値を制限された空間の範囲で探す
の形を仮定する＝試行関数、変分波動関数
• 良い試行関数→高精度の最低エネルギー
例：平均場近似、テンソルネットワーク状態、ニューラルネットワーク, ...
• 複雑な試行関数→コスト関数の計算量が増大

28. テンソルネットワークによる変分法
変分法の試行関数としてテンソルネットワークを用いる
例： 行列積状態（MPS）
小さいテンソルに分解
(b) (c)
テンソル積状態（TPS, PEPS）
コスト関数： Fを最小にする を探す！
メリット：元のベクトル空間の次元がaNの時に、O(N)のコストで計算可能
＊ただし、行列は（TN表現可能な）疎行列

29. Iterative optimization
i 番目のテンソルに着目した局所最適化
Minimize 小さいサイズの一般化固有値問題
(最小固有値の固有状態を探す）
注: 行列サイズ=
(F. Verstraete, D. Porras, and J. I. Cirac, Phys. Rev. Lett. 93, 227205 (2004))
i
Aiを取り除く

30. Iterative optimization
Aiをi =1 から Nまでsweepしてupdate
…
i =N から 1まで逆方向にsweep
…
収束するまで繰り返す
(F. Verstraete, D. Porras, and J. I. Cirac, Phys. Rev. Lett. 93, 227205 (2004))

31. 行列のコンパクトな表現
注！
このアルゴリズムは、行列自体がテンソルネットワークで
効率的に表現できる場合にのみ有効に使える
この行列は例えば Matrix Product Operator (MPO) と呼ばれる形式で
表すことができる（場合がある）。
=
1次元量子S=1/2ハイゼンベルグ模型のハミルトニアン
例：
のMPOで表現できる（χはNに依存しない）

32. テンソルネットワーク計算の大規模化

33. テンソルネットワーク計算の実装
テンソル繰り込み、変分法などのテンソルネットワーク計算の実装
中・小規模の計算は、既存のライブラリなどで簡単に実装できる
例： • python + numpy, scipy
• Julia
• MATLAB
• 機械学習フレームワーク
• Fortranでも（大変だけど）できる
大規模計算では、分散メモリによる並列化が不可避
2つのアプローチ
• アルゴリズムに特化した並列実装を行う
• 汎用的な並列ライブラリを用いる
＊前者の方が性能が高くなりやすいが、多くのTN計算は（とても）複雑であり、
汎用的なライブラリの方が実装コストが大幅に低い
cf. TRGの計算コスト~O(χ6),
PEPSだとO(χ9)~O(χ12)
例：mptensor (https://github.com/smorita/mptensor)
物性研の森田さんが開発

34. テンソルネットワーク計算の特徴
• テンソルネットワークの基本的な計算は行列の線形代数になる
• 行列に変形した後は、既存の行列用ライブラリが使える
• BLAS, LAPACK, ScaLAPACK, ....
• テンソルと行列の相互変換、"transpose"が何度も現れる
• 分散メモリ並列化では、通信が多数発生する可能性
• 共有メモリでも、メモリ書き換えコストがある
• （変換のためのindex計算も場合によっては重い）
• 行列のサイズは、正方行列より"長方形の行列"が多数でてくる
• メモリと計算量のバランスが悪くなりやすい
• 計算効率が出にくい場合も多い

35. 効率的なTN計算のための注意点
テンソル縮約の順序
縮約の評価順序で計算コストが変わるため、計算順序の最適化が重要
• 簡単なネットワークであれば（慣れた）人間が最適化する
• NCONなどのアルゴリズム、ライブラリを使って最適化する
• 最近のライブラリだと、最適化した順序でTN縮約をやってくれるものもある
• Numpy のeinsum は最適化がdefaultでFalseだと思うので注意
• 最適化のアルゴリズムにも注意が必要（真面目にやると遅い）
Transposeの遅延
プログラムのある行でテンソルのindexを並び替えても、
実際の計算で必要になるまでは、メモリ上の並び替えはしない
＊numpyなどの多くのライブラリで基本的に実装されている
numpyのtranspose（reshape）はスレッド並列に対応していないため、
大規模計算でここがボトルネックになることがある
（注）
→自分でスレッド並列版の実装を書くなどして対応する

36. 効率的なTN計算のための工夫
疎行列の特異値分解
TN計算では、特異値分解を（大幅な）低ランク近似に用いるため、
全特異値を求める必要がないことが多い
Full SVD ではなく、partial SVD （truncated SVD) を用いる
例：TRGでの特異値分解
(疎行列ソルバー)
(密行列ソルバー)
i
j
k
l
SVDによる近似
rank(A)=χ に近似
密行列ソルバー：
疎行列ソルバー：
(全特異値を求める）
(上位χ個の特異値を求める）

37. 効率的なTN計算のための工夫
疎行列の特異値分解（つづき）
疎行列ソルバーでは、行列ベクトル積が計算できれば良いため、
行列を陽に作る必要もなくなる
例：TRGでの特異値分解
i
j
k
l
SVDによる近似
rank(A)=χ に近似
テンソルの
内部構造：
この縮約は この縮約は
χ個の特異値

38. テンソルネットワーク計算の大規模化：HOTRG
（アルゴリズムに特化した並列化の例）

39. 分散メモリ並列化の例：3D-HOTRG法に特化
HOTRG: SVDをテンソルに拡張したHOSVDによるTRG
Z. Y. Xie et al, Phys. Rev. B 86, 045139 (2012)
⌘
<latexit sha1_base64="6fFfiOA5K65pfNgux7h1VXJdczM=">AAACaXichVFNLwNBGH66vqq+Wi4NF7GpODWzJSEO0sTFkVZLQtPsrsGwX/ajSTX+gJOb4EQiIn6Giz/g4CeII4mLg7fbTYQG72Rmnnnmfd55ZkZzDOH5jD3FpI7Oru6eeG+ir39gcCiZGi57duDqvKTbhu2ua6rHDWHxki98g687LldNzeBr2v5ic3+txl1P2NaqX3d4xVR3LLEtdNUnqrzJDwJRqyZllmVhjLcDJQIyoli2kzfYxBZs6AhggsOCT9iACo/aBhQwOMRV0CDOJSTCfY4jJEgbUBanDJXYfRp3aLURsRatmzW9UK3TKQZ1l5TjyLBHdste2QO7Y8/s49dajbBG00udZq2l5U516DhdfP9XZdLsY/dL9adnH9uYC70K8u6ETPMWektfOzx9Lc4XMo1JdsVeyP8le2L3dAOr9qZfr/DCBRL0AcrP524H5VxWmc7mVmbk/EL0FXGMYQJT9N6zyGMJyyjRuXs4wRnOYy9SSkpLo61UKRZpRvAtJPkT06uMOA==</latexit>
任意次元の超立方格子に適用可能
3次元の場合
⌘
<latexit sha1_base64="6fFfiOA5K65pfNgux7h1VXJdczM=">AAACaXichVFNLwNBGH66vqq+Wi4NF7GpODWzJSEO0sTFkVZLQtPsrsGwX/ajSTX+gJOb4EQiIn6Giz/g4CeII4mLg7fbTYQG72Rmnnnmfd55ZkZzDOH5jD3FpI7Oru6eeG+ir39gcCiZGi57duDqvKTbhu2ua6rHDWHxki98g687LldNzeBr2v5ic3+txl1P2NaqX3d4xVR3LLEtdNUnqrzJDwJRqyZllmVhjLcDJQIyoli2kzfYxBZs6AhggsOCT9iACo/aBhQwOMRV0CDOJSTCfY4jJEgbUBanDJXYfRp3aLURsRatmzW9UK3TKQZ1l5TjyLBHdste2QO7Y8/s49dajbBG00udZq2l5U516DhdfP9XZdLsY/dL9adnH9uYC70K8u6ETPMWektfOzx9Lc4XMo1JdsVeyP8le2L3dAOr9qZfr/DCBRL0AcrP524H5VxWmc7mVmbk/EL0FXGMYQJT9N6zyGMJyyjRuXs4wRnOYy9SSkpLo61UKRZpRvAtJPkT06uMOA==</latexit>
の計算コスト
のメモリコスト
計算のボトルネック

40. 分散メモリ並列化の例：3D-HOTRG法特化
/プロセスの計算コスト
のメモリコスト
並列化の指針
• 講義中に説明します。
cf. S. Akiyama, Phys. Rev. D 100, 054510 (2019)
/プロセスのメモリコスト
の計算コスト
MPI並列化

41. HOTRG 1stepの並列化性能
ISSP sekirei 京
• 実行時間は予想通りのO(χ9)スケーリング
• スレッド並列の性能も概ね出ている

42. 計算要素の重み
Sekirei K
• make_U （HOSVDによるprojectorの計算）はmake_T（縮約）に比べて無視できる
• Bcast_T（データのbroadcast）は実行時間の 5 ~10 %
0E+00
7.5E+01
1.5E+02
2.25E+02
3E+02
chi=24, omp=1 chi=24, omp=2 chi=24, omp=4 chi=24, omp=6
make_U Bcast_U make_T Bcast_T reshape_T
0.00000E+00
1.50000E+02
3.00000E+02
4.50000E+02
6.00000E+02
chi=24, omp=1 chi=24, omp=2 chi=24, omp=4 chi=24, omp=8
make_U Bcast_U make_T Bcast_T reshape_T
= 24
概ね満足できる性能

43. テンソルネットワーク計算の大規模化：TeNeS
（汎用ライブラリを用いた並列化の例。紹介のみ）

44. 分散メモリ並列化の例：2次元量子多体問題
PEPS (Projected Entangled-Pair State)
(F. Verstraete and J. Cirac, arXiv:cond-mat/0407066)
(AKLT, T. Nishino, K. Okunishi, …)
TPS (Tensor Product State)
例：2次元正方格子のTPS
4+1 階のテンソルが敷き詰められたネットワーク
局所自由度：s
Virtual自由度：i, j, k, l
各インデックスの次元＝ボンド次元（D）
変分波動関数としての精度に関係するパラメタ （D→∞で厳密に）
TPSを変分波動関数とする変分法
• 面積則を満たすため、有限Dでも精度の良い近似
• 無限系も直接、有限のDで計算できる：iTPS
• テンソルネットワークのみを仮定した、バイアスの少ない変分波動関数
• ボンド次元の増大により、系統的に精度を改善できる

45. iTPS法の適用例
0
1/9
3/9
5/9
7/9
1
M
/M
S
3
2
2
1
0
1
0
B/J
Spin
Magnon
g. 1 Calculated magnetization process for the spin-1/2 KAFM with the
earest-neighbor interaction J. The tensor network method with the
rojected entangled pair state (PEPS) is used. The vertical and horizontal
xes represent magnetization M divided by saturated magnetization Ms and
RE COMMUNICATIONS | https://doi.org/10.1038/s41467-019-09063-7
カゴメ格子ハイゼンベルグ模型の磁化曲線
R. Okuma, D. Nakamura, T. Okubo et al,
Nat. Commun. 10, 1229 (2019).
フラストレート正方格子模型
H. Yamaguchi, Y. Sasaki, T. Okubo,
Phys. Rev. B 98, 094402 (2018).
例：（QMCのできない）フラストレート磁性体
H. YAMAGUCHI et al.
site 1
site 2
H=0
H site 1
site 2
(b)
(a)
(c)
J1
J2
J3
J4
J5
J6
site 1
site 2
site 1
site 2
1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
M
/
M
t
a
s
2.0
1.5
1.0
0.5
0
0.5
0.4
0.3
0.2
0.1
0
<S
z
>
1.5
1.0
0.5
0
H/|J1|
1.5
1.0
0.5
0
0.5
0.4
0.3
0.2
0.1
<
(
S
x
>
2
+<S
y
>
2
+<S
z
>
2
)
2
/
1
FIG. 4. The ground states under magnetic fields obtained from
D = 6 iTPS calculation. (a) Normalized magnetization curve, (b)
average local magnetization, (c) average local moment at T = 0
calculated using the tensor network method assuming the ratios of
Intensity
var
P(1
den

46. Tensor Netwok Solver (TeNeS)
無限系のTPS（iTPS）を用いた変分法による基底状態計算
https://github.com/issp-center-dev/TeNeS
虚時間発展法によるテンソルの最適化
MPI/OpenMPによる大規模並列計算に対応
mptensor（森田） によるテンソル演算の並列化
二次元の量子スピン系やボゾン系が簡単に計算可能
mVMCやHPhiと類似のinput file
標準的な二次元格子にデフォルトで対応
原理的には任意の二次元格子に対応可能
開発チーム
• 大久保毅（東大理）：アルゴリズム部分の実装
• 森田悟史（物性研）：関連ライブラリ・ツール作成
• 本山裕一（物性研）：メインプログラム等の設計・実装
• 吉見一慶（物性研）：ユーザーテスト・サンプルの作成、マネージメント
• 加藤岳生（物性研）：ユーザーテスト・サンプルの作成
• 川島直輝（物性研）：プロジェクトリーダー
カゴメ格子模型の磁化曲線
D = 10
@sekirei 72node
~4時間弱

47. まとめ
• テンソルネットワーク（TN）は計算科学のいろいろな場面に現れる
• 問題自体がTN形式で表現される。近似としてTN形式が現れる。
• TNの基本的な計算は、縮約（行列積）、低ランク近似（SVD）、および、固有値
問題で、行列演算ライブラリが活用できる
• 重要な応用例：テンソル繰り込み群、固有値問題の変分法
• 小・中規模の計算は、汎用的なライブラリで簡単に実装できる
• Transpose や縮約順序など、テンソル独自の問題もある
• 大規模計算には、分散メモリでの並列化が必要になる
• アルゴリズムに特化した並列化：HOTRGなど
• 汎用ライブラリを用いた並列化：TeNeSなど

48. 参考文献
• 日本語の文献
• 「テンソルネットワーク形式の進展と応用」西野友年、大久保毅、日本物理学会誌 Vol 72, No.
10, 2017
• 「テンソルネットワークによる情報圧縮とフラストレート磁性体への応用」大久保毅、第63回
物性若手夏の学校テキスト、物性研究 Vol. 7, No.2 (2018)
• 「テンソルネットワークの基礎と応用 統計物理・量子情報・機械学習」西野友年、SGCライ
ブラリ、サイエンス社、2021.6.24発売らしいです。（未読なので内容は把握していません）
• English
• "A practical introduction to tensor networks: Matrix product states and projected entangled pair
states", R. Orús, Annals. of Physics 349, 117 (2014).
• "Tensor networks for complex quantum systems", R. Orús, Nature Review Physics 1, 538 (2019).
• "Tensor Network Contractions", Shi-Ju Ran, Emanuele Tirrito, Cheng Peng, Xi Chen,
Luca Tagliacozzo, Gang Su, Maciej Lewenstein, Lecture Note in Physics, vol. 964, Springer, (2020).
(Open access: https://link.springer.com/book/10.1007%2F978-3-030-34489-4)