Quantum Computational Materials Science RoundtableとDeep learning and Physicsの共催セミナーでの講演資料です。 - https://shinaoka.github.io/QCMSR/ - https://cometscome.github.io/DLAP2020/ Matlantisの製品でも使用されている、PFPを理解するための研究を紹介していきます。 Neural Network Potential (NNP)は、Neural Network を用いて分子動力学ポテンシャルを表現するものである。本セミナーではNNP研究の流れを振り返り、どのようにNNP開発のためのデータセット収集やNeural Networkの取扱いが発展してきたのかを紹介する。 後半では、多種多様な系に対して適用可能となるように開発した汎用NNPであるPFP [1]についての解説を行う。また、PFPを用いた事例としてどのような材料探索が行えるかをその応用的な使い方とともに紹介する。 [1] PFP: Universal Neural Network Potential for Material Discovery

1. 中郷 孝祐
Preferred Networks, Inc.
PFP：材料探索のための汎用Neural Network Potential

2. 自己紹介
• 名前：中郷孝祐 (@corochann)
• 早稲田大学 応用物理学科 卒業
• 東京大学院 理学系研究科物理学専攻 村尾研究室
– 量子コンピュータの理論研究(断熱量子計算)
• Sony EMCS Malaysia
– テレビのソフトウェア開発
• Preferred Networks, Inc (PFN)
– Deep Learning の様々な応用に関わる
– Chainer Chemistryの開発
• 趣味でKaggle（データサイエンスのコンペ）参加
– Kaggle Competitions Master
– Kaggle Notebooks Grandmaster
2
物理
コンピュータ
ソフトウェア

3. 本セミナーの話題
3
• “PFP: Universal Neural Network Potential for Material Discovery”
• Matlantisとして、SaaSでサービス提供開始
https://arxiv.org/pdf/2106.14583.pdf
https://matlantis.com/ja/

4. 本セミナーの話題
新物質開発や材料探索を加速する “汎用原子レベルシミュレータ”
4
NEB
Co+V触媒上での、C-O解離反応
MD
Cu(111)上でのチオール挙動
Opt
Fentanylの構造緩和

5. 本セミナーの話題
“PFP: Universal Neural Network Potential for Material Discovery”
を理解する
5

6. 本セミナーの話題
“PFP: Universal Neural Network Potential for Material Discovery”
を理解する
6
前半はNNPについて、先行研究・歴史を紹介

7. 本セミナーの話題
“PFP: Universal Neural Network Potential for Material Discovery”
を理解する
7
後半はPFPについて、
どのように “汎用性” のあるNNP開発に取り組んだか紹介

8. 目次
• 前半
– NNPとは
– Behler Parinello type MLP
– Graph Neural Network
– Open Catalyst 2020
• 後半
– PFP
• PFP architecture
• PFPデータ収集
– PFPを用いた計算事例
8

9. 前半パート：NNPとは
9

10. Neural Network Potential (NNP) とは
E
𝐹! = −
𝜕E
𝜕𝒓!
O
H
H
𝒓! = (𝑥", 𝑦!, 𝑧!)
𝒓# = (𝑥#, 𝑦#, 𝑧#)
𝒓$ = (𝑥$, 𝑦$, 𝑧$)
Neural Network
ゴール：原子座標が決まった状態の分子のエネルギーをNNで予測
→ NNは微分可能なので、エネルギーが予測できれば
力など様々な物理量も計算可能
10

11. Neural Network Potential (NNP) とは
A. 通常の教師あり学習は最終物性値をそのまま予測
B. NNPはシミュレーションに必要な内部計算を学習
→ NNPを学習後、他の物性値を計算する用途にも使える！
物性値ごとのデータベースは不要
11
O
H
H
𝒓! = (𝑥", 𝑦!, 𝑧!)
𝒓# = (𝑥#, 𝑦#, 𝑧#)
𝒓$ = (𝑥$, 𝑦$, 𝑧$)
Schrodinger
方程式
・エネルギー
・力
物性値
・弾性率
・粘性 etc
A
B

12. Neural Network Potential (NNP) vs 量子計算 ?
メリット：高速
• 量子計算手法(DFT)と比べ
圧倒的に高速
デメリット：
• 精度面 ー 精度の評価は難しい
• データ取得が必要
– 学習するためのデータ収集として、結局量子計算が必要
– 取得したデータから大きく離れるデータの予測精度は要検証
from https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
12

13. NNPへの入力形式ー記述子について
座標値をそのまま入力？ → NG!
物理的に要請される以下の性質が満たされない。などなど、、、
・並進移動対称性
・回転対称性
・原子の順序入れ替えに対する対称性
E
O
H
H
𝒓! = (𝑥", 𝑦!, 𝑧!)
𝒓# = (𝑥#, 𝑦#, 𝑧#)
𝒓$ = (𝑥$, 𝑦$, 𝑧$)
Neural Network
𝑓(𝑥", 𝑦", … , 𝑧#)
13

14. NNPへの入力形式ー記述子について
座標の生値ではなく、記述子 (Descriptor) という形式に変換して、
Neural Network への入力値とする。
ではどのような記述子を作ればよいか？
例：2原子間の距離 r は、並進移動・回転移動に対して不変
E
O
H
H
𝒓! = (𝑥", 𝑦!, 𝑧!)
𝒓# = (𝑥#, 𝑦#, 𝑧#)
𝒓$ = (𝑥$, 𝑦$, 𝑧$)
Neural Network
𝑓(𝑮", 𝑮$, 𝑮#)
𝑮", 𝑮$, 𝑮#
Descriptor
14

15. NNP研究の流れ (2018年まで)
chem/phys field
NNP Tutorial review
Constructing high-dimensional neural network potentials: A tutorial review
ANI-1
ANI-1: an extensible neural network potential with
DFT accuracy at force field computational cost
ANI-1 Dataset
A data set of 20 million calculated off-equilibrium
conformations for organic molecules
ANI-1x
Less is more: sampling chemical space with active
learning
ANI-1ccx
Outsmarting Quantum Chemistry Through
Transfer Learning
TensorMol 0.1
The TensorMol-0.1 Model Chemistry: a Neural
Network Augmented with Long-Range Physics
MetaDynamics for NNMC
Metadynamics for Training Neural Network
Model Chemistries: a Competitive Assessment
SchNet
SchNet: A continuous-filter
convolutional neural network for
modeling quantum interactions
DTNN
Quantum-Chemical Insights from Deep
Tensor Neural Networks
2017
2015
2018
computer science field
15

16. NNP研究の流れ (2018年まで)
chem/phys field
NNP Tutorial review
Constructing high-dimensional neural network potentials: A tutorial review
ANI-1
ANI-1: an extensible neural network potential with
DFT accuracy at force field computational cost
ANI-1 Dataset
A data set of 20 million calculated off-equilibrium
conformations for organic molecules
ANI-1x
Less is more: sampling chemical space with active
learning
ANI-1ccx
Outsmarting Quantum Chemistry Through
Transfer Learning
TensorMol 0.1
The TensorMol-0.1 Model Chemistry: a Neural
Network Augmented with Long-Range Physics
MetaDynamics for NNMC
Metadynamics for Training Neural Network
Model Chemistries: a Competitive Assessment
SchNet
SchNet: A continuous-filter
convolutional neural network for
modeling quantum interactions
DTNN
Quantum-Chemical Insights from Deep
Tensor Neural Networks
2017
2015
2018
computer science field
著者：Behler
最新研究はこの理論をもとに構築されている
16

17. NNP Tutorial review：Behler-Parrinello Symmetry function
“Constructing high-dimensional neural network potentials: A tutorial review”
https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890
AEV: Atomic Environment Vector
対象とする原子の周辺環境を
数値化・ベクトル化
Rc：カットオフ半径
1. radial symmetry functions
2体関係(距離)の表現
中心原子 i から半径 Rc 周辺までに
どのくらいの数の原子が存在するか
17

18. NNP Tutorial review：Behler-Parrinello Symmetry function
“Constructing high-dimensional neural network potentials: A tutorial review”
https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890
2. angular symmetry functions
3体関係(角度)の表現
AEV: Atomic Environment Vector
対象とする原子の周辺環境を
数値化・ベクトル化
Rc：カットオフ半径
中心原子 i から半径 Rc 周辺までに
どういった位置関係(角度)で原子 j, kが存在しているか
18

19. NNP Tutorial review：Neural Networkの工夫
問題点：
・原子数固定
ー 0 埋めが必要
ー 学習時のサイズを超える予測ができない
・原子の順番の入れ替えに対する不変性がない
“Constructing high-dimensional neural network potentials: A tutorial review”
https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890
工夫：
・１原子ごとに別々にAtomic Energyを予測し、
合計値を最終エネルギー Es とする
・原子種 (O, H) ごとに別のNNを訓練
19

20. NNP研究の流れ (2018年まで)
chem/phys field
NNP Tutorial review
Constructing high-dimensional neural network potentials: A tutorial review
ANI-1
ANI-1: an extensible neural network potential with
DFT accuracy at force field computational cost
ANI-1 Dataset
A data set of 20 million calculated off-equilibrium
conformations for organic molecules
ANI-1x
Less is more: sampling chemical space with active
learning
ANI-1ccx
Outsmarting Quantum Chemistry Through
Transfer Learning
TensorMol 0.1
The TensorMol-0.1 Model Chemistry: a Neural
Network Augmented with Long-Range Physics
MetaDynamics for NNMC
Metadynamics for Training Neural Network
Model Chemistries: a Competitive Assessment
SchNet
SchNet: A continuous-filter
convolutional neural network for
modeling quantum interactions
DTNN
Quantum-Chemical Insights from Deep
Tensor Neural Networks
2017
2015
2018
computer science field
著者：Justin S. Smith, Olexandr Isayev
Univ of Florida, North Carolina などUSAの機関
ANI-1xからLos Alamos Lab が入ってきて
プロジェクトが大きくなっている模様
実装コードが公開されている (MIT license)
ー https://github.com/isayev/ASE_ANI
ー https://github.com/aiqm/torchani (pytorch base)
20

21. ANI-1 & ANI-1 Dataset
• ANI-1 以前の研究
– “一つの系で複数の座標” or “複数の系で最安定な座標”だけにしか適用できない
• ANI-1
– H, C, N, Oの元素からなる様々な分子の様々な座標でエネルギーを予測できる
NNPモデル、ANI-1を構築
• ANI-1 Dataset
– ANI-1 の訓練に使われたデータの計算方法・収集方法。
21

22. O
NNPのためのデータ取得
• 様々な座標値の分子に対するエネルギーを計算したい
→ランダムに原子を座標配置してエネルギーを計算すればよい？ → ✖
• 現実で分子がとりうる座標はほぼ低エネルギーな状態のみ
→現実で起こりうる領域に対して、精度よくエネルギーを計算したい。
H H
Low energy
Likely to occur
High energy
(Almost) never occur
O
H H
O
H H
O
H
H
O
H
H
O
H
H
22
exp(−𝐸/𝑘&𝑇)
Boltzmann分布

23. ANI-1 Dataset：データ取得方法
“ANI-1, A data set of 20 million calculated off-equilibrium conformations for organic molecules”
https://www.nature.com/articles/sdata2017193
• GDB-11データベース(最大11個のC, N, O, Fが含まれる分子を列挙)
のSubsetを使用
– C, N, Oのみに制限
– Heavy Atom は最大8個
• Normal Mode Sampling (NMS)で
一つの分子から多数の座標
conformationを生成
rdkitの
MMFF94
Gaussian09の
default method
23

24. ANI-1 Dataset：データ取得結果
“ANI-1, A data set of 20 million calculated off-equilibrium conformations for organic molecules”
https://www.nature.com/articles/sdata2017193
• 計算方法：
– ωB97x density functional
– 6–31 G(d) basis set
– Gaussian 09 使用
• 取得されたデータ数
– 2200万データ！！
– 公開されてます
https://doi.org/10.6084/m9.figshare.c.3846712
24

25. ANI-1：Network構成
“ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost”
https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
• Neural Network自体は既存研究と同じ
– AtomごとにNNPを構成
– 原子種ごとに違うNNを用いる
• H, C, N, O
– Total EnergyはAtomic Energyの和
• ANI-1のMLP構成：
– 768, 128, 128, 64, 1 dim layer
– Gaussian activation function
25

26. ANI-1：既存研究との差異・工夫した点
“ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost”
https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
• AEV (Atomic Environment Vector) の計算方法
– 原子種 (H, C, O, N)ごとに違うAEVを計算
→ 原子種の違いが区別できる
• Radial：N種類
• Angular：N * (N+1)/2 種類
– ANI-1では (N=4)
• Radial: 4 * 32通りのRs
• Angular: 10 * 8通りのRs * 8 通りの θs
→ 合計 768 次元のAEV、 G が構成される。
26

27. ANI-1：結果
“ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost”
https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
• DFTB, PM9, AM1といった
計算手法と比べてDFTとの
結果一致度が高い
• 訓練データに含まれていない
大きさの原子に対してもきちんと
予測できている
(ANI-1 Dataset は 重原子8個まで)
GDB-11から10個の重原子を持つ分子を134個サンプル
それぞれの複数conformation間での ΔE の予測を比較
27

28. ANI-1：結果
“ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost”
https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
• Conformationを変えた場合の
エネルギー変化の予測
– ANI-1は他の手法と比べても
DFTに近い予測ができている。
one-dimensional potential surface scan
28

29. ANI-1 & ANI-1 Dataset：まとめ
“ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost”
https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract
• H, C, N, O からなる小分子に関しては、
様々な分子・構造に対してDFTに似たエネルギーが
計算できるNNPが構成できた。
– 2000万という大量の計算を行いデータセットを作成
課題
• ほかの原子 (FやSなど) を追加すること
– 原子ごとに別のNNを訓練する必要がある
– 入力次元が N^2 に比例して増える。
– 取得すべきデータの組み合わせもそれに比例するはず
29

30. GNNとは
• Graph Neural Network：グラフを入力でき、データの “つながり” の情報を学習
• グラフとは：頂点 v と辺 e で構成
– Social Network（SNSの結びつきグラフ）、Citation Network（論文の引用を示すグラフ）
– 商品Network（同時購入された商品を結ぶグラフ）
– Protein-Protein Association Network
– 有機分子 etc…
30
𝒗𝟎
𝒗𝟏
𝒗𝟐
𝒗𝟒
𝒗𝟑
𝑒&' 𝑒'(
𝑒()
𝑒*)
𝑒(*
応用例が広い！

31. GNNとは
• 画像の畳み込みに似た “グラフ畳み込み” à Graph Convolution を考えることで実現
• Graph Convolution Network, Message Passing Neural Network とも
31
画像分類
class label
物性値
Chemical property
CNN: Image Convolution
GNN: Graph Convolution

32. GNNの構成
• CNN同様、Graph Convolutionを積み重ねてDeep なNeural Networkを構成
32
Graph
Conv
Graph
Conv
Graph
Conv
Graph
Conv
Sum
グラフのまま特徴量を
アップデート
原子ごとの
予測値(エネルギー)を出力
分子をグラフ
として入力
分子の
予測値(エネルギー)を出力

33. C
N
O
1.0 0.0 0.0 6.0 1.0
atom type
0.0 1.0 0.0 7.0 1.0
0.0 0.0 1.0 8.0 1.0
charge
chirality
原子ごとに特徴量作成
Molecular Graph Convolutions: Moving Beyond Fingerprints
Steven Kearnes, Kevin McCloskey, Marc Berndl, Vijay Pande, Patrick Riley arXiv:1603.00856
ノード(原子)の特徴量作成

34. GNNの適用：分子データ・結晶データ
• 分子データにも応用可能
→様々な種類のGNNが提案され分子データに対するDeep Learning 研究が加速
– NFP, GGNN, MPNN, GWM etc…
• 近年は座標データや結晶分子データにも応用されてきている
– SchNet, CGCNN, MEGNet, Cormorant, DimeNet, PhysNet, EGNN, TeaNet etc…
34
NFP: “Convolutional Networks on Graph for
Learning Molecular Fingerprints”
https://arxiv.org/abs/1509.09292
GWM: “Graph Warp Module: an Auxiliary Module for
Boosting the Power of Graph Neural Networks in Molecular Graph Analysis”
https://arxiv.org/pdf/1902.01020.pdf
CGCNN: “Crystal Graph Convolutional Neural Networks for an
Accurate and Interpretable Prediction of Material Properties”
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.145301

35. SchNet：概要
• 原子間距離 r に対して連続的に変化するContinuous filter convolution (cfconv)を提案し
原子位置 r の変化に対応できるNeural Networkを構成
“SchNet: A continuous-filter convolutional neural network for modeling quantum interactions”
https://arxiv.org/abs/1706.08566
RBF kernel
35

36. 周期境界条件のある系へのGNN活用
• CGCNNで、周期境界条件のある系に対するグラフ構築方法が提案された
• MEGNetでは、孤立系（分子）・周期境界条件（固体）双方へのGNN適用を報告
36
CGCNN: “Crystal Graph Convolutional Neural Networks for an Accurate
and Interpretable Prediction of Material Properties”
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.145301
MEGNet: “Graph Networks as a Universal Machine Learning Framework
for Molecules and Crystals”
https://pubs.acs.org/doi/10.1021/acs.chemmater.9b01294

37. まとめ: GNN approach
Neural Network側に工夫を入れることで以下のようなメリットが得られる可能性がある
• Descriptorの作りこみが不要
– Atomic Environment Vectorなどの複雑なハイパラ調整が不要になる可能性
• 原子種への汎化
– 原子種を増やしても入力次元は増えない→組み合わせ爆発しなくなる
– 未知・小数データしかない原子種への汎化？
• 精度の向上・学習の効率化
– Networkの表現能力が向上することにより、精度向上の可能性
– 適切な制約がNetwork側に入ることで、学習効率があがる
37

38. Deep learning 領域全体でのトレンド
• 2012年、画像認識コンペILSVRCでAlexNetの登場 (GPUを有効活用した)
• 以降GPUの発展とともに、年々ネットワークが深く、巨大になっていった
38
GoogleNet “Going deeper with convolutions”:
https://arxiv.org/pdf/1409.4842.pdf
ResNet “Deep Residual Learning for Image
Recognition”: https://arxiv.org/pdf/1512.03385.pdf
年 CNN 深さ Parameter数
2012 AlexNet 8層 62.0M
2014 GoogleNet 22層 6.4M
2015 ResNet 110層 (Max1202層!) 60.3M
https://towardsdatascience.com/the-w3h-of-alexnet-vggnet-resnet-and-inception-7baaaecccc96

39. Deep learning 領域全体でのトレンド
• 画像分野のデータセット量
– 指数関数的にデータセット規模も大きくなり、
人間１人では扱えない、全体の集合知を学習するように。。。
– 事前学習→特定タスク用にFine tuningする流れ
データセット名 データ数 クラス数
MNIST 6万枚 10
CIFAR-100 6万枚 100
ImageNet 130万枚 1,000
ImageNet-21k 1400万枚 21,000
JFT-300M 3億枚 (Google非公開) 18,000

40. Deep learning 領域全体でのトレンド
• 自然言語分野でも同様のトレンド：
– Networkの大規模化
– データセットの大規模化
• BERT, OpenAI GPT 3 といったNetworkが開発されてきた
– GPT3 の学習には、355 GPU年・$4.6M の計算資源を要している
年 モデル Parameter数
2018 BERT=Large 355M
2019 GPT2 1.5B
2019 T5 11B
2020 GPT-3 175B
https://lambdalabs.com/blog/demystifying-gpt-3/

41. “汎用” Neural Network Potential？
• これまでの先行研究の流れを追うと、見えてくる可能性
NNPの定式化と
構造汎化に対する実証
↓
ANI系列
元素種増加への対応
↓
GNNのNode embedding
周期系への拡張
↓
周期系でのグラフ構築
大規模データを学習
↓
画像・自然言語分野での成功、 DLトレンドに
→多数の元素種、孤立系・周期系、様々な構造 全てに対応した汎用NNPの開発へ！

42. 後半パートに行く前に、、、OC20の紹介
42

43. Open Catalyst 2020の話
• 再生エネルギーの貯蔵に使うための触媒開発を目的として提案
• Overview Paper:
– 地球温暖化を解決するために、ソーラー発電・風力発電のエネルギーを貯蔵する
– なぜ水力発電や電池の充電だけでは足りないか
• エネルギー貯蔵量がスケールしない
43
https://arxiv.org/pdf/2010.09435.pdf

44. Open Catalyst 2020の話
• 再生エネルギーの貯蔵に使うための触媒開発を目的として提案
• Overview Paper:
– 地球温暖化を解決するために、ソーラー発電・風力発電のエネルギーを貯蔵する
– 水素やメタンなどの反応プロセス効率を上げることが再生エネルギーの貯蔵の鍵
44
https://arxiv.org/pdf/2010.09435.pdf

45. Open Catalyst 2020の話
• 触媒とは：特定の反応を促進させる物質。自身は変化しない。
• Dataset Paper: 技術的なデータセット収集方法の詳細
45
下に広がっているのが金属表面＝触媒
上に乗っかっている分子が反応対象となるもの
https://arxiv.org/pdf/2010.09435.pdf https://opencatalystproject.org/

46. Open Catalyst 2020の話
• いろいろな金属・いろいろな分子の組み合わせ生成方法を提案
• 再生エネルギー関連の主要な反応をカバーできるように
• データ数1.3億件！
46
https://arxiv.org/pdf/2010.09435.pdf

47. 後半パート：PFPの紹介
47

48. PFPとは
• ＥＮＥＯＳ株式会社様とPFNで共同研究を行い開発された
“Universal” Neural Network Potential
• PreFerred Potential から PFPと命名
• Matlantis とは
– PFPを含め、物性値計算機能などいろいろな機能を
SaaSにパッケージングした製品
48

49. PFPの話
• Architecture
• データセット
• 学習結果NNP＝PFP を用いた事例
49

50. PFP Architecture
• NNPが備えていると望ましい 帰納バイアス(Inductive bias)
– １ ．回転対称性
– ２ ．並進対称性
– ３ ．鏡像反転対称性
– ４ ．原子の置換に対する対称性
– ５ ．一定の局所性：
• 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギー
に主要な影響を与える(静電相互作用など例外もあり)
– ６ ．示量性である：2つの原子が独立してあればエネルギーも２倍。
– ７ ． PESは連続関数である。
50

51. PFP Architecture
• NNPが備えていると望ましい 帰納バイアス(Inductive bias)
– １ ．回転対称性
– ２ ．並進対称性
– ３ ．鏡像反転対称性
– ４ ．原子の置換に対する対称性
– ５ ．一定の局所性：
• 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギー
に主要な影響を与える(静電相互作用など例外もあり)
– ６ ．示量性である：2つの原子が独立してあればエネルギーも２倍。
– ７ ． PESは連続関数である。
51
GNNは自然に満たす
原子ごとにエネルギーを計算
連続な活性化関数、カットオフの工夫

52. • NNPが備えていると望ましい 帰納バイアス(Inductive bias)
– １ ．回転対称性
– ２ ．並進対称性
– ３ ．鏡像反転対称性
– ４ ．原子の置換に対する対称性
– ５ ．一定の局所性：
• 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギー
に主要な影響を与える(静電相互作用など例外もあり)
– ６ ．示量性である：2つの原子が独立してあればエネルギーも２倍。
– ７ ． PESは連続関数である。
PFP Architecture
52
SO(3)対称性

53. PFP Architecture
• NNPが備えていると望ましい 帰納バイアス(Inductive bias)
– １ ．回転対称性
– ２ ．並進対称性
– ３ ．鏡像反転対称性
– ４ ．原子の置換に対する対称性
– ５ ．一定の局所性：
• 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギー
に主要な影響を与える(静電相互作用など例外もあり)
– ６ ．示量性である：2つの原子が独立してあればエネルギーも２倍。
– ７ ． PESは連続関数である。
53
SE(3)対称性

54. PFP Architecture
• NNPが備えていると望ましい 帰納バイアス(Inductive bias)
– １ ．回転対称性
– ２ ．並進対称性
– ３ ．鏡像反転対称性
– ４ ．原子の置換に対する対称性
– ５ ．一定の局所性：
• 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギー
に主要な影響を与える(静電相互作用など例外もあり)
– ６ ．示量性である：2つの原子が独立してあればエネルギーも２倍。
– ７ ． PESは連続関数である。
54
E(3)対称性

55. PFPについて
• PFPは E(3) equivariant な特徴量を用いるNeural Networkを使用
• “vector”, “tensor” の特徴量とは？
55
https://arxiv.org/pdf/2106.14583.pdf

56. 回転不変/同変
• 回転不変 (Invariant)
– ノルムなど
• 回転同変 (Equivariant)
– 線形結合など
à 一般化
– テンソル積
56
𝑓 𝒓 = 𝒓 ⊗ 𝒓
𝑓 R𝒓 = R𝑓(𝒓)
𝑓 R𝒓 = 𝑓(𝒓)
𝑓 𝒓 = 𝒓 𝟐 = 𝒓 ⋅ 𝒓
𝑓 𝒓 = c𝒓
𝑓 R𝒓 = 𝜌(R)𝑓(𝒓)
𝑓 R𝒓 = (R ⊗ R)𝑓(𝒓)
𝑓 𝒓 = c𝒓 + 𝒃 は回転同変ではない！
※

57. 回転同変 具体例
• 回転同変
– 線形結合
• 回転同変でない例
– ベクトルのxyz成分
をそのまま独立に
特徴量とする場合
57
𝑓 R𝒓 = R𝑓(𝒓)
𝑓 𝒓 = W𝒓
𝑓 R𝒓𝟏, R𝒓𝟐, ⋯ , R𝒓𝒏 = ∑𝑤!R𝒓!
= R ∑𝑤!𝒓!
= R𝑓 𝒓𝟏, 𝒓𝟐, ⋯ , 𝒓𝒏
𝑓 R𝒓 = WR𝒓 ≠ RW𝐫 = Rf(𝒓)
𝑓 𝒓𝟏, 𝒓𝟐, ⋯ , 𝒓𝒏 = ∑𝑤!𝒓!

58. １．回転不変な特徴量
• 距離 r
• 角度 θ
• Behler-Parrinello 記述子、、、
58
𝑓 𝒓 = 𝒓 𝟐 = 𝒓 ⋅ 𝒓
𝑓 𝒓!*, 𝒓*+ = 𝜃!*+
𝒓 Rotation invariant feats Neural Network 𝑠
𝐺
Vector information is suppressed
2
1 3
𝑟(*
𝑟'(
𝜃'(*

59. ２．回転同変な特徴量
• 回転不変な特徴量を作る
– 内積
• 回転同変
– 線形結合
w_i : learnable parameters
– テンソル積
59
𝑓 𝒓𝟏, 𝒓𝟐 = 𝒓𝟏 ⋅ 𝒓𝟐
𝑓 𝒓𝟏, 𝒓𝟐, ⋯ , 𝒓𝒏 = ∑𝑤!𝒓!
𝑓 𝒓𝟏, 𝒓𝟐 = 𝒓𝟏 ⊗ 𝒓𝟐
𝑓 𝒓𝟏 ⊗ 𝒓𝟐, 𝒓𝟑 = 𝒓𝟏 ⊗ 𝒓𝟐 ⋅ (𝒓𝟑 ⊗ 𝑰)
Scalar
Vector
Tensor
Tensor product Dot product
Dot product
Rotation covariant Neural Network
𝒓
𝑠
※相対ベクトル 𝒓+, = 𝒓+- 𝒓, を用いると、
並進対象性も満たされる
𝒓
𝑠

60. TeaNet
• TeaNetは内部で、スカラー・ベクトル・テンソル
それぞれの特徴量を更新しながら計算を進めていくGNN
• PFPではTeaNetの畳み込みの考え方をベースに開発
60
https://arxiv.org/pdf/1912.01398.pdf

61. TeaNet
• テンソルを用いる物理的意味：
テンソルは古典ポテンシャルであるTersoff potential と関連がある特徴量
61
https://arxiv.org/pdf/1912.01398.pdf
・・・
Tersoff potential

62. PFPについて
• TeaNet をベースにして、２年間の研究開発のなかで
いろいろと拡張をしたものです
• GNNの辺を張る際のCutoff は6A
• 全体で20A 以上の受容野は確保
– 現状、GNN部分はO(N)になるように設計されている
• エネルギー局面がなめらか （無限回微分可能 ） になるように設計
62

63. PFP architectureについて
• PFPの性能を検証
• 実験結果：OC20 データセットで比較
– ※使用データセットが同じではなく
厳密な比較ではない
63
https://arxiv.org/pdf/2106.14583.pdf

64. PFP Datasetについて
• 汎用性を実現するため、多様な構造のデータセットを収集した
– Molecule
– Bulk
– Slab
– Cluster
– Adsorption (Slab+Molecule)
– Disordered
64
https://arxiv.org/pdf/2106.14583.pdf

65. TeaNet: Disordered structure
• 周期境界条件下での乱れた構造のデータセット
• Classical MDや学習中のNNPを利用したMDで作成
65
https://arxiv.org/pdf/2106.14583.pdf
TeaNet 論文で取られた構造の例：

66. PFP Datasetについて
• PFNの計算資源を積極的に活用
66
MN-Clusterを活用しデータ収集
製品版(PFP v1.0)は100,000GPU days分の計算資源使用

67. PFP Datasetについて
• 製品版(PFP v1.0)では55元素をサポート
67

68. PFP Datasetについて
• 汎用性を実現するため、多様な構造のデータセットを収集した
68
https://arxiv.org/pdf/2106.14583.pdf

69. PFP Datasetについて
• MOLECULE, CRYSTAL Datasetの計算条件表
• PFPは以下３つのデータセットを同時に学習させた。
69
データセット名 PFP MOLECULE PFP CRYSTAL OC20
ソフトウェア Gaussian VASP VASP
汎関数/基底 ωB97xd/6-31G(d) GGA-PBE GGA-RPBE
その他Option Unrestricted DFT PAW型擬ポテンシャル
カットオフエネルギー520 eV
Uパラメータあり
スピン分極あり
PAW型擬ポテンシャル
カットオフエネルギー350 eV
Uパラメータなし
スピン分極なし

70. 適用事例1: Liイオン電池
• LiFeSO4Fの各方向におけるLi拡散活性化エネルギー計算
– 様々な元素が混じる系
– おおむねDFTを再現
70
[111], [101], [100] 方向への拡散経路

71. 適用事例2: MOF
• Metal Organic Framework MOF-74で、水分子の結合エネルギーを計算
– 有機分子に金属元素が混じるような系
– DFTD3 補正を使用することで精度が向上(後述)
71

72. 適用事例3: 再エネ合成燃料触媒
• FT触媒でC-O解離反応を促進する＝反応障壁(Ea)を下げる元素を探索
• Coに対し、Vを添加すると解離反応が進みやすいことがVirtual screeningできた
72
Co+V触媒上でのC-O解離反応
H2,COからの燃料（C5+）の合成反応 Co触媒の一部元素置換による活性化エネルギー変化
（Coのみの基準を1.0）

73. 適用事例4: Nano Particle
• “Calculations of Real-System Nanoparticles Using Universal Neural Network Potential PFP”
https://arxiv.org/abs/2107.00963
• 様々な金属元素が入り混じる、多元系合金ナノ粒子でも計算が可能
• DFTでは系を大きくすることが難しく、古典Potentialでは多元系への対応が難しい
73

74. Advanced Topics ：DFTより再現性を上げる試み
• ３つのアプローチを紹介
74
アプローチ方法 表現能力
＝過学習の危険性
内容
Transfer Learning 高い より高精度な計算でデータ収集して
既存NNPからFine tuningをする
Delta Learning 中間 差分だけを自由度の低いモデルでFittingする
（Polynomial fittingなど）
物理式補正 低い 差分を物理式で補正
Dispersion補正など

75. １Transfer learning
• より高精度な計算でデータ収集して既存NNPからFine tuningをするアプローチ
• NNを学習するので、表現力は高い。
• 逆に表現力が高すぎて過学習してしまう懸念もあり。
• ANI1-ccx
– Golden Standardと呼ばれる
CCSD(T)でデータセットを収集
75
“Outsmarting Quantum Chemistry Through Transfer Learning”
https://chemrxiv.org/articles/Outsmarting_Quantum_Chemistry_Through_Transfer_Learning/6744440

76. ANI-1ccx 結果
• 精度比較：CCSD(T)/CBSとの差
– 赤 ：Post-SCF
– 緑 ：DFT
– 青 ：MM
– 黄 ：Neural Network
“Outsmarting Quantum Chemistry Through Transfer Learning”
https://chemrxiv.org/articles/Outsmarting_Quantum_Chemistry_Through_Transfer_Learning/6744440
ANI-1x ：元となる、DFTデータを教師として学習したNNP
ANI-1ccx ：元のANI-1x よりもCCSD(T)/CBSに対する精度が向上した
ANI-1ccx-R：ANI-1xをpretrained model として使わなかった場合、精度はANI-1ccxよりも劣る
76

77. ２Delta learning
• Low levelな予測器があるときに
High levelなデータとの差分のみを自由度の低いモデルで学習する
• 例：DFTやMP2のデータセットでLLの予測器をNNPで作成、
差分はデルタラーニングで。
77
“Breaking the CCSD(T) Barrier for Machine Learned Potentials of Large Molecules: Demonstration for Acetylacetone”
https://arxiv.org/abs/2103.12333
𝑉!!→## = 𝑉!! + Δ𝑉##$!!
DFT レベル ：NNPで作成
CCSD(T)レベルとの差分：Polynomial Fittingなど、
自由度の低いモデルで作成

78. ３物理式補正
• DFT計算で足りない物理効果を物理式で表現
• 例：分散力補正（DFT Dispersion）
– 著名なのはDFTD3 (最近はDFTD4も提案されている)
DFTD3の場合、差分モデルは先行研究を使い回すことができ追加学習不要
– “A consistent and accurate ab initio parametrization of density functional
dispersion correction (DFT-D) for the 94 elements H-Pu”
78
𝐸%&'$%( = 𝐸%&' + 𝐸)*+,
DFT レベル ：NNPで作成
分散力補正は物理式で
𝐸)*+, = −
1
2
)
-./
)
012,4
𝑠0
𝐶0
-/
𝑟
-/
0
※直感的には配位数に基づいて係数Cを変えて
2体相互作用を計算

79. ３物理式補正
79
• [宣伝] DFTD3 のpytorch 実装を torch-dftdとして公開
• Blog: “DFT Dispersion pytorch 実装のOSSを公開します”
• Github: https://github.com/pfnet-research/torch-dftd
– GPUを使用した高速化
– PyTorchを用いており、
NNP研究との相性が良い

80. まとめ
• NNPを用いることで量子計算の代わりに
エネルギーなどの各種物理量を高速計算
• よいモデルの学習には、
質の高いデータの取得が必須
– 使用する量子計算手法の質・精度
– データの多様性
• PFPは、様々なデータ入力に対応する
“汎用” NNP
• 応用例
– エネルギー予測、力の予測
– 構造緩和
– 反応エネルギーの予測、反応経路
– Molecular Dynamics
– IRスペクトル算出
80
https://matlantis.com/ja/product/

81. Links
• PFP関連論文
– “PFP: Universal Neural Network Potential for Material Discovery”:
https://arxiv.org/abs/2106.14583
– “Calculations of Real-System Nanoparticles Using Universal Neural Network Potential PFP”
https://arxiv.org/abs/2107.00963
• Matlantis関連
– 公式サイト： https://matlantis.com/
– Twitter： https://twitter.com/matlantis_pfcc
– YouTube： https://www.youtube.com/c/Matlantis
• その他の発表資料
– IIBMP2019 講演資料「オープンソースで始める深層学習」
– Deep learningの発展と化学反応への応用 - 日本化学会第101春季大会(2021)
81

82. Appendix
82

83. NNP Tutorial review：Neural Network入門１
“Constructing high-dimensional neural network potentials: A tutorial review”
https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890
層ごとに 線形変換 → 非線形変換を重ねていくことで、多様な関数系を表現する。
𝑬 = 𝑓(𝑮", 𝑮$, 𝑮#)
83

84. NNP Tutorial review：Neural Network入門２
“Constructing high-dimensional neural network potentials: A tutorial review”
https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890
データの数が増えれば増えるほど正確な関数系を学べる
データ数が少ないと予測にブレが
あり、信頼できない。
データの数が多いと予測のブレ
(variance)が減る
84

85. NNP Tutorial review：Neural Network入門３
“Constructing high-dimensional neural network potentials: A tutorial review”
https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890
訓練データだけにあてはまったモデルになっていないか、適切な評価が重要。
Underfit：NNの表現力が弱く、
真の関数系を表現できない
Overfit：NNの表現力が強すぎ、訓練データには合
っているが、それ以外の点で合っていない
85

86. GNNの構成 (一般)
• CNN同様、Graph Convolutionを積み重ねてDeep なNeural Networkを構成
86
Graph
Conv
Graph
Conv
Graph
Conv
Graph
Conv
Graph
Readout
Linear Linear
Graphのまま特徴量を
アップデート
Graph→ベクトル ベクトル情報を
アップデート
分子をグラフ
として入力
予測値を出力

87. 計算されたノード特徴量を集めて、グラフ全体の特徴量とする
Han Altae-Tran, Bharath Ramsundar, Aneesh S. Pappu, & Vijay Pande (2017). Low Data Drug
Discovery with One-Shot Learning. ACS Cent. Sci., 3 (4)
Graph Readout: グラフ全体(分子) の特徴量の算出

88. 88