A paper review for

1. Quantum Deep Field : Data-Driven Wave Function,
Electron Density Generation, and Atomization Energy
Prediction and Extrapolation with Machine Learning
Journal : American Physical Society Phys. Rev. Lett. 125, 206401 – Published 10 November 2020
URL : https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.125.206401
Conference : Advances in Neural Information Processing Systems 33 – Accepted (NeurIPS 2020)
URL : https://proceedings.neurips.cc/paper/2020/file/1534b76d325a8f591b52d302e7181331-Paper.pdf
Author : Masashi Tsubaki 1 , Teruyasu Mizoguchi 2
1. (National Institute of Advanced Industrial Science and Technology)
2. (Institute of Industrial Science, University of Tokyo)
2021年 5月 20日 読み手 : 高下大貴 (D1)
論文紹介

2. どんな論文か？
1. 分子軌道法 (LCAO MO法) + 密度汎関数理論 + ニューラルネット (NN)に
よる物性予測モデルの提案。
2. 量子化学計算の理論をニューラルネット(NN)の学習に応用することで、
NNによる物性予測の精度が従来手法(GNN)と比較して改善された。
3. グラフニューラルネットワーク(GNN)ベースのモデルと比較して学習データ
の外挿領域に対してロバストな物性予測が可能に。

3. 導入 - 波動関数と分子軌道法(LCAO MO法)
量子化学における基本理論：
分子の持つ基本性質（物性や反応性）は電子の振る舞い・状態によって決まる。
波動関数（分子軌道) ! → 分子中の電子の振る舞いを表現するもの。
シュレーディンガー方程式と呼ばれる偏微分方程式を
解くことで得られる。
水素原子以外は、多体問題により
方程式の厳密な解が計算困難。
分子軌道法(LCAO法) → 分子軌道 ! を各原子軌道 #$ の線形和で近似する。
!(&) ∑$ )$#$ & − +$) & 任意の３次元座標
+$ 原子核の中心座標 )$ : 係数
理論計算では、得られた分子軌道 ! を用いて様々な物性を算出する。

4. 導入 ‒ GNN(機械学習)による物性予測モデル
分子グラフニューラルネットワーク(GNN) :
分子をグラフ構造として表現し、ニューラールネットワークを用いてグラフ構造
から特徴抽出を行う。
各原子(ノード)に
特徴ベクトル
を割り当てる。 特徴ベクトルの更新
特徴ベクトル!に隣接する他の原子のベクトル"と
重み行列#を用いて演算#" + %を行う。
原子(ノード)
結合(エッジ)
活性化関数

5. 着想
分子構造からの物性や活性予測で頻繁に用いられるグラフニューラル
ネットワーク(GNN)は、軌道情報（電子の情報）を活用していない。
→ 理論計算では分子の性質は分子軌道を用いて高い精度で導かれる。
軌道計算の理論をニューラルネットワークの学習に組み込むことで、
物性などの予測精度が改善できるのでは？
→ 軌道計算とニューラルネットワークを組み合わせたモデルを作成。
本論文の着想

6. 手法 - ネットワークの全体図
① : 分子M から原子軌道 # を計算し、分子軌道 $ を計算するネットワーク.
③ : ①で計算した分子軌道 $ に物理制約を課すネットワーク.
② : 分子軌道 $ から物性（エネルギー）を予測するネットワーク.

7. 手法 - LCAO MO法による軌道計算ネットワーク
係数ベクトル(N次元)
N個の基底関数(ガウス型基底関数(GTO))の足し合わせ
→ 各軌道(1s, 2s, 2p,…)の形を表現する.
軌道ベクトル (N次元)
各基底関数にかけられる係数は、スカラーではなくN次元ベクトルになっている。
この次元は基底関数個用意しておき、算出したものを軌道ベクトルとする。

8. 手法 - LCAO-MO法 ガウス型基底関数(GTO)
ガウス型基底関数(GTO)
本来、１つの原子軌道はスレーター型のような１つのガウス型関数では表現できない構造をとる。
→ １つの軌道に対して複数の基底関数を用意し、足し合わせることで近似精度を高くする。
本論文内では分子軌道を計算するにあたり200個のGTOを用意。
" 原子核周辺の任意の座標 #$ 原子核%の中心座標
&$ 原子核%の主量子数 '$ : 軌道指数 (最適化の対象となるパラメータ)
($ : " − #$

9. 手法 - LCAO MO法による軌道計算ネットワーク
係数ベクトル(N次元)
N個の基底関数(ガウス型基底関数(GTO))の足し合わせ
軌道ベクトル (N次元)
→ 基底関数によって算出した軌道ベクトルは、r の座標によって様々な値を
返す関数になる. 本来rは空間上で連続的な値である。
N =２００個

10. ３次元座標上の
分子 (立体構造）
3次元グリッド(核子点)!"を作る
!#
!$
!%&
' !#
' !$
' !%&
手法 - LCAO MO法による軌道計算ネットワーク
各グリッド座標 !" での分子軌道 '(!") を計算
基底関数(GTO) :

11. 基底関数(GTO) :
!" !"
基底関数
に対する
係数行列
!" : 各グリッド座標 r$ と各原子核の中心座標 %" との距離行列
３次元座標上の
分子 (立体構造）
手法 - LCAO MO法による軌道計算ネットワーク
グリッドの数 G ×
基底関数の数 N次元

12. 手法 - ネットワークの全体像
今までで説明した、LCAO MO法を取り入れた構造は、赤色①の部分。
①で計算した分子軌道 ! から、②のネットワークで物性を取り出す。

13. 手法 - 軌道ベクトル ! から物性を予測する非線形NN
LCAO MO法
で算出した
分子軌道ベクトル

14. 手法 - ネットワークの全体像
分子軌道 ! から物性（エネルギー）を予測する FDNN の高い表現力によって、
分子軌道 ! が本来の分子軌道とは全く異なる表現を学習してしまう。
分子軌道 ! から物性（エネルギー）
を予測する非線形ニューラルネット

15. 手法 - ネットワークの全体像
ホーヘンベルク・コーンの定理（電子密度p と原子配置から計算できる外部
ポテンシャル V が１対１で対応する)に基づいて、分子軌道 ! の表現に制約
を設ける。
ホーヘンベルク・コーン
の定理に基づく物理制約

16. 手法 - ネットワークの全体像
ホーヘンベルク・コーンの定理（電子密度p と原子配置から計算できる外部
ポテンシャル V が１対１で対応する)に基づいて、分子軌道 ! の表現に制約
を設ける。→ 電子密度p と外部ポテンシャル V の計算が必要.
ホーヘンベルク・コーン
の定理に基づく物理制約

17. 手法 - Hohenberg Kohn定理による物理制約
電子密度 p の算出 :
電子密度 p から外部ポテンシャルV へのマッピング ( Hohenberg Kohn map [1][2] )：
外部ポテンシャル V の算出（原子核が作るポテンシャル） :
!" 原子核の電荷
# : 分子中の各原子
$"：各原子核の中心座標
各原子軌道
[2] J. R. Moreno, G. Carleo, and A. Georges, Phys. Rev. Lett. 125, 076402 (2020).
[1] F. Brockherde, L. Vogt, L. Li, M. E. Tuckerman, K. Burke, and K.-R. Müller, Nat. Commun. 8, 872 (2017).
電子密度 p (&) → 外部ポテンシャル V(&) への関数

18. 手法 - Hohenberg Kohn mapの実装
p から予測した
外部ポテンシャル
計算式で算出した
外部ポテンシャル
!"($%)
!"($')
!"($(")
Hohenberg Kohn map : 基底状態の電子密度 p から外部ポテンシャルV が決定される。(密度汎関数理論)
電子密度 p の情報から外部ポテンシャルV が予測できるはずである[1] [2]
[2] J. R. Moreno, G. Carleo, and A. Georges, Phys. Rev. Lett. 125, 076402 (2020).
[1] F. Brockherde, L. Vogt, L. Li, M. E. Tuckerman, K. Burke, and K.-R. Müller, Nat. Commun. 8, 872 (2017).

19. 手法 - ネットワークの学習
・損失関数
・モデルパラメータの最適化
物性予測の誤差 :
ポテンシャルの誤差 :
LCAO MOネットワークと のパラメータ
LCAO MOネットワークと のパラメータ
軌道ベクトル ! → 物性 #
電子密度 p → 外部ポテンシャル $

20. 手法 - ネットワークの学習
・モデルの学習：GAN[3]のように交互な予測と最適化を行う。
LCAO MOネットワークと のパラメータ
LCAO MOネットワークと のパラメータ
交互に最適化
物性予測
ポテンシャル予測
[3] Ian Goodfellow, Jean Pouget-Abadie, et al. In Advances in Neural Information Processing Systems,
pages 2672‒2680, 2014.
最適化
最適化

21. 実験 ‒ Atomization energyの予測
実験1. データセット QM9 [4] , Atomization energyの予測誤差の算出.
サンプルを8：1：1 (学習：検証：テスト）に分けて検証
GNNベース
のモデル
QDFはSchNet(SoTAモデル)に匹敵する精度で予測が可能。
パラメータ数はおよそ1/3。
[4] Raghunathan Ramakrishnan, Pavlo O Dral, Matthias Rupp, and O Anatole Von Lilienfeld. Quantum
chemistry structures and properties of 134 kilo molecules. Scientific Data, 1:140022, 2014.
提案手法
理論計算

22. 実験 ‒ 外層領域の予測（１）
・原子の数が少ないデータを学習データ(内挿)に用い、原子の数が多い
データをテストデータ(外挿)としてモデルの汎化性能を検証
interpolation
Extrapolation

23. 実験 ‒ 外層領域の予測（２）
ゼロポイントエネルギー(c)、エンタルピー(d)に対して入力の
外層領域で予測精度を検証

24. 実験 ‒ 電子密度の可視化（１）
エタン
ベンゼン
DFTによる理論計算 QDF(提案手法)による計算

25. 実験 ‒ 電子密度の可視化（１）
エタン
ベンゼン
2つのピーク
を上手く表現
できている
2つのピーク
を上手く表現
できている
DFTによる理論計算 QDF(提案手法)による計算

26. 実験 ‒ 電子密度の可視化（２）
電子密度
・ Hよりも電気陰性度の高いC、N、O、F周辺の（赤∼緑）で、電子密度が高く
なっている。電子密度ρがHからC、N、O、Fに移動していることを示している。
・二重結合や三重結合の部位においても電子密度が高くなっている。
分子 原子
電子密度

27. まとめ
・ ニューラルネット(NN)と分子軌道法 (LCAO MO法) + 密度汎関数理論を
組み合わせることで、物性予測の精度が従来手法(GNN)と比較して改善された。
・ グラフニューラルネットワーク(GNN)ベースのモデルと比較して学習データ
の外挿領域に対してロバストな物性予測が可能になり、モデルのパラメータ数
も従来のSOTAモデル(SchNet)と比較して大幅に減らされた。
・ 本研究の手法によって、理論計算よりも計算コストが少なく、かつ理論計算
に近い精度で物性算出が可能である。
・ なぜ、分子軌道を作るネットワークと物性予測を行うネットワークを交互に
学習させるのかが分からない。個別に学習させても良いのでは？
所感・疑問点