XX for ML 論文読み会 #1 https://mlxse.connpass.com/event/102910/ 発表スライド(アップロード版)

1. XX for ML 論文読み会 #1
AI2: AI Safety and Robustness
with Abstract Interpretation
http://qav.cs.ox.ac.uk/FLoC/Vechev.pdf
@tanimocchi
※本スライドは個人的なものであり、所属組織とは無関係です。

2. 自己紹介：車載Security(暗号学超々初心者)のヒト
XX for ML 論文読み会 #1 2
◼ Twitter ID： @tanimocchi （もっちぃ）
◼ 修士(数学)、博士(情報科学)
◼ 所属： Rの付く半導体
◼ 仕事： 車載Security（産業も）
➢ FLP不可能性とCAP定理(2011年改定証明付き版)がバッチリあてはま
る何もかもが超不安定な非同期ネットワーク向けの、Over-the-Airサービ
ス実現(?)を指向したHW/SW Safety&Security、暗号プロトコル、等。
✓ ここ最近の開発案件は、逆アセとか

3. 目次
XX for ML 論文読み会 #1 3
▪論文の主題：Security for ML ページ 04
▪抽象解釈技法 ページ 07
▪検証手法概要 ページ 16
▪学習手法概要 ページ 23
▪所感 ページ 29
▪参考文献 ページ 31

4. 論文の主題：Security for ML [1/3]
攻撃 攻撃内容 論文リンク
① 敵対的サンプル
(Evasion,Adversa
rial Examples)
入力に対してノイズ(摂動)を与え
る事で、テスト時に訓練されたモ
デルが誤ったクラスに分類させる
https://arxiv.org/abs/
1412.6572
https://arxiv.org/abs/
1802.00420
② Causative攻撃
(Poisoning)
モデル訓練時に誤ったラベルデー
タを与えテスト時分類を誤らせる
https://arxiv.org/abs/
1708.08689
③ モデル反転 モデルから、人間が認識できる形
で認識対象に対する情報を抽出
https://openreview.ne
t/pdf?id=SJOl4DlCZ
④ メンバシップ推定 特定の個人のデータが使われたか
否かの推定(差分プライバシー)
https://www.usenix.o
rg/node/184490
下記表①への対策となる学習手法と学習結果の検証手法が述べられている。
XX for ML 論文読み会 #1 4

5. 論文の主題：Security for ML [2/3]
XX for ML 論文読み会 #1 5
◼ 想定する脅威モデル(論文には陽に記載されていない)
➢ White-Box：敵対的サンプル [“大抵成功する”がこれまでの研究結果]
✓ 攻撃者は、モデルの構造とパラメータを知っている
✓ Adaptive Adversary：攻撃者は、対策に対する知識あり／なし (どちらか選択)
✓ Perturbation Bound：距離尺度による摂動に限界あり／なし (どちらか選択)
➢ Black-Box：https://arxiv.org/abs/1602.02697 [DNNに暗号プリミティブの性質なし]
✓ 攻撃者はモデルの構造とパラメータを知らないが、対象DNNへの選択平文攻撃が可能
• 即ち、任意の入力に対する判別結果(どのクラスかの情報のみ)を取得可能
✓ Adaptive Adversary：攻撃者は、対策に対する知識なし
✓ Perturbation Bound：距離尺度による摂動の限界なし(??)
◼ 満たすべき安全性(論文には陽に記載されていない)
➢ 理想的には、White-Box攻撃を前提として、攻撃者が利用可能な摂動範囲
内であれば、誤判別せず正しい判別結果を返す高精度モデルの生成。
➢ 現実的には、White/Black-Box攻撃に係わらず、誤判別を抑止可能な摂動
範囲を持つ高精度モデルの生成。  あれ？？えっと……

6. 論文の主題：Security for ML [3/E]
◼ 超要約
➢ FNNとCNN(活性関数としてReLUのみ使用)に対して、
➢ BoxやZonotopeを用いた抽象解釈技法(Abstract Interpretation)を適
用し、入力＋摂動の上界領域に対するFNN/CNN出力を上界領域で近似し、
➢ その上界領域が”正解ラベルとなるかを検証”、”正解ラベルとなるよう学習”
◼ 抽象解釈技法(Box, Polyhedron, Zonotope)
➢ Abstract interpretation frameworks
https://ropas.snu.ac.kr/~kwang/520/readings/absint/Cousot-JLC-1992.pdf
◼ 検証手法
➢ AI2: Safety and Robustness Certification of Neural Networks with Abstract
Interpretation https://ieeexplore.ieee.org/document/8418593/
https://www.cs.rice.edu/~sc40/pubs/ai2.pdf ← これが分かり易い気がする。
◼ 学習手法
➢ Differentiable Abstract Interpretation for Provably Robust Neural Networks
http://proceedings.mlr.press/v80/mirman18b/mirman18b.pdf
XX for ML 論文読み会 #1 6

7. 抽象解釈技法(Abstract Interpretation) [1/5]
◼ 概要
➢ プログラムの入力集合に対する性質(プロパティ)が満たされるか否かを、プ
ログラムを直接実行する事なく検証する技術。
➢ 形式的には、関数 f : 𝒎 → 𝒏、入力集合 X ∈ 𝒎、プロパティ C ∈ 𝒏 と
して、∀ഥ𝒙 ∈X. f ഥ𝒙 ∈C が成立つか否かを、関数 f を X の各要素に対して直
接実行する事なく検証する技術。
◼ 関数のリフト(Lift of Function)
➢ 関数 f を、入力集合 X を直接扱うためにLift。関数の型定義のようなもの。
XX for ML 論文読み会 #1 7
𝑻 𝒇 : P 𝒎
→ P 𝒏
, concrete transformer
ഥ𝒙 ∈ 𝐗 ↦ 𝑻 𝒇 𝐗 = 𝒇 ഥ𝒙 |ഥ𝒙 ∈ 𝐗
f : 𝒎 → 𝒏
∈
∈
ഥ𝒙 ↦ 𝒇 ഥ𝒙
∈
∈
Lift 依然として具体的な入力集合
を直接扱っている！

8. ◼ 抽象領域：Abstract Domain
➢ 4点集合 X={(0,1),(1,1),(1,3),(2,2)} に対する抽象領域
➢ Interval (Box)
✓ 区間の積集合
✓ Ex. 左図の灰色の正方形
➢ Zonotope
✓ 中心対称な凸閉Polyhedron
✓ Ex. 左図の薄青色の中心対称な6角形
➢ Polyhedra
✓ 線形不等式系で表される多面体
✓ Ex. 左図の灰色の四角形
抽象解釈技法(Abstract Interpretation) [2/5]
XX for ML 論文読み会 #1
8
𝐁 = 𝟎 ≤ 𝐱 𝟏 ≤ 𝟐, 𝟏 ≤ 𝐱 𝟐 ≤ 𝟑
z 𝝐 𝟏, 𝝐 𝟐, 𝝐 𝟑 = 𝟏 + 𝟎. 𝟓𝝐 𝟏 + 𝟎. 𝟓𝝐 𝟐, 𝟐 + 𝟎. 𝟓𝝐 𝟏 + 𝟎. 𝟓𝝐 𝟑
𝝐 𝟏, 𝝐 𝟐, 𝝐 𝟑 ∈ −𝟏, 𝟏 𝟑
𝐂 = 𝐱 𝟐 ≤ 𝟐𝐱 𝟏 + 𝟏, 𝐱 𝟐 ≤ 𝟒 − 𝐱 𝟏, 𝐱 𝟐 ≥ 𝟏, 𝐱 𝟐 ≥ 𝐱 𝟏
𝜸 𝟐
𝜶 𝟐
𝑿 = 𝟎, 𝟏 , 𝟎, 𝟐 , 𝟏, 𝟏 , 𝟏, 𝟐 , 𝟏, 𝟑 , 𝟐, 𝟐 , 𝟐, 𝟑

9. 抽象解釈技法(Abstract Interpretation) [3/5]
◼ Abstract Transformers
➢ Abstract Domain 𝑨 𝒎: 次元𝒎のベクトル集合、変数値𝒙 𝟏, ⋯ , 𝒙 𝒎を持つ
➢ Abstraction function 𝜶 𝒎: P 𝒎 → 𝑨 𝒎
➢ Concretization function 𝜸 𝒎: 𝑨 𝒎 → P 𝒎
➢ Abstract transformer
➢ Abstract transformerがSound(頑健)
✓ 抽象領域に対して求めた像から得られる具体的な像は、具体的な入力集合に対して求め
た像を必ず包含するとき、Abstract transformerを頑健という。
XX for ML 論文読み会 #1 9
𝑻 𝒇
#
: 𝑨 𝒎 → 𝑨 𝒏, abstract transformer
𝑻 𝒇 : P 𝒎 → P 𝒏 , concrete transformer
𝜸 𝒎
𝜸 𝒏
∀𝒂 ∈ 𝑨 𝒎
. 𝑻 𝒇 𝜸 𝒎
𝒂 ⊆ 𝜸 𝒏
𝑻 𝒇
#
𝒂
抽象領域を扱っている！
𝜶 𝒎
𝜶 𝒏

10. 抽象解釈技法(Abstract Interpretation) [4/5]
◼ Abstract Transformersの合成
➢ 関数 𝒇, 𝒈 のAbstract transformer： 𝑻 𝒇
#
, 𝑻 𝒈
#
➢ 関数合成 𝒇 ∘ 𝒈 のAbstract transformer： 𝑻 𝒇
#
∘ 𝑻 𝒈
#
XX for ML 論文読み会 #1 10
𝑻 𝒇 ∘ 𝑻 𝒈: P 𝒎 → P 𝒏 → P 𝒍
ഥ𝒙 ∈ 𝐗 ↦ 𝑻 𝒈 𝐗 ↦ 𝑻 𝒇 𝑻 𝒈 𝐗 = 𝒇 𝒈 ഥ𝒙 |ഥ𝒙 ∈ 𝐗
𝒇 ∘ 𝒈: 𝒎
→ 𝒏
→ 𝒍
∈
∈
ഥ𝒙 ↦ 𝒈 ഥ𝒙 ↦ 𝒇 𝒈 ഥ𝒙
∈
∈
Lift
∈
∈
𝑻 𝒇
#
∘ 𝑻 𝒈
#: 𝑨 𝒎 → 𝑨 𝒏 → 𝑨𝒍
𝜸 𝒎 𝜸 𝒏
𝜸𝒍𝜶 𝒎 𝜶 𝒏
𝜶𝒍

11. 抽象解釈技法(Abstract Interpretation) [5/E]
◼ 性質検証：Property Verification
➢ Abstract transformerがSoundであるとの仮定の下、下記が成立
✓ 即ち、抽象出力が性質を満たすならば、それに含まれる具象出力は全て性質を満たす。
✓ 但し、具象出力全てが性質を満たす場合であっても、抽象領域の選択によっては性質を
満たす事が示せない場合もある。
• Soundnessしか仮定出来ないので、当然 False Negative が起り得る。
➢ 例：先の4点集合に対し一次変換を適用した結果に対する性質検証
✓ 性質
• Box ：満たさない
• Zonotope：満たす
• Polyedra ：満たす
XX for ML 論文読み会 #1 11
Abstract transformer 𝑻 𝒇
#
の出力 𝒂 = 𝑻 𝒇
#
𝑿 と性質 𝑪 に対して、
𝜸 𝒎
𝒂 ⊆ 𝑪 ⟹ 𝑻 𝒇 𝑿 ⊆ 𝑪
𝑪 = 𝒚 𝟏, 𝒚 𝟐 ∈ 𝟐|𝒚 𝟏 ≥ −𝟐

12. Interval Domain
◼ 定義
➢ Interval Domainの要素を ペア 𝒃 = 𝒃 𝐂, 𝒃 𝐁 として定義
✓ ここで、𝒃 𝐂 ∈ 𝒑
はBoxの中心を表し、 𝒃B ∈ ≥𝟎
𝒑
は中心からの非負の逸
脱を表す
➢ 具象化関数 𝜸𝐈 を 𝜸𝐈 𝒃 = 𝒃 𝐂 + 𝐝𝐢𝐚𝐠 𝒃 𝐁 ∙ 𝜷|𝜷 ∈ −𝟏, 𝟏 𝒑
として定義
✓ ここで、 𝐝𝐢𝐚𝐠 𝒃 𝐁 は対角成分が 𝒃 𝐁 の各成分に対応する 𝒑 × 𝒑 対角行列
であり、𝜷 は具象化対象を指定するエラーベクトルを表す。
➢ Box 𝒃 の i番目の要素に関し、下記を定義
✓ total error を、𝝐𝐈 𝒃 𝐢 = 𝒃 𝐁 𝐢
✓ interval concretization を、𝜾𝐈 𝒃 𝐢 = 𝒃 𝐂 𝐢 − 𝝐𝐈 𝒃 𝐢, 𝒃 𝐂 𝐢 + 𝝐𝐈 𝒃 𝐢
XX for ML 論文読み会 #1 12

13. Zonotope Domain [1/2]
◼ 定義
➢ Zonotope Domainの要素を ペア 𝒛 = 𝒛 𝐂, 𝒛 𝐄 として定義
✓ ここで、𝒛 𝐂 ∈ 𝒑 はZonotopeの中心を表し、 𝒛 𝑬 ∈ 𝒑×𝒎 は、エラーベ
クトル 𝒆 ∈ −𝟏, 𝟏 𝒎 とm番目の出力要素の線形な関係を表す
➢ 具象化関数 𝜸 𝒁 を 𝜸 𝒁 𝒛 = 𝒛 𝐂 + 𝒛 𝐄 ∙ 𝒆|𝒆 ∈ −𝟏, 𝟏 𝒎 として定義
➢ Zonotope 𝐳 の i番目の要素に関し、下記を定義
✓ total error を、𝝐 𝐙 𝒛 𝐢 = σ𝒋=𝟏
𝒎
𝒛 𝐄 𝒊,𝒋
✓ interval concretization を、𝜾 𝐙 𝒛 𝐢 = 𝒛 𝐂 𝐢 − 𝝐 𝐙 𝒛 𝐢, 𝒛 𝐂 𝐢 + 𝝐 𝐙 𝒛 𝐢
➢ 互いに重なりのないN個のZonotopeから成る集合を、ZonotopeN と呼ぶ。
XX for ML 論文読み会 #1 13

14. Zonotope Domain [2/E]
◼ 性質
➢ 加算と定数倍で閉じている ∴Affine変換で閉じている
✓ 𝒛 𝐂 + 𝒛 𝐄 ∙ 𝒆 はAffine式であるため、Affine変換してもAffine式
➢ Meet演算 ：一般にOver-approximationとなり精度が落ちる
✓ ∀𝒅 𝟏, 𝒅 𝟐 ∈ 𝑨. 𝜸 𝒁 𝒅 𝟏 ⋂𝜸 𝒁 𝒅 𝟐 ⊆ 𝜸 𝒁 𝒅 𝟏 ⊓ 𝒅 𝟐
➢ Join演算 ：一般にOver-approximationとなり精度が落ちる
✓ ∀𝒅 𝟏, 𝒅 𝟐 ∈ 𝑨. 𝜸 𝒁 𝒅 𝟏 ∪ 𝜸 𝒁 𝒅 𝟐 ⊆ 𝜸 𝒁 𝒅 𝟏 ⊔ 𝒅 𝟐
➢ 上記演算の任意の合成に対応するAbstract transformerは、Sound
➢ Interval Domainより真に表現能力が高い
✓ Interval Domainにおいて、𝒛 𝐂 = 𝒃 𝐂, 𝒛 𝐁 = 𝐝𝐢𝐚𝐠 𝒃 𝐁 とすればZonotope
が得られる。
XX for ML 論文読み会 #1 14
⊓
⊔

15. ZonotopeでのReLU演算の扱い
◼ ナイーブな方法：並列処理に不向き
➢ 𝐑𝐞𝐋𝐔 𝒙 = 𝐦𝐚𝐱 𝒙, 𝟎
➢ 𝐑𝐞𝐋𝐔𝒊 : 入力ベクトルの i 番目の成分にのみ 𝐑𝐞𝐋𝐔 を適用する関数
➢ 従って、𝐑𝐞𝐋𝐔 = 𝐑𝐞𝐋𝐔 𝒑 ∘ 𝐑𝐞𝐋𝐔 𝒑−𝟏 ∘ ⋯ ∘ 𝐑𝐞𝐋𝐔 𝟐 ∘ 𝐑𝐞𝐋𝐔 𝟏
➢ それ故、𝐑𝐞𝐋𝐔の Abstract transformerは、下記合成で定義される
✓ 𝑻 𝐑𝐞𝐋𝐔
#
= 𝑻 𝐑𝐞𝐋𝐔 𝒑
#
∘ 𝑻 𝐑𝐞𝐋𝐔 𝒑−𝟏
#
∘ ⋯ ∘ 𝑻 𝐑𝐞𝐋𝐔 𝟐
#
∘ 𝑻 𝐑𝐞𝐋𝐔 𝟏
#
✓ 𝑻 𝐑𝐞𝐋𝐔 𝒊
#
𝒅 = 𝒅 ⊓ 𝒙𝐢 ≥ 𝟎 ⊔ 𝒅 ⊓ 𝒙𝐢 < 𝟎
➢ Meet演算⊓の結果が空となる場合があるため、以下を満たす ⊥∈ A を導入。
✓ 𝜸 𝒁 ⊥ =
✓ ⊥⊓ E =⊥
✓ ∀𝒂 ∈ A. 𝒂 ⊔ ⊥= 𝒂
✓ ここで、 E は線形不等式の論理積で表される線形表現
XX for ML 論文読み会 #1 15

16. 検証手法概要
◼ 入力＋摂動の領域上界を与え、出力の領域上界近似を算出し、性質検証
➢ Zonotopeの単純な算出方法と、結果がZonotopeとなる演算を利用して、
各LayerのAbstract transformerを定義し、これらを合成。そんだけ。
✓ 複数の互いに素なN個のZonotopeからなる集合を、ZonotopeNと呼ぶ
➢ 抽象解釈技法を適用する対象は、FNN/CNN(ReLU)。ここがミソ！
✓ つまりDAG(Directed Acyclic Graph)なので、グルグル回って領域上界近似
が発散する、という事を考えなくて良い！
✓ プログラム解析で用いる場合は、グルグル回っても発散しないよう工夫が必要。そうならないよ
うな上手な束(Lattice)の定義とか、束上の不動点計算とか、難しくて良く分からない議論をする。
• 例えば、浮動小数に対する良い固定小数近似を求める、といった応用もあったりする。
• みんな大好き、Facebook公開ツールInferも、分離論理＋抽象解釈技法 を活用。
➢ しかも、Zonotopeに対するAffine変換の結果はZonotope
✓ FNN/CNN(ReLU)のReLUを除く各Layerが概ねAffine変換である事、を示せ
ば、ReLU演算が定義済みなので、愚直にZonotopeを用いた領域上界近似を算
出し性質検証するのみ。 XX for ML 論文読み会 #1 16

17. CNNのReLUを除く各Layerは概ねAffine変換
◼ Convolution Layer
➢ Im2colで行列演算に変形可能であるため自明。
◼ Max Pooling Layer
➢ 入力を1次元ベクトルに変換
✓ (n,m,r)行列のn×m×rの長さの一次元ベクトルへの変換なので、これは線形変換
➢ 順次Maxを取得する対象が現れるよう一次元ベクトルの順番入替
✓ (n×m×r,1)行列の列の入替とみなせば、線形変換の積で表現可能
➢ Max取得対象部分ベクトルをMax値1つに置換し、これを繰り返す
✓ 最大値となるベクトル要素位置の場合分けに応じ、当該最大値一つをだけを残してラン
ク落ちさせる行列変形、即ち、条件付きの線形変換の和集合 (Affine変換ではない)
✓ 各場合分けの条件式”⋀要素値の大小比較”とそれに対応する線形変換をMeet演算⊓して
Zonotopeを構成し、得られたものを全てをJoin⊔すれば、Zonotopeが得られる。
✓ ZonotopeNでは、Meet演算結果のZonotopeで互いに素なものは概ねそのまま扱う。
◼ Fully Connected Layer
➢ 定義から自明にAffine変換 ∴FNN(ReLU)も同様に扱える！
XX for ML 論文読み会 #1 17

18. ZonotopeNがLayer毎に算出されるイメージ
XX for ML 論文読み会 #1 18

19. 性質検証 [1/2]
XX for ML 論文読み会 #1 19
◼ ロバスト条件
➢ Neural Network 𝐍: 𝒎 → 𝒏のロバスト条件 𝑿, 𝑪 ∈ P 𝒎 × P 𝒏
➢ 𝐍 がロバスト条件 𝑿, 𝑪 を満たす⇔ ∀ഥ𝒙 ∈ 𝑿. 𝑵 ഥ𝒙 ∈ 𝑪
◼ ロバスト条件の充足可能性判定における十分条件
➢ 𝜸 𝒏 𝑻 𝑵
#
𝜶 𝒎 𝑿 ⊆ 𝑪 ⇒ 𝑵 は 𝑿, 𝑪 を満たす
➢ 証明
✓ 上記左辺の条件を満たすと仮定。
✓ Soundness条件 ∀𝒂 ∈ 𝑨 𝒎. 𝑻 𝑵 𝜸 𝒎 𝒂 ⊆ 𝜸 𝒏 𝑻 𝑵
#
𝒂 と、 𝑨 𝒎 = 𝜶 𝒎 𝑿 とから、
𝑻 𝑵 𝜸 𝒎 𝜶 𝒎 𝑿 ⊆ 𝜸 𝒏 𝑻 𝑵
#
𝜶 𝒎 𝑿 が得られ、仮定 𝜸 𝒏 𝑻 𝑵
#
𝜶 𝒎 𝑿 ⊆ 𝑪 より、
𝑻 𝑵 𝜸 𝒎 𝜶 𝒎 𝑿 ⊆ 𝑪 が成立。
✓ Liftの定義から、 𝑻 𝑵 𝜸 𝒎 𝜶 𝒎 𝑿 = 𝑵 ഥ𝒙 |ഥ𝒙 ∈ 𝜸 𝒎 𝜶 𝒎 𝑿 ⊆ 𝑪。
✓ 𝜶 𝒎
と𝜸 𝒎
の定義から、 𝐗 ⊆ 𝜸 𝒎
𝜶 𝒎
𝑿 。 故に、∀ഥ𝒙 ∈ 𝑿. 𝑵 ഥ𝒙 ∈ 𝑪 が成立。

20. 性質検証 [2/E]
XX for ML 論文読み会 #1 20
◼ 包含関係のチェック：空問題に帰着して実施
➢ 𝒂 = 𝑻 𝑵
#
𝜶 𝒎
𝑿 とする。
➢ 𝑪 がCNF形式 ⋀𝒊⋁𝒋 𝒍𝒊,𝒋で表されていると仮定。
✓ ここで、 𝒍𝒊,𝒋 は線形制約式とする。
✓ ¬ ⋀𝒊⋁𝒋 𝒍𝒊,𝒋 = ⋁𝒊⋀𝒋¬𝒍𝒊,𝒋
➢ 故に、 ∀𝒊. 𝒂 ⊓ ⋀𝒋¬𝒍𝒊,𝒋=⊥ を示せばよい。
✓ ¬𝒍𝒊,𝒋 が線形制約式であり、𝒂 が中心対称なPolyhedra、即ち線形不等式系である事に
注意すると、それらを併せた線形行列不等式(LMI)が解を持たない事を示せばよい。
• Fourier-Motzkin Projectionで実数解の有無確認を実施すれば良い。
https://en.wikipedia.org/wiki/Fourier%E2%80%93Motzkin_elimination

21. 既存の敵対的サンプル耐性テスト手法の改善
XX for ML 論文読み会 #1 21
◼ 既存の敵対的サンプル耐性テスト手法
➢ Deepxplore: Automated whitebox testing of deep learning systems
https://arxiv.org/abs/1705.06640
✓ MNIST 学習用入力データセットのPixelの輝度調整を行う事等での自動テスト環境
✓ Neuron Coverage指標を提案し利用 ➔ 石川先生のご紹介資料をご参照下さい。
◼ AI2での検証
➢ 入力＋摂動のモデル化
✓ 各入力 ഥ𝒙 ∈ 𝑿 ⊆ 𝒎
のロバスト領域 𝑺ഥ𝒙,𝜹 = ഥ𝒙′
∈ 𝑿|∀𝒊 ∈ 𝟏, 𝒎 . 𝟏 − 𝜹 ≤ 𝒙𝒊 ≤ 𝒙𝒊
′
∨ 𝒙𝒊
′
= 𝒙𝒊
✓ 実験では、𝜹 ∈ 𝚫 = 𝟎. 𝟎𝟎𝟏, 𝟎. 𝟎𝟎𝟓, 𝟎. 𝟎𝟐𝟓, 𝟎. 𝟎𝟒𝟓, 𝟎. 𝟎𝟔𝟓, 𝟎. 𝟎𝟖𝟓 ⊆ 𝟎, 𝟏 を利用。
✓ 他のPixelに関係なく一様に摂動を与えており、既存手法より厳しい検査。
➢ Neural Network 𝑵 の出力が満たすべき局所ロバスト条件 𝑿, 𝑪 𝐋
✓ ഥ𝒚 = 𝑵 ഥ𝒙 , ഥ𝒙 ∈ 𝑺ഥ𝒙,𝜹 が同じラベル y 𝐋 を持つ。
✓ 即ち、𝑪 𝐋 = ഥ𝒚 ∈ 𝒏 |
𝐚𝐫𝐠𝐦𝐚𝐱
𝒊 ∈ 𝟏, ⋯ , 𝒏
𝒚𝒊 = 𝑳

22. 実験結果
XX for ML 論文読み会 #1 22

23. 学習手法概要 [1/2]
◼ 概要
➢ 学習対象のNeural Network 𝑁𝜃: 𝒅 → 𝒌 への入力摂動 𝑩 𝝐 𝒙 = ሼ
ሽ
𝒚|ԡ
ԡ
𝒙 −
𝒚 ∞ < 𝝐 を 𝜋: 𝒅 → 𝑷 𝒅 として抽象化して表現し、
➢ 検証手法と同様に、出力の上界近似領域を下記として求め、
𝓐 𝑵 𝜽,𝝅 𝒙 = 𝜸 𝒌
𝑻 𝑵 𝜽
#
𝜶 𝒅
𝝅 𝒙 , 𝐗 ⊆ 𝒅
✓ ここで、抽象領域としては、Hybrid Zonotopeを利用
• ReLUのAbstract transformerをBitwiseで定義し、並列実行可能に
➢ 損失関数 𝑳 𝑵 𝜽
𝓐
𝒙, 𝒚 = 𝒎𝒂𝒙 𝑳 ത𝒛, 𝒚 |ത𝒛 ∈ 𝓐 𝑵 𝜽,𝝅 𝒙 を定義し、式変形し、
✓ ここで、 𝑳 ത𝒛, 𝒚 ቊ
≤ 𝟎 𝒊𝒇 𝐚𝐫𝐠𝐦𝐚𝐱 𝒊 𝒛𝒊 ≠ 𝒚
< 𝟎 𝒊𝒇 𝐚𝐫𝐠𝐦𝐚𝐱 𝒊 𝒛𝒊 = 𝒚
➢ 学習 𝐦𝐢𝐧 𝜽 𝑳 𝑵 𝜽
𝓐
𝒙, 𝒚 を実施。実際には、softplus関数導入で収束性改善。
✓ 学習結果として不の値が得られれば、 𝑁𝜃 は学習データを正しく判別し、各学習データ
への摂動 𝜋 に対してロバストとなるハズ。
➢ 学習済みモデルに対して、入力摂動に対するロバスト性を検証。
XX for ML 論文読み会 #1 23

24. 学習手法概要 [2/E]
◼ 論文中に陽に記載されていない部分
➢ ReLUのAbstract transformerをPointwiseで定義しているが、この定義
でAbstract transformerがSoundnessを満たすか否か？
✓ 学習済みモデル生成後に必ずロバスト性の検証を行っているので、学習段階で用いる
Abstract transformerは必ずしもSoundでなくても良い？
✓ Experimental Resultを見る限りでは、学習では概ねBoxを利用している模様。
➢ 検証では、行列演算と、⊥ を含めたMeet演算とJoin演算で表現していた
MaxPoolingを、hSmoothを用いた学習ではどのように扱うのか？
✓ 精密なMeet/Join演算は、学習
には向かないので、検証と同じく
ZonotopeNとして扱う？
➢ 摂動 𝜋 が大きすぎると精度低下の
恐れがある。どのように 𝜋 を求め
るのか？
XX for ML 論文読み会 #1 24
MaxPoolingさん、どこ行ったん？

25. Hybrid Zonotope Domain [1/2]
◼ 定義
➢ Hybrid Zonotope Domainの要素を三つ組み 𝒉 = 𝒉 𝐂, 𝒉 𝐁, 𝒉 𝐄 として定義
✓ ここで、𝒉 𝐂 ∈ 𝒑
は中心を、 𝒉B ∈ ≥𝟎
𝒑
は各要素からの非負の逸脱を、
𝒉 𝑬 ∈ 𝒑×𝒎 はエラー係数を表す
➢ 具象化関数 𝜸 𝑯 を 𝜸 𝑯 𝒉 = ෡𝒉 𝜷, 𝒆 |𝜷 ∈ −𝟏, 𝟏 𝒑, 𝒆 ∈ −𝟏, 𝟏 𝒎 として定義
✓ ここで、 ෡𝒉 𝜷, 𝒆 = 𝒉 𝐂 + 𝐝𝐢𝐚𝐠 𝒉 𝐁 ∙ 𝜷 + 𝒉 𝐄 ∙ 𝒆
✓ また、 𝐝𝐢𝐚𝐠 𝒉 𝐁 は対角成分が 𝒉 𝐁 の各成分に対応する 𝒑 × 𝒑 対角行列。
➢ Hybrid Zonotope 𝐳 の i番目の要素に関し、下記を定義
✓ total error を、𝝐 𝑯 𝒉 𝐢 = 𝒉 𝐁 𝐢 + σ𝒋=𝟏
𝒎
𝒉 𝐄 𝒊,𝒋
✓ interval concretization を、𝜾 𝐇 𝒉 𝐢 = 𝒉 𝐂 𝐢 − 𝝐 𝐇 𝒉 𝐢, 𝒉 𝐂 𝐢 + 𝝐 𝐇 𝒉 𝐢
XX for ML 論文読み会 #1 25

26. Hybrid Zonotope Domain [2/E]
◼ 性質
➢ 加算と定数倍で閉じている ∴Affine変換で閉じている
✓ 𝒉 𝐂 + 𝐝𝐢𝐚𝐠 𝒉 𝐁 ∙ 𝜷 + 𝒉 𝐄 ∙ 𝒆 はAffine式であるため、Affine変換しても
Affine式
➢ Meet演算 ：ある条件の下では、精度を落とさない演算が可能
✓ ∀𝒅 𝟏, 𝒅 𝟐 ∈ 𝑨 𝐬𝐚𝐭𝐢𝐬𝐟𝐲𝐢𝐧𝐠 𝐬𝐨𝐦𝐞 𝐜𝐨𝐧𝐝𝐭𝐢𝐨𝐧. 𝜸 𝐇 𝒅 𝟏 ⋂𝜸 𝐇 𝒅 𝟐 = 𝜸 𝐇 𝒅 𝟏 ⊓ 𝒅 𝟐
➢ Join演算 ：ある条件の下では、精度を落とさない演算が可能
✓ ∀𝒅 𝟏, 𝒅 𝟐 ∈ 𝑨 𝐬𝐚𝐭𝐢𝐬𝐟𝐲𝐢𝐧𝐠 𝐬𝐨𝐦𝐞 𝐜𝐨𝐧𝐝𝐭𝐢𝐨𝐧. 𝜸 𝐇 𝒅 𝟏 ∪ 𝜸 𝐇 𝒅 𝟐 = 𝜸 𝐇 𝒅 𝟏 ⊔ 𝒅 𝟐
➢ Meet/Join演算の計算量は、𝛀 𝒎 𝟑 +𝒏 𝟐∙ 𝒑 であり学習での利用は厳しい。
➢ Zonotope Domainは、Hybrid Zonotopeとして表現可能
✓ Zonotope Domainにおいて、𝒉 𝐂 = 𝒛 𝐂, 𝒛 𝐁 = 𝟎, 𝒉 𝐄 = 𝒛 𝐄とすれば
Zonotopeが得られる。
XX for ML 論文読み会 #1 26
⊓
⊔

27. (Hybrid) ZonotopeでのReLU演算の扱い
XX for ML 論文読み会 #1 27
(hSwitch, hSmooth)も同様に定義可能。但し、新たなエラー
を導入するのではなく、𝒉 𝐁のi番目の要素にエラーを畳み込む。
◼ Pointwiseでの演算方法：並列処理に向く (コピペでごめん ＞＜; )
➢ Pointwiseに 𝒎𝒊𝒏 𝜾 𝐙 𝒛 𝐢 で場合分けし、Interval Concretizationを調整

28. 既存の敵対的サンプル耐性学習の結果と比較
XX for ML 論文読み会 #1 28
◼ 既存の敵対的サンプル耐性学習手法
➢ Towards Deep Learning Models Resistant to Adversarial Attacks
https://arxiv.org/abs/1706.06083
➢ PGD(Projected Gradient Descent)攻撃耐性のあるNeural Network学習手法？
◼ 既存手法とDIFFAI(提案手法)の比較結果
⚫ テストエラーが1%であり、
Baselineより改善
⚫ 攻撃テストエラー上限が3.6%
であり、既存手法の下限2.6%
に肉薄している。

29. 所感：Safety Critical Systemでは利用困難 [1/2]
◼ 判別器としてのNeural Networkは、非可逆圧縮関数のようなものであ
り、暗号プリミティブが持つ性質を一切持たない。
➢ ランダム置換と識別不能でもないし、まして一方向性関数の候補でもない。
➢ 敵対的サンプルの生成は、異なる2つの入力での出力衝突を求める問題、と解釈可能。
✓ 一方向性関数の候補ではないので、そりゃ見つかるでしょ。
✓ ロバスト性を無限に向上出来たとしても、モデル反転やメンバシップ推定がより脅威に。
• 入力集合と出力ラベルの対応が概ね一対一に漸近すると考えられるため
XX for ML 論文読み会 #1 29
Aに分類され
るべきデータ
集合
Bに分類され
るべきデータ
集合
𝒂, 𝒃′ ∈ 𝑨
𝒂
𝒃′
出力衝突

30. 所感：Safety Critical Systemでは利用困難 [2/E]
◼ 機能安全やセキュリティの対策での勘所
➢ 事業リスクの明確化と、それに至る脅威や脆弱性、及び対策案の列挙
✓ 入力画像の誤判別が事業リスクそのものとなる事は、恐らくレアケース
➢ 重要な暗黙の仮定は、勘所となる脅威はその発生が検知可能である事。
✓ PID制御では、エラー信号と基準信号をコンパレータで比較し検知
• (脅威となる)エラーを検知可能としたまま、ロバスト制御を導入
✓ 無理と判れば、縮退運用など決まった手順・運用で、安全確保が可能
➢ Neural Networkは概ね教えた通りに働いてくれる良い子なので、
① 可能であれば、拾い食いしないよう適切に監視・管理すべき
② “おかしなものを食べた”という事実を如何に検知するかが重要
Ex1. マルチセンシングでの多数決判定による対策
Ex2. 自動運転であれば、登録3D地図との齟齬検知による対策
• 但し、3D地図配送では結果整合性保証が恐らく限界なので、ゼロデイ攻撃の可能性あり
③ 少々おかしなものを食べてても大丈夫な体になる(ロバスト性向上)より
は、①や②が優先されるべき。何も言わずに突然の誤判別は辛過ぎる。
XX for ML 論文読み会 #1 30

31. 参考文献 [1/4]
◼ 主要論文とスライド
1. Martin Vechev, "AI2: AI Safety and Robustness with Abstract Interpretation",
Summit on Machine Learning meets Formal Mwthods, 13th July 2018.
http://qav.cs.ox.ac.uk/FLoC/Vechev.pdf
2. Timon Gehr, Matthew Mirman, Dana Drachsler-Cohen, Petar Tsankov, Swarat
Chaudhuri, and Martin Vechev, "AI2: Safety and Robustness Certification of
Neural Networks with Abstract Interpretation", In Proc. of IEEE Symposium on
Security and Privacy (SP), 2018.
https://ieeexplore.ieee.org/document/8418593/
https://www.cs.rice.edu/~sc40/pubs/ai2.pdf
3. Matthew Mirman, Timon Gehr, and Martin Vechev, "Differentiable Abstract
Interpretation for Provably Robust Neural Networks", In Proc. of ACM ICML,
2018. http://proceedings.mlr.press/v80/mirman18b/mirman18b.pdf
XX for ML 論文読み会 #1 31

32. 参考文献 [2/4]
◼ 抽象解釈
4. Patrick Cousot and Radhia Cousot, "Abstract interpretation frameworks", Journal
of Logic and Computation, No.2, Vol.4, pp.511-547, August 1992.
https://ropas.snu.ac.kr/~kwang/520/readings/absint/Cousot-JLC-1992.pdf
5. Khalil Ghorbal, Eric Goubault, and Sylvie Putot, "The Zonotope Abstract Domain
Taylor1+", In Proc of International Conference on Computer Aided Verification
(CAV), 2009.
http://www.lix.polytechnique.fr/Labo/Khalil.Ghorbal/publi/ghorbal-cav09.pdf
6. Eric Goubault, Tristan Le Gall and Sylvie Putot, "An Accurate Join for Zonotopes,
Preserving Affine Input/Output Relations", Electronic Notes in Theoretical
Computer Science, 2012.
http://www.lix.polytechnique.fr/Labo/Sylvie.Putot/Publications/nsad12.pdf
XX for ML 論文読み会 #1 32

33. 参考文献 [3/4]
◼ 敵対的サンプル
7. Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy, "Explaining and Harnessing
Adversarial Examples", arXiv preprint, arXiv:1412.6572, 2014.
https://arxiv.org/abs/1412.6572
8. Anish Athalye, Nicholas Carlini, and David Wagner, "Obfuscated Gradients Give a False
Sense of Security: Circumventing Defenses to Adversarial Examples", In Proc of ACM
ICML, 2018. https://arxiv.org/abs/1802.00420
9. Kexin Pei, Yinzhi Cao, Junfeng Yang, and Suman Jana. "Deepxplore: Automated Whitebox
Testing of Deep Learning Systems", In Proc. of the 26th Symposium on Operating
Systems Principles (SOSP), pp.1-18, 2017.
http://www.cs.columbia.edu/~junfeng/papers/deepxplore-sosp17.pdf
10. Nicolas Papernot, Patrick McDaniel, Ian Goodfellow, Somesh Jha, Z. Berkay Celik, and
Ananthram Swami, "Practical Black-Box Attacks against Machine Learning", In Proc. of
ACM Asia Conference on Computer and Communications Security, 2017.
https://arxiv.org/abs/1602.02697
11. Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian
Vladu, "Towards Deep Learning Models Resistant to Adversarial Attacks", In Proc. of ICML
2017 Workshop on Principled Approaches to Deep Learning, 2017.
https://arxiv.org/abs/1706.06083 https://www.padl.ws/papers/Paper%2019.pdf
XX for ML 論文読み会 #1 33

34. 参考文献 [4/E]
◼ Causative攻撃
12.Luis Munoz-Gonzalez, Battista Biggio, Ambra Demontis, Andrea Paudice, Vasin
Wongrassamee, Emil C. Lupu, and Fabio Roli, "Towards Poisoning of Deep
Learning Algorithms with Back-gradient Optimization", In Proc. of the 10th ACM
Workshop on Artificial Intelligence and Security (AISec), pp.27-38, 2017.
https://arxiv.org/abs/1708.08689
◼ モデル反転
13.Kosuke Kusano, and Jun Sakuma, "Classifier-to-Generator Attack: Estimation of
Training Data Distribution from Classifier", In Submission to ICLR, 2018.
https://openreview.net/pdf?id=SJOl4DlCZ
◼ メンバシップ推定
14.Matthew Fredrikson, Eric Lantz, Somesh Jha, Simon Lin, David Page, and
Thomas Ristenpart, "Privacy in Pharmacogenetics: An End-to-End Case Study of
Personalized Warfarin Dosing", In Proc. of the 23rd USENIX Security Symposium,
2014. https://www.usenix.org/node/184490
XX for ML 論文読み会 #1 34