人工知能学会全国大会2021年の発表に使用したスライド 斉次応答性ニューラルネットワークについて Oral presentation at JSAI 2021 About homogeneous responsive neural networks. GitHub: https://github.com/tk-yoshimura English Version: https://www.slideshare.net/TakumaYoshimura2/jsai-2021-4g2gs2k05-homogeneous-responsive-activation-function-yamatani-activation-and-application-to-singleimage-superresolution

1. 1
斉次応答性活性化関数 Yamatani Activation と
単一画像超解像への応用
Homogeneous responsive activation function
"Yamatani Activation"
and application to
single-image super-resolution
吉村拓馬
JSAI2021 4G2-GS-2k-05
2021/6/11 12:20 - 12:40
https://github.com/tk-yoshimura

2. 2
ニューラルネットワークは非線形回帰モデル
●
そもそも線形性 (Linearity) って？ 線形 ⇔ 非線形
加法性、斉次性がともに満たされること
●
加法性 (Additivity)
関数 f が加法性を満たすとは
入力それぞれの関数 f の出力の和と
入力の和に対する関数 f の出力が等しい

3. 3
斉次性 (Homogeneity) とは？
● 斉次性 ( せいじ - 性 )
関数 f が ( 1 次の ) 斉次性を満たすとは
入力が k 倍されると出力が k 倍される性質のこと
● 斉次関数のグラフは原点に対し点対称で、スケール不変的

4. 4
斉次関数の正例 / 負例
● 正例 ●
負例

5. 5
斉次応答性ニューラルネットワーク
● 一般のニューラルネットワーク
畳み込み層で線形変換
→活性化関数で非線形変換
任意の非線形関数を任意精度で近似できる
●
斉次応答性ニューラルネットワーク
畳み込み層で線形変換
→斉次性を満たす活性化関数で非線形変換
任意の斉次関数を任意精度で近似できる

6. 6
斉次応答性活性化関数 Yamatani Activation
● 定義
入力 x,y, スロープパラメータ s ( 本研究では s=0) に対し
以下の式で与えられる 2 変数関数 *
● 性質
斉次性を満たし、加法性を満たさない
*
1 変数の斉次関数は比例関数のみで、加法性も同時に満たす線形関数である。
従って斉次応答性活性化関数は 2 変数以上を要する。
Yamatani の由来は折り紙の山折り谷折りから。

7. 7
斉次応答性活性化関数 Yamatani Activation
● y が大きいとき x への Relu として作用 x が大きいときも同様
●
入力 2 変数の直交性 - 並行性によって応答のスパース性が変化
並行 直交 逆行
Dense ← → Sparse

8. 8
斉次応答性畳み込み層 Yamatani Convolution
● Yamatani Activation を用いて
斉次応答性を満たす畳み込み層を構成
入力 :v, 畳み込みパラメータ ( 学習対象 ):W1, W2
畳み込み和 : *
● バイアスパラメータは用いない＊
＊バイアスパラメータを用いると斉次応答性が失われるため、本研究の主題としない。

9. 9
斉次応答性畳み込み層 Yamatani Convolution
● 入力ベクトル v に対し斉次性を満たす
任意の関数 h との和も斉次性を満たす
h が恒等関数ならば Residual Connection†
に相当
† Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun: Deep Residual Learning for Image Recognition, CVPR, 2015 ．

10. 10
斉次応答性畳み込み層 Yamatani Convolution
● 斉次性を満たす任意の関数 h の出力を
Yamatani Convolution の入力とした場合も斉次性を満たす
→ Yamatani Convolution を再帰的に適用しても
入力ベクトル v に対する斉次性は保存される

11. 11
斉次応答性畳み込み層 Yamatani Convolution
● 層を深くすればより複雑な斉次関数を近似できる

12. 12
斉次応答性ニューラルネットワークの構成と検証
● 3 層の Yamatani Convolution ＋線形出力層を用い次の式を近似
● 学習時、半円上 (x≧0, x 2
+y 2
=1) の入出力対のみを与える
↑ 期待通り学習に与えていない領域も
Ground Truth に近づく

13. 13
斉次応答性ニューラルネットワークの構成と検証
● バイアスなし Relu ベースの NN だと・・・
学習に与えていない x<0 の領域が未学習で収束
● Yamatani Convolution を用いることで
任意の斉次関数を少ないデータ数で近似できる！

14. 14
単一画像超解像への応用
● より深い NN のテストとして単一画像超解像への応用を検証
●
画像微分成分に対し、バイリニア画像への超解像 NN の残差は
斉次性を満たすと仮定
●
斉次応答性ニューラルネットワークで次を保証
画像のコントラストが k 倍 → 微分成分が k 倍 → 残差も k 倍
画像が白黒反転 → 微分成分が正負反転 → 残差も正負反転

15. 15
Yamatani-based Homogeneous Super Resolution Network
● Yamatani Convolution からなる超解像モデル

16. 16
YHSRNv7 の学習画像
● 実画像に含まれる複雑なエッジパターンを学習させるため
人工画像を 4,456,448 枚生成
●
コントラストが限定的な学習画像であっても
斉次応答性があることで実画像のコントラストもカバー

17. 17
超解像結果

18. 18
超解像結果 (DIV2K valid 0828.png)

19. 19
超解像の性能評価
データセット
(ダウンサンプリング)
積和数 DIV2K
(valid, bicubic)
Random Pattern
(本研究生成画像, 面積平均法)
PSNR SSIM PSNR SSIM
Bicubic - - 31.27 0.897 25.77 0.930
DRRN DIV2K
(bicubic) 7.375M 33.33 0.929 28.04 0.956
VDSR DIV2K
(bicubic) 664.7K 33.47 0.935 27.93 0.962
YHSRN
Random
Pattern
(面積平均法)
222.0K 32.56 0.915 39.20 0.997

20. 20
超解像の性能評価
● DIV2K で本研究のモデル (YHSRNv7) が
比較対象の SR モデルより若干性能が悪かった
– 学習したダウンサンプリングが異なるのが原因？
( 本研究モデル : 面積平均法 他モデル : bicubic)
他の SR モデルの結果に比べ
不自然なエッジ や リンギングは少ないが
若干ぼやけ気味
– 学習画像は改善の余地あり？
実画像に含まれるパターンを追加すればより精度向上する？

21. 21
まとめ
● Yamatani Activation を用いて
一般のニューラルネットワークと同様の構造ストラテジーで
深い斉次応答性ニューラルネットワークを設計できる
●
厳密な斉次応答性を保証でき、挙動を制御しやすい
入力が反転すれば、出力が反転する
入出力のスケールが比例関係にあるとみなせる制御系で活用できる
一切の正規化を行う必要がない
補足 :
入力値に複数の奇関数を適用してから斉次応答性 NN に与えれば、原点対称性を満たすよう拡張できる

22. 22
Q. 超解像を試したい
● A. いずれ GitHub にて公開する予定
https://github.com/tk-yoshimura/
● 自作の機械学習フレームワークや
多倍長浮動小数点ライブラリ、乱数生成ライブラリなども公開中

23. 23
Q. リンギングとは？
● A. 輝度が大きく変化する領域の望ましくないオーバーシュートのこと

24. 24
Q. なぜ斉次応答性活性化関数は 2 変数である必要があるのか
● A. 斉次性を満たす 1 変数関数…線形性を満たす比例関数のみ
→非線形変換ができない

25. 25
Q. 加法応答性ニューラルネットワークは存在するのか
● 斉次性を満たさず、加法性を満たす
非線形なニューラルネットワークを作ることは出来るか
→ A. おそらく NO
∵ 有理値関数には
斉次性を満たさず加法性を満たす非線形関数が存在しない
＊
有理値関数 : 自由変数、従属変数がともに有理数の範囲で与えられる関数

26. 26
Q. 他に斉次応答性活性化関数は存在するのか
●
A. 存在する
たとえば・・・
●
最も“折り目”の少ない最小単位は Yamatani Activation ？
他の斉次応答性活性化関数は
Yamatani Activation を組み合わせる事によって近似可能

27. 27
Q. バイアスパラメータを用いる場合
Yamatani Activation は Relu などの活性化関数より良いのか
● A. Relu よりも効率よく非線形変換を行えるかは未検証
●
Yamatani Activation は Relu を含んでいるため
入力 x, y にバイアスを加えることで
Relu と同等の応答関数になることは確か

28. 28
Q. 奇関数への近似について詳しく
● 斉次応答性 NN の入力ベクトル v に対し
恒等関数を含む奇関数を複数適用する
●
v → {v, sgn(v )v 2
, v 3
, sgn(v )v 4
, ... }
sgn: 符号関数

29. 29
Q. 応答のスパース性について詳しく
● 入力 2 変数の直交性 - 並行性によって応答のスパース性が変化
並行 直交 逆行
線形従属 | 線形独立 | 線形従属
Dense ← → Sparse

30. 30
Q. まだ試していないこと
● 非対称性 Yamatani Convolution
斉次性より強い制約になる？
● 多次元拡張 Yamatani Activation
ゼロ勾配領域が大きい ( 3 次 : 全値域の 3/4 ) → 学習効率悪い？

31. 31
Q. なぜ平行線の超解像は難しいか
● A. 平行線の方向が異なる場合でもピッチが細かいとき
同様のピクセルパターンが表れうるため
実画像では花火や髪の毛、イラストでは頬の表現で見られる

32. 32
Q. 学習画像の生成法
● A. 複数の単位パターンを合成し、学習画像を生成
GitHub にて公開する予定
https://github.com/tk-yoshimura/