1. ICLR論文読み会
株式会社ARISE analytics
Akimoto Yusuke
©2022 ARISE analytics Reserved.
2022.07.08

2. Contents
©2022 ARISE analytics Reserved. 1
1 自己紹介
2 論文概要紹介
3 Transformerのおさらい
4 Pyraformer

3. 1. 自己紹介
©2022 ARISE analytics Reserved.
1 自己紹介
2 論文概要紹介
3 Transformerのおさらい
4 Pyraformer

4. はじめまして
©2022 ARISE analytics Reserved. 3
秋元 裕介
Yu s u ke A k i m o t o
担当領域
スキル
プロジェクト・取組
A R I S E a n a l y t i c s
 画像解析
 自然言語処理
 トラフィック・時系列・グラフ異常検知
 非構造データ解析（画像解析，自然言語処理
etc.）
 非構造データ分析アーキテクチャ（AWS, Edge
Device）
 複数台カメラによる同一人物判定
 画像処理による工場内での危険物検知
 車両通信の異常検知モデル構築
 生成系機械読解

5. 2. 論文概要紹介
©2022 ARISE analytics Reserved.
1 自己紹介
2 論文概要紹介
3 Transformerのおさらい
4 Pyraformer

6. PYRAFORMER
©2022 ARISE analytics Reserved. 5
画像出典：https://www.salesanalytics.co.jp/column/no00214/より
Pyraformer: Low-Complexity Pyramidal Attention for Long-Range
Time Series Modeling And Forcasting
Shizhan Liu, Hang Yu, Cong Liao, Jianguo Li, Weiyao Lin, Alex X. Liu, Schahram Dustdar
Implementation: https://github.com/alipay/Pyraformer

7. PYRAFORMER
©2022 ARISE analytics Reserved. 6
Transformer（Attention機構）を一般化
時系列予測に対して，複数の時間解像度でピラミッド型
のグラフを構築することにより予測精度を向上させた
学習時間・モデルサイズ・メモリ使用量を圧倒的に削減

8. 3. Transformer
©2022 ARISE analytics Reserved.
1 自己紹介
2 論文概要紹介
3 Transformerのおさらい
4 Pyraformer

9. Transformer
©2022 ARISE analytics Reserved. 8
画像出典：https://hips.hearstapps.com/digitalspyuk.cdnds.net/17/25/1498134404-transformers-dark-of-the-moon-bumblebee-poster.jpg
Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,
Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

10. Transformer（Attention）
©2022 ARISE analytics Reserved. 9
Self−Attention 𝑄, 𝐾, 𝑉 = Softmax
𝑄𝐾𝑇
𝑑𝑘
𝑉
𝑤ℎ𝑒𝑟𝑒
𝑄 = 𝑞1, … , 𝑞𝑛
𝑇 ∈ ℝ𝑛×𝑑𝑘
𝐾 = 𝑘1, … , 𝑘𝑛
𝑇
∈ ℝ𝑛×𝑑𝑘
𝑉 = 𝑣1, … , 𝑣𝑛
𝑇 ∈ ℝ𝑛×𝑑𝑘

11. 3. Pyraformer
©2022 ARISE analytics Reserved.
1 自己紹介
2 論文概要紹介
3 Transformerのおさらい
4 Pyraformer

12. PYRAFORMER
©2022 ARISE analytics Reserved. 11

13. PYRAFORMER
©2022 ARISE analytics Reserved. 12
PAM (Pyramidal Attention Module)
 Pyraformerのコアモジュールで複数解像度の時系列のデータを含む𝐶分木を入力として受け取ってAttentionを計算
ピラミッド内のあるノードの
上下左右のノードを凝集し
てAttentionするイメージ
Denotes:
𝑛𝑙
𝑠
: 𝑙−th node at scale 𝑠
𝐶: number of children
𝑠 = 1 … 𝑆: scale from bottom to top

14. PYRAFORMER
©2022 ARISE analytics Reserved. 13
CSCM (Coarser-scale construction module)
 入力の時系列データからConvolutionを組み合わせて 𝐶 分木構造を生成するモジュール
𝐵 : 𝑏𝑎𝑡𝑐ℎ 𝑠𝑖𝑧𝑒
𝐷 : 𝑑𝑖𝑚𝑒𝑛𝑡𝑖𝑜𝑛 𝑜𝑓 𝑎 𝑛𝑜𝑑𝑒
⇩
長さ𝐿/𝐶𝑠
の時系列データ
下から上に向
かって解像度を
下げていきます

15. PYRAFORMER
©2022 ARISE analytics Reserved. 14
実験設定と実験結果
Wind，App Flow，Electricity，ETTの4つのデータセットを使って評価を実施
評価指標はNRMSE（Normalized RMSE）とND（Normalized Deviation）
比較対象のモデルとしてFull-Attention，LogTrans，Reformer，ETC，Longformerを実験

16. PYRAFORMER
©2022 ARISE analytics Reserved. 15
実験設定と実験結果
 Pytransformerが軒並み既存手法
の精度を上回っている
 既存手法に比べて，𝐶分木のグラフ
構造が時系列の情報をうまくとらえて
いることが示唆される
 PytransformerはQ-Kのペア数が最
も少ない
⇨ 計算速度とメモリ効率が良い
 CSCMの影響でパラメータ数に関して
はPytransformerが少し多くなってい
るが，一方でモデルはとても軽量

17. PYRAFORMER
©2022 ARISE analytics Reserved. 16
実験設定と実験結果

18. Best Partner for innovation, Best Creator for the future.