SlideShare ist ein Scribd-Unternehmen logo
1 von 32
Downloaden Sie, um offline zu lesen
LSTMとは
RNNにおいて長い時系列データを処理する仕組み
LSTMとは?
 Long Short-Term Memory「長・短期記憶」のこと。
 そもそも単純なRNNでは長期にわたる記憶ができない。LSTMはこの問題
点を改善する1手法。
それってどういうこと?そもそもRNNってなんだっけ?
RNNってなんだったっけ・・・?
 Recurrent Neural Network(再帰型ニューラルネットワーク)の略。
 通常のDNNには時系列データを処理する仕組みがない。
 RNNは時系列データを処理できる。
RNNの順伝播における入力のしかた(1)
 画像 および を入力する場合
t=1, 2, 3
1 2 1
7 9 8
2 3 4
é
ë
ê
ê
ê
ù
û
ú
ú
ú
10 20 30
40 50 60
70 80 90
é
ë
ê
ê
ê
ù
û
ú
ú
ú
出力層 入力層中間層
1 2 1
7 9 8
2 3 4
t=1, 2, 3
0.1 0.2 0.2
0.6 0.2 0.7
0.3 0.6 0.1
1つ目の画像(データセット1)
画像1つが訓練データ1つに、縦のピクセルが入力層のノード番号に、
横のピクセルが入力順のt番目に、それぞれあたります。
入力順→
ノード番号1
2
3
RNNの順伝播における入力のしかた(2)
 画像 および を入力する場合
t=1, 2, 3
1 2 1
7 9 8
2 3 4
é
ë
ê
ê
ê
ù
û
ú
ú
ú
10 20 30
40 50 60
70 80 90
é
ë
ê
ê
ê
ù
û
ú
ú
ú
出力層 入力層中間層
10 20 30
40 50 60
70 80 90
t=1, 2, 3
0.8 0.4 0.1
0.1 0.2 0.9
0.1 0.4 0.0
2つ目の画像(データセット2) 入力順→
ノード番号1
2
3
1つのデータセットにおける誤差は
 n番目のデータセット における誤差 は
t=1
t=2
0
1
0
1
入力層 出力層中間層
an0
2
an0
1
an1
1
bn1
2
an1
2
bn0
2
bn0
1
bn1
1
yn0
1
yn1
1
yn1
2
yn0
1
0
1
0
1
0
1
0
1
目標値
出力値
誤差
入力値
bn0
1
bn0
2
bn1
1
bn1
2
é
ë
ê
ê
ù
û
ú
ú En
En = f ynk
t
,ank
t
( )
k
å
t
å f:誤差関数
ミニバッチの場合の誤差は・・・
 全N個のデータセットからm個のデータセットでミニバッチをつくる。
 このミニバッチを用いて確率的勾配降下法で学習する。
 まずn番目のデータセットの誤差 は
 これをm個データセットにわたり足す。
 例えば、誤差関数が交差エントロピー であれば
En
En = f ynk
t
,ank
t
( )
k
å
t=1,2
å である。
E = En
n=1
m
å = f ynk
t
,ank
t
( )
k
å
t=1,2
å
n=1
m
å
f ynk
t
,ank
t
( )= ank
t
logynk
t
E = dnk
t
logynk
t
k
å
t=1,2
å
n=1
m
å となる。
重みを更新するには何を求めればいい?
 RNNでは入力層 i 番目ノードから中間層 j 番目ノードへの t 時刻目にお
ける重み は
 ここで は と変形できます。
 そうすると、このδは などと出力側のδの関数として表さ
れます。
 よって、δは出力側から再帰的に次々と決まっていきます。
 そこでまず、各δを再帰的に求め、その後δから重みwの更新量を求め
ます。
wj
t
( )¢ = wj
t
-e
¶E
¶wj
t
wj
t
として更新します。
¶E
¶wj
t
=
¶E
¶uj
t
¶uj
t
¶wj
t
=dj
t ¶uj
t
¶wj
t
¶E
¶wj
t
dj
t
= f dk
t
( )
δを再帰的に求めれば、重みは求まる。これが誤差逆伝播法。
誤差逆伝播でδを求めてみる
 t=1における隠れ層ノード 0番目の はt=1の出力層からのδとt=2の
隠れ層からのδからなる
d0
1
= wk0
out,1
dk
out,1
+
k=0,1
å wj'0dj'
2
j'=0,1
å
æ
è
çç
ö
ø
÷÷ f ' u0
1
( )
d0
1
t=1
t=2
0
入力層 i 出力層 k中間層 j
∵ dj
t
=
¶E
¶uj
t
æ
è
çç
ö
ø
÷÷
d0
1
d0
out,1
d1
out,1
d1
2
d0
2
11
1
0
0
u0
1
RNNの勾配消失問題とは
 tが多くなると、隠れ層ノードのδは何度も掛け算される。
t=1
t=2
j=0
j=1
k=0
k=1
d0
1
= wk0
out,1
dk
out,1
+
k=0,1
å wj'0dj'
2
j'=0,1
å
æ
è
çç
ö
ø
÷÷ f ' u0
1
( )
t=3
d0
2
= wk0
out,2
dk
out,2
+
k=0,1
å wj'0dj'
3
j'=0,1
å
æ
è
çç
ö
ø
÷÷ f ' u0
2
( )
δが伝播するにつれてwやf’(u)が何度も
かけ算される
δは指数関数的に増加、もしくは減少
RNNの勾配消失問題とは
tが多くなると、隠れ層ノードのδにはwやf’(u)が何度も掛け算される
δは指数関数的に増加、もしくは減少する
勾配 も指数関数的に増加、もしくは減少する
¶E
¶w
=d
¶u
¶w
勾配消失問題を解決する
 Constant Error Carousel(CEC)で問題を解決する
入力層 出力層
uj
t
= wjixi
i
å
sj
t
= f uj
t
( )+sj
t-1
f uj
t
( ) zj
t
= f sj
t
( )sj
t
CECの順伝播は
 CECの順伝播は中央のメモリセルユニットから次の時刻のメモリセル
ユニットへ伝播する
入力層 出力層
CECの誤差逆伝播はδが消失しない
 CECの逆伝播は中央のメモリセルユニットから前の時刻へ伝播する
d0
1
= wk0
out,1
dk
out,1
+
k=0,1
å w0 j'dj'
2
æ
è
çç
ö
ø
÷÷ f ' u0
1
( ) d0
2
= wk0
out,2
dk
out,2
+
k=0,1
å w0 j'dj'
3
æ
è
çç
ö
ø
÷÷ f ' u0
2
( )
, なので、δは増加や減少
が少ない
勾配消失が起きにくい
f ' u( )=1
しかし全てのデータを記憶し続けるため、
外れ値やノイズも溜め込んでしまう
w0 j =1
CECへの入力を制御する
 Imput gateを設けてCECへの入力を制御する
 Imput gateは0から1の連続的な値をとり、0で入力を遮断し、1で入力
を全て通過させる
入力層 出力層
f
出力層へ流れる値も制御したい
f
0から1の連続的な値をとる
f
CECからの出力を制御する
 Output gateを設けてCECからの出力を制御する
 Output gateは0から1の連続的な値をとり、0で出力を遮断し、1で出
力を全て通過させる
入力層 出力層
f
CECの値がなかなか更新されない
f f
f
CECの値をすぐ更新できるようにする
 Forget gateを設けてCECからの再帰出力を制御する
 Forget gateは0から1の連続的な値をとり、0で出力を遮断し、1で出
力を全て通過させる
入力層 出力層
f
各gateへの入力は、現在の入力系列の
値と1時刻前の隠れ層からの出力である。
f f
f
f
後者はoutput gateで制御されるため、
隠れ状態が反映されない
長期依存を可能とするLSTM
 CECの記憶そのものをgateの制御に使う
入力層 出力層
f
f
f
f
f
LSTMの順伝播の計算(1)メモリセル
 メモリセルからの出力は入力と同じく、忘却ゲートからの出力と入力
ゲートからの出力からなる。
 ここで は同時刻の入力層からの出力と、1時刻前の中間層からの
出力の和である。
入力層
出力層
xi
t
,zj'
t-1
sj
t
= gj
I,t
f uj
t
( )+ gj
F,t
sj
t-1
uj
t
f
f uj
t
( )
gj
I,t
f uj
t
( )
sj
t
gj
F,t
sj
t-1
sj
t-1
uj
t
uj
t
= wji
in
xi
t
+
i
å wjj'zj'
t-1
j'
å
メモリセル
LSTMの順伝播の計算(2)入力ゲート
 入力ゲートへの入力は、同時刻の入力層からの入力、1時刻前の中間
層からの出力、1時刻前のメモリユニットからの出力である。
 これらの入力をシグモイド関数などの活性化関数で処理したものを出
力する。
 出力値は0から1の間となり、0はゲートが完全に閉じた状態、1は
ゲートが完全に開いた状態となる。
入力層
出力層
xi
t
,zj'
t-1
uj
I,t
f uj
I,t
( )
sj
t-1
gj
I,t
= f uj
I,t
( )= f wji
I,in
xi
t
+
i
å wjj'
I
zj'
t-1
j'
å + sj
t-1
æ
è
çç
ö
ø
÷÷
gj
I,t
入力ゲート
LSTMの順伝播の計算(3)忘却ゲート
 忘却ゲートへの入力は、同時刻の入力層からの入力、1時刻前の中間
層からの出力、1時刻前のメモリユニットからの出力である。
 これらの入力をシグモイド関数などの活性化関数で処理したものを出
力する。
 出力値は0から1の間となり、0はゲートが完全に閉じた状態、1は
ゲートが完全に開いた状態となる。
入力層
出力層
xi
t
,zj'
t-1
f uj
F,t
( )
sj
t-1
gj
F,t
忘却ゲート
uj
F,t
gj
F,t
= f uj
I,t
( )= f wji
F,in
xi
t
+
i
å wjj'
F
zj'
t-1
j'
å + sj
t-1
æ
è
çç
ö
ø
÷÷
LSTMの順伝播の計算(4)出力ゲート
 出力ゲートへの入力は、同時刻の入力層からの入力、1時刻前の中間
層からの出力、同時刻のメモリユニットからの出力である。
 これらの入力をシグモイド関数などの活性化関数で処理したものを出
力する。
 出力値は0から1の間となり、0はゲートが完全に閉じた状態、1は
ゲートが完全に開いた状態となる。
入力層
出力層
f uj
O,t
( )
sj
t
gj
O,t
出力ゲート
gj
O,t
= f uj
O,t
( )= f wji
O,in
xi
t
+
i
å wjj'
O
zj'
t-1
j'
å + sj
t-1
æ
è
çç
ö
ø
÷÷
uj
O,t
xi
t
,zj'
t-1
LSTMの順伝播の計算(5)全体の出力
 メモリユニット全体からの出力は、メモリセルからの出力 を活性
化関数で処理したものに対し、出力ゲートを乗じたものとなる。
入力層
出力層
zj
t
= gj
O,t
f sj
t
( )
f sj
t
( )sj
t
sj
t
zj
t
LSTMの逆伝播の計算(1)出力ユニット
 下図出力ユニットからの出力は同時刻の出力層方向と1時刻後の中間
層方向へ順伝播する。よって、出力ユニットの は以下のように展
開できる。
入力層
t時刻の出力層へ
dj
O,t
=
¶E
¶uj
O,t
=
¶E
¶uk
out,t
¶uk
out,t
¶uj
O,t
k
å +
¶E
¶uj'
t+1
¶uj'
t+1
¶uj
O,t
j'
å
gj
O,t
= f uj
O,t
( )
出力ユニット
uj
O,t
f sj
t
( ) t+1時刻の中間層へ
dj
O,t
t時刻の出力層分 t+1時刻の中間層分
¶uk
out,t
¶uj
O,t
=
¶ wkj
out
gj
O,t
f sj
t
( )( )
¶uj
O,t
= wkj
out
f sj
t
( )
¶gj
O,t
¶uj
O,t
= wkj
out
f sj
t
( ) f ' uj
O,t
( )
LSTMの逆伝播の計算(1)出力ユニット
 よって、 は、t時出力層の 、t+1時中間層の を用いて
dj
O,t
=
¶E
¶uk
out,t
¶uk
out,t
¶uj
O,t
k
å +
¶E
¶uj'
t+1
¶uj'
t+1
¶uj
O,t
j'
å = dk
out,t ¶uk
out,t
¶uj
O,t
k
å + dj'
t+1 ¶uj'
t+1
¶uj
O,t
j'
å
dj
O,t
dk
out,t
dj'
t+1
である。同様に も計算できるので、結局 は
¶uj'
t+1
¶uj
O,t
dj
O,t
= dk
out,t
wkj
out
k
å + dj'
t+1
wj' j
j'
å
æ
è
çç
ö
ø
÷÷ f sj
t
( ) f ' uj
O,t
( )
dj
O,t
となる。ここで
となる。
LSTM逆伝播の計算(2)活性化ユニット
 下図活性化ユニットの出力は同時刻の出力層と1時刻後の中間層へ順
伝播する。よって、活性化ユニットの は と同様に以下のよう
にできる。
入力層
t時刻の出力層へ
dj
A,t
=
¶E
¶sj
t
= dk
out,t
wkj
out
k
å + dj'
t+1
wj' j
j'
å
æ
è
çç
ö
ø
÷÷gj
O,t
f ' sj
t
( )
活性化ユニット
f sj
t
( ) t+1時刻の中間層へ
dj
A,t
sj
t
gj
O,t
= f uj
O,t
( )
dj
O,t
LSTM逆伝播の計算(3)メモリセル
 メモリセルの は を入力し、 を出力する恒等写像である。
 メモリセルの出力先は、外部出力向け、メモリセル自身への帰還、入
力ゲート、出力ゲート、忘却ゲートの5つである。
 よって、それぞれの を 、 、 、 、 とおくと
入力層
dj
cell,t
=dj
A,t
+gj
F,t+1
dj
cell,t+1
+dj
I,t+1
+dj
O,t
+dj
F,t+1
メモリセル
f sj
t
( )
dj
cell,t
sj
t
gj
O,t
= f uj
O,t
( )
dj
O,t
sj
t
sj
t
sj
t+1
sj
t+1
sj
t+1
sj
t
sj
t
dj
cell,t+1
dj
A,t
d dj
I,t+1
dj
F,t+1
LSTM逆伝播の計算(4)入力側ユニット
 下図入力側ユニットの は を入力し、 を出力する。
 その後、入力ゲートを通過してメモリセルへと渡される。よって
は
入力層
dj
t
=
¶E
¶uj
t
=
¶E
¶sj
t
¶sj
t
¶uj
t
=dj
cell,t ¶sj
t
¶uj
t
=dj
cell,t
¶ gj
I,t
f uj
t
( )( )
¶uj
t
=dj
cell,t
gj
I,t
f ' uj
t
( )
入力側ユニット
dj
t
uj
t
uj
t
f uj
t
( )
gt
I,t
f uj
t
( )
f uj
t
( )
dj
t
となる。
LSTM逆伝播の計算(5)忘却ユニット
 下図忘却ユニットの出力は忘却ゲートで と掛け合わさり、メモリ
セルへ順伝播する。よって、忘却ユニットの は以下のようにでき
る。
入力層
dj
F,t
=
¶E
¶uj
F,t
=
¶E
¶sj
t
¶sj
t
¶uj
F,t
=dj
cell,t ¶sj
t
¶uj
F,t
=dj
cell,t
¶ sj
t-1
f uj
F,t
( )( )
¶uj
F,t
=dj
cell,t
sj
t-1
f ' uj
F,t
( )
f sj
t
( )
dj
F,t
sj
t-1
gj
F,t
= f uj
F,t
( )
忘却ユニット
uj
F,t
gj
F,t
LSTM逆伝播の計算(6)入力ユニット
 下図入力ユニットの出力は入力ゲートで と掛け合わさり、メ
モリセルへ順伝播する。よって、入力ユニットの は以下のように
できる。
入力層
dj
I,t
=
¶E
¶uj
I,t
=
¶E
¶sj
t
¶sj
t
¶uj
I,t
=dj
cell,t ¶sj
t
¶uj
I,t
=dj
cell,t
¶ f uj
t
( ) f uj
I,t
( )( )
¶uj
I,t
=dj
cell,t
f uj
t
( ) f ' uj
I,t
( )
dj
I,t
sj
t
入力ユニット
uj
I,t
f uj
t
( )
gj
I,t
= f uj
I,t
( )
sj
t-1
f uj
t
( )
コンサルティング&開発業務に関するお問い合わせ
 アイフォーコム東京株式会社 (電気需要予測に関してこちら)
〒221-0835 横浜市神奈川区鶴屋町3-29-11 アイフォーコム横浜ビル
電話:045-412-3010(代表)
 Shannon Lab株式会社 (機械学習に関してはこちら)
〒165-0026 東京都中野区新井5丁目29-1
西武信用金庫新井薬師ビル503
電話: 042-644-0013(代表)
本事業はアイフォーコム東京株式会社様の電気需要予測プロジェクトの一環
です。

Weitere ähnliche Inhalte

Empfohlen

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

Empfohlen (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

Lstm shannonlab