Presentation material used in AWS Premier Night #1, June 29th, 2016

1. AWS Premier Night #1, 29th June, 2016
Parallel image processing for fluid mechanics
with Lambda
株式会社サーバーワークス
技術2課
白鳥 貴久
AWS Lambdaによる
流体画像処理の並列化

2. About Me
略歴
2015年4月 サーバーワークスに新卒入社
2016年3月 技術2課に配属
白鳥 貴久, Takahisa Shiratori
サーバーワークス 技術2課

3. About Me
略歴
2015年3月 博士（工学）を取得 研究分野：流体力学
2015年4月 サーバーワークスに新卒入社
2016年3月 技術2課に配属
白鳥 貴久, Takahisa Shiratori
サーバーワークス 技術2課

4. 流体力学 Fluid Mechanics
流体（液体, 気体など）がどのように流れるのかを探る
http://www.mdte.jp/laboratory/l_train.html
http://guncanon.web.fc2.com/text/kuriki-01.htm https://www.sbd.jp/case/category/industry/electronics.shtml

5. PIVとはなにか
粒子画像流速測定法 (Particle Image Velocimetry, PIV)
PIV

6. どのように PIV は流れを計算するか

7. どのように PIV は流れを計算するか

8. どのように PIV は流れを計算するか

9. どのように PIV は流れを計算するか
PIV の弱点
• 計算時間が長い
夜始めた計算が翌朝終わっていないなど
 
     
      

   
 



N
i
N
j
N
i
N
j
mjimji
N
i
N
j
mjimji
fg
gYYXXgfYXf
gYYXXgfYXf
YXR
1 1 1 1
22
1 1
,,
,,
,
似ている? 似ていない?
→ 相互相関を使って評価する

10. 並列にすると何がよいのか?
時間
・・・
1枚目
と
2枚目
直列処理 並列処理
（N: 画像の枚数）
2枚目
と
3枚目
3枚目
と
4枚目
今回の構成のねらい
• 画像処理を並列化し計算時間を短縮する
• 計算時間が 1/(N-1) になるはず

11. AWS Lambdaとは?
Lambda
function

12. AWS Lambdaとは?
Lambda
function
S3
API Gateway
cron
etc…

13. AWS Lambdaとは?
Lambda
function
S3
API Gateway
cron
etc…
リクエスト

14. AWS Lambdaとは?
Lambda
function
S3
API Gateway
cron
etc…
リクエスト

15. 単発処理時の構成
準備
PIV のコードを Lambda function と
して保存しておく
処理の流れ
1. S3 に画像ファイルを保存
2. 入力 CSV ファイルを S3 に保存
3. Lambda function が発火
4. 流れ分布を CSV として出力
5. 出力 CSV を S3 に保存
1 2
3
4
5
PIV algorithm
on Lambda

16. 並列処理時の構成
処理の流れ
1. 画像ファイルを全て S3 に保存
2. 親 CSV を S3 に保存
3. Lambda function が発火
4. 子 CSV が生成される
1
2
3
4
5 6
7
5. 子 CSV が S3 に保存される
6. 子 CSV それぞれが Lambda function を
発火させる
7. 結果が CSV として S3 に保存される

17. 見た目良さそうな感じ
エラーっぽいベクトルは後処理で取り除くことも
可能

18. 単発 並列
1, 2枚目 2, 3枚目 3, 4枚目
メモリサイズ [MB] 1536
タイムアウト [sec] 300
計算時間 [sec] 112 235 234 111
最大使用メモリ [MB] 28 22 23 28

19. まとめ
AWS Lambda を使うと, リクエス
トに応じて処理を起動させる構
成を簡単に組むことができる
流体画像処理のような重めの計
算でもなんとか AWS Lambda で
並列化することができた