[さるる勉強会] IoTをAWS&サーバーレスで構築する定番構成でハマったこと

© 2018 NTT SMILE ENERGY
IoTをAWS＆サーバーレスで構築する
定番構成でハマったこと
2018年05月18日
株式会社NTTスマイルエナジー
価値づくり本部
田中雄祐
さるる勉強会 vol.01
〜さるる勉強会 with Serverworks様〜

・趣味
自己紹介
1
NSE 価値づくり本部
総括/基幹T リーダー
田中雄祐
(タナカユウスケ)
・来歴
・AWSとの関わり
バンド演奏、音楽にまつわるモノづくり全般
→レコーディング、DTM、機材改造・自作
2007:レコーディングエンジニアを目指すも挫折。
2008〜:中小SIに入社。アプリ屋PGとして派遣先を転々…
2013〜:NSEでIoTサービスの要求設計・運用システム設計
2018〜:企画/開発/運用の調整チームのリーダーに
AWSは2017年の新デバイス開発で初使用。
API GatewayとLambdaのお手軽さに感動。
2018年3月にAWS認定SAA取得しました！

このセッションのゴール
2
MUST！
・AWSでサーバーレス開発するときの定番構成でハマったポイントを
紹介し、第2のハマり犠牲者を防ぐ！
・俺(私)、NSEで働いてみたいと思ってもらう！
WANT！
・NSEって
面白い(人がいる)会社だな
面白い開発ができそうだな
スキルも上がりそうだな
と思ってもらう！

事例紹介
API Gateway+Lambda+DynaomoDB
でIoTデータ保存
3

どの部分の話？
4
ここの話

やりたかったこと
目的
 IoTデバイスから送信されたデータをDBに保存する
機能要件・制約
 IoTデバイスから送られるリクエストは1行1レコードの
データが格納されたCSV形式
 IoTデバイスは15分周期でリクエスト送信
 1回のリクエストには最大900行程度のデータを想定
5

アーキテクチャ
6
API Gateway Lambda DynamoDBIoTデバイス
①データ送信のリクエスト（CSV）
②CSVを分解
③DB登録
④正常終了のレスポンス返却
インフラとかサーバーとか一切考慮不要！
画面ポチポチで設定、コードを書くだけでデータ受信処理を構
築完了！

完成！
7
ヒャッハー！！
AWS！鯖レス！
マジパネェ！
と、思ってたら・・・

作った後にハマってたこと
8
夜中になるとすごい数の504エラーが…
平均45件/5分のタイムアウト！
まだ数十デバイスしか売れてないのに…

どうしてこうなった… vol.1
9
実はデバイス仕様が聞いてたのと違った！
元々聞いてた要件
 IoTデバイスは15分周期でリクエスト送信
動かしてみてわかったこと
 夜中は昼に遅れなかったデータを連続再送してくる

その結果何が起こっていたか
10
API Gateway Lambda DynamoDBIoTデバイス
①2500行のリクエスト（CSV） ②2500行を頑張ってDBに突っ込む
→時間がかかる・・・
これ無限ループのDos攻撃ですやん…
③30秒経過してもLambdaから応
答がないので504レスポンス④次の再送データを送る
DynamoDBの書込容量は2000台時の想定値にまで肥大化！
→お金もかかる！

どうしてこうなった… vol.2
11
ループして1行ずつDBに突っ込む実装になってた！
for item in items:
table.put_item(Item = item)
俺、サンプルコード通り
作っただけやし
どうして2500行程度でこんなに時間がかかるの？
AWSってこんなもんなの？
調べてみると…

どうしたか
12
batch_writerを使ったら一発解決！！
※boto3 AWS SDK for Python
for item in items:
table.put_item(Item = item)
まとめてガサッとデータを突っ込めないのか？
with table.batch_writer() as batch:
for item in items:
batch.put_item(Item = item)
たったのこれだけ！
データが貯まったらまとめてDynamoDBに登録する
コントロールを中でよしなにやってくれます
※標準APIのBatchWriteItemでは25件単位の件数制御が必要

どうなったか
13
DynamoDBに保存できた件数は飛躍的にUP！
Batch_writer 30秒の登録数 DynamoDBの書込
容量設定(WCU)
使用前 1200件 67まで肥大化
使用後 7500件！ 25で済んだ！
DynamoDBの書込容量も削減!
→タイムアウトは発生しなくなりました！
→システムコストも削減！

まとめ
14
API Gateway＋Lambda＋DynamoDBでIoTデバイスからデータを受け
たい時は…
→Lambda側のタイムアウトを伸ばしても、
API Gateway側は無慈悲に30秒でタイムアウトします…
1.API Gateway＋Lambdaは30秒以内に処理が
終わらなかったことを考慮した設計にするべし!
2.Lambda→DynamoDB投入時には
batch_writerを使うべし!
→安易なサンプルコード利用と1件登録ループはやめよう
3.デバイスの通信仕様・挙動は事前にしっかりおさえましょう…

最後に
15
• 結構技術に寄った話になりましたが、サーバーレスの定番構成なので、
これからAWSやっていくという人もいつか役に立つ日がくると思いま
す！
• NSEにくると、企画/開発/運用、ソ
フト/ハードの全ての視点を意識した
上でのシステム開発ができるよ！
• プロダクトやサービスに１から携
わって新たな価値をつくっていきた
い方大歓迎！

[さるる勉強会] IoTをAWS&サーバーレスで構築する定番構成でハマったこと

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie [さるる勉強会] IoTをAWS&サーバーレスで構築する定番構成でハマったこと

Ähnlich wie [さるる勉強会] IoTをAWS&サーバーレスで構築する定番構成でハマったこと (20)

[さるる勉強会] IoTをAWS&サーバーレスで構築する定番構成でハマったこと