More Related Content
Similar to Serverless LT 20201202 (20)
Serverless LT 20201202
- 2. 自己紹介
● 前田 和樹( @kzk_maeda )
● SRE Manager at Progate
● ギターやベースなど弾きます
● 週末は2人の子どもに忙殺されてます
- 17. 使用技術
● Frontend
○ React / React Native
● Server-Side
○ Ruby on Rails / Node.js
● Infrastructure
○ AWS(ALB, EC2, Fargate, RDS, ElastiCache, Lambda, APIGW, KDF, etc...)
○ Terraform / Serverless Framework
○ Docker / Docker Swarm
● Other
○ Github / DockerHub / Circle CI / Slack / Asana / DocBase
- 23. Data Platform Architecture
● RDS SnapshotのS3Export機能を活用
○ parquet形式のファイルをS3に定期Upload可能
○ RDSに対してread負荷がかからない
● Data PipelineのレイヤはDatalake的な思想で構成
○ 収集→蓄積→変換→分析
○ 各レイヤをイベントドリブンで接続
● DataCatalogをセキュリティレベル別に分離
○ Sensitiveなデータとそうではないデータ
○ 同一DataSourceからPipeline上で複数のCatalogを生成
- 32. なにが起きたか
● RDS Snapshot ExportタスクによってSnapshotがS3にExportされる際、
Export Task名のPrefix配下にSnapshotが配置される
● 後続処理でExportされたSnapshotデータを特定する際に、Export Task名と
して何が指定されたかを正確に把握する必要がある
○ yyyy-mm-ddなどで値を決めると、リトライが発生した際のハンドリングが面倒
- 39. その他の知見
● 大まかなアーキテクチャはAWSのAsk an expertを活用してレビューしてもら
えた。ライトに相談できる場としてすごく助かる。
● AWSから毎日のようにアナウンスされる便利機能アップデートは銀の弾丸で
はない。自分たちのシステムに落とし込む上では考えたり実装したりするポイ
ントがたくさん出てくる
● AWSサービスのアイコンを並べて設計した気になってるおじさんにならないよ
うに気を付ける
- 45. 結論
● RDSのsnapshot export機能を使えば、Master DataをDatalakeに簡単に格
納することが可能
● だと思っていた時期がありました。
● イベントドリブンなパイプラインのモニタリングはX-Ray
● だと思っていた時期がありました(要追加検証)。
● マネージドサービスを実要件での活用に落とし込んで行くには、結局はエンジ
ニアリングが必要。
● AWS支援体制は積極的に活用していくのがいい