オレシカないと祭り20171122

1. 1
いきなり Aerospike
オレシカナイト祭り 20171122
Aerospike on AWS

2. 2
Aerospike is NoSQL
これ

3. 3
※このベンチは私個人の意見であり、Amazonの立場を代表するものではありません
1KBのDataデータをRead
クラスタのノード数は5台でi3.16xlarge
いきなりデモします

4. 4
レッツらデモ！

5. 5
名前: 上原 誠 (うえはら まこと)
現職: AWS のソリューションアーキテクト
前職: 渋谷のWeb系インフラエンジニア
好きな AWS のサービス : Glue、i3インスタンス
時々、Aerospikeおじさんしてます
アド担当してます

6. 6
レッツらデモ！

7. 7
レッツらデモ！
READ Only

8. 8© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
秒間105万リード
くらい

9. 9© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Latencyはほぼ
2ms未満

10. 10
レッツらデモ！
WRITE Only

11. 13
レッツらデモ！
READ WRITE Mix
6:4

12. 14© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
秒間28万ライト
くらい
秒間42万リード
くらい

13. 15© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Latencyは
Writeは8ms未満
Readは1ms未満

14. 16
この時裏でマイグレーション走ってたのでもう
ちょっと出るかも

15. 17© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
post-write-queue：
writeのデータをメモリからSSDに書き込んだ後、メモリ上に残すデータ量。
データ量は、[デバイス数] x [post-write-queue] x [write-block-size]
最大が2048です。
読み込みたいレコードがキャッシュにあるので読み込みの性能向上しますし、
書き込みについても、updateの場合には、元のレコードを読み込む必要があるので
読み込み性能の向上が書き込みにも影響しIOPSが向上します。
キャッシュ効かせればワークロードによっては1.5倍とか出る場合もあります

16. 18
そこそこの設定でもこんくらい出る
設定箇所はその辺で飲んでるので直接聞きにきてください

17. 19
そんな激しい性能が必要なの？？

18. 20
ほとんど必要な場面はない

19. 21
アドだとたまにある

20. 22
急にこんなこと言われる

21. 23
秒間数十万IOPSほしい
今後もっと増えるよ(スケール必至)
過去分ずっと残しておきたい(スケール必至)
レイテンシは xx ms 以内で

22. 24
Aerospike is
これ
ロケット先端の棒の先についているシンプルな円盤状の板
この板があると、空気抵抗の観点からは不利だが、
音速の壁を超える際の衝撃波がロケットの外側に逃げるため、
本体にはその影響が及ばないという効果があります。
極めてシンプルな部品ではあるものの、それがロケット全体を守
る役割をしている

23. 25
秒間20万IOPSほしい
今後もっと増えるのでスケールしたい
過去分ずっと残しておきたい
レイテンシは100ms以内で
名前の由来にある通り
こういったピンポイントな案件で使ってほしい

24. 26
DynamoDBは？？

25. 27
Amazon DynamoDB
特徴 (http://aws.amazon.com/jp/dynamodb/)
• 複数のデータセンターにデータをレプリケーションすることにより、
高い耐久性と可用性を提供。
• ユーザーは必要なスループットを決めるだけで利用可能。ス
トレージ容量は事前に決める必要がなく、必要に応じてプロ
ビジョンされる。
• データ容量やスループットが増えてきても低いレイテンシで
安定した性能を発揮する
• DynamoDB Streamsによって更新情報をAPIで取得可能。
Lambda連携やクロスリージョンレプリケーションなどを実
現。
価格体系 (http://aws.amazon.com/jp/dynamodb/pricing/)
• スループットキャパシティ
• 書き込み: $0.00742/10ユニット/時間
• 読み込み: $0.00742/50ユニット/時間
• ストレージ: $0.285/GB
Amazonが提供する高い信頼性、スケーラビリティ、低レイテ
ンシで安定した性能を兼ね備えたNoSQLデータベースサービス
DynamoDBの使いドコロ
• ゲーム
• 広告配信
• DMP
• センサーデータ
• モバイルアプリケーションの
バックエンド
いずれも、高いスループットと低
いレイテンシが求められ、更に扱
うデータ量が大きくなりやすいと
いう共通の特徴を持つ

26. 28
今回のような性能を出そうとするとコス
トがこうなる(例えばカリキュレータに
Write40万とか入れると)
そもそもテーブル単位のユニット上限が
デフォルト1万(上限緩和可能)
http://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/Limits.html#default-limits-capacity-units-provisioned-throughput

27. 29
マネージドサービスはデプロイや運用を
楽にし安定した性能を出してくれる
よりカスタマイズしたい
仕様では満たせない性能要件がある場合
こういった時にEC2上で動かすことを検討
しよう

28. 30
Aerospike on AWS 事例
他にもたくさん

29. 31
AWS上でAerospikeを動かすベストプラクティス

30. 32
たぶん時間押してますよね？
AWS上でAerospikeを動かすベストプラクティス

31. 33
AWS上でAerospikeを動かすベストプラクティス
たぶん時間押してますよね？
今日これ伝えようと思ってましたがはしょります。。

32. 34
・AZをSingleAZかMultiAZか？
・インスタンスストアのボリュームは消えてしまう？
・PlacementGroupは使った方がいい？
・バックアップはちゃんと取れる？

33. 35
・AZをSingleAZかMultiAZか？
・インスタンスストアのボリュームは消えてしまう？
・PlacementGroupは使った方がいい？
・バックアップはちゃんと取れる？
SingleかMultiかでそれぞれメリットデメリットがある。
ASにクラスタ間コピーのXDRという機能もある
ASにシャドーボリュームという機能があり、非同期でEBSへの永続化が可能
※ちなみにインスタンスのリブートではデータは消えない。停止起動で消える。
ASのバックアップ機能はオンラインで静止点は取れないしとても遅い。
一瞬書き込みを止められればEBSのスナップショットでバックアップがお勧め。
データや負荷の増加があまりなければ使った方が低レイテンシを実現できる
データや負荷が増えるのであればクラスタの拡張性を制限するので使わない
方がいい。

34. 36
Aerospike is A & P
ここ

35. 37
そう、速度と可用性、”速く動き続ける”
これがほしい時に使うんだ
それ以外では使わなくていい・・

36. 38
・HighWaterMark、StopWriteというメモリと
SSD容量のリミットがある。この容量に達すると
デフラグに影響あるので増設せよだったり、
StopWriteに至っては書き込みできない状態になる。
・レコードの削除はインデックス削除。SSDの削除は
重い。通常の読み書きの処理速度を保つためデータ自
体の削除は非同期で行われる。なのでノードのリブー
トすると実態が消えてないデータがあるとインデック
スを作り直し復元してしまう (いわゆるゾンビ問題)

37. 39
・レコードの削除はインデックス削除。SSDの削除は
重い。通常の読み書きの処理速度を保つためデータ自
体の削除は非同期で行われる。なのでノードのリブー
トすると実態が消えてないデータがあるとインデック
スを作り直し復元してしまう (いわゆるゾンビ問題)
・HighWaterMark、StopWriteというメモリと
SSD容量のリミットがある。この容量に達すると
デフラグに影響あるので増設せよだったり、
StopWriteに至っては書き込みできない状態になる。
Readだけでも動き続けようとする
データが復元しちゃう
何か(速さ)を得るためには何かを
犠牲にしなきゃ

38. 40
・レコードの削除はインデックス削除。SSDの削除は
重い。通常の読み書きの処理速度を保つためデータ自
体の削除は非同期で行われる。なのでノードのリブー
トすると実態が消えてないデータがあるとインデック
スを作り直し復元してしまう (いわゆるゾンビ問題)
・HighWaterMark、StopWriteというメモリと
SSD容量のリミットがある。この容量に達すると
デフラグに影響あるので増設せよだったり、
StopWriteに至っては書き込みできない状態になる。
Readだけでも動き続けようとする
データが復元しちゃう
何か(速さ)を得るためには何かを
犠牲にしなきゃ
Tombstoneで回避もできる
けど性能に影響あり

39. 41
広告の配信って間違ったバナー送ってもさほど問題ない
止まった方が困る
「Aerospikeいいじゃん」ってなる
こういったヒューリスティックなシステムには

40. 42
ちょっとぐらい止まってもいいから
データの一貫性と速度がほしい！
こういう用途で使いたい場合は・・

41. 43
aaa

42. 44
aaa
C or A

43. 45
aaa
選べるよう
になった

44. 46
ありがとうございました！