EKSで最新の技術を使ってコストを最適方法を紹介します

1. EKSのコスト削減
@AWSコスト最適化夏祭り 2023

2. 自己紹介
Phan Nguyen Viet Duc
ファン グエン ヴィエット ドゥック
マネーフォワード
2020年入社
株式会社マネーフォワード マネーフォワードビジネスカンパ
ニー 経理財務プロダクト本部 プラットフォーム開発部 SRE
グループリーダー
株式会社マネーフォワード - サービス基盤本部 インフラ部
Platformグループ（兼務）

3. マネフォのidevクラスタ

4. idevクラスタ
idevって何ですか？
● EKSで作ったkubernetesクラスタ
● 各チームや各プロジェクトが全部必要なサービススタックを作成できる環境です
特性:
● 6ヶ月ごとに60のnamespace増加します。
（一つのnamespaceは10~70 podが動きます）
● 現時点ではやく200のnamespaceがあります。
● SLOは高くない（99%程度）
● RDSなどのAWS managed serviceを使わずに、全部k8sの中で利用します。
● リクエストが多くないが、 pod数が多い

5. なぜidevが最初の対象
● スケールスピードが一番早い。
● SLOが高くないかつ既にモダンなものを使っているので対応コストがそんなに高くない。
● 節約ポテンシャルが高い。

6. EKSのコスト削減

7. EKSのコスト削減
● CloudWatchコストを削減
● ALBコストを削減
● Computeコストを削減
○ Node数を減らす
○ Pod数を減らす
○ cost/podを減らす
○ cost/nodeを減らす

8. CloudWatchコストを削減

9. CloudWatchコストを削減
● 全てLog Groupがrentationを設定します。
● 要らないログをでないようにします。
→ 月毎に1,000USD/月ぐらいを削減できます。
数字が低いですが、クラスターがスケールしてもコストが固定されるので効果的には高い。

10. ALBコストを削減

11. ALBコストを削減
各namespaceでは10個のIngressもあります。
1 namespace = 1 ALBだとめっちゃくちゃコストがかかります。
対策としては

12. ALBコストを削減
Note:
● Nginx Ingressを利用したら
○ nginx ingressの設定を最適化する必要があります。
○ grpc対応はcertificateの周りが複雑。
● ALB groupを利用したら一つの LBが最大100ルールだけ対応することに注意する必要があります。
→現在2023年6月は1700以上のIngressがあるため、30,000USD/月を削減できます。

13. ノード数を減らす

14. Node数を減らす
EKSのコストはNode数によって変わるので、 pod数が減ってもNodeが適切にscale downしないと意味ないで
す。そのため、pod数を減らす前にNode数を最適化しないといけないです。
そのため、Karpenterを導入しました。

15. Karpenter
KarpenterとはAWSで開発したアグレッシブ的に Nodeを最適化するOSSです。
注目の機能:
● Pod densityによってpodリバランスしてノード数を最適化します。
● Realtimeの価格でNodeのタイプを自動的に選択します。
● EC2 spot instance interruption handling。
Karpenterを利用ともに以下のこともう対応すると効果が高くなります :
● VPC-CNIのprefix assignment modeを有効にします。
● Defaultの110 pod/nodeの制限を外します。
● Kubernetes manifestでちゃんとerror handlingに対応。
Karpenterを導入のおかげでいつもノードの Requestsのcpuまたはmemoryが90%以上

16. Pod数を減らす

17. Pod数を減らす
利用しないpodを減らすため、自作の workload scheduleを導入しました。
workload scheduleで要約した時間だけ podを起動します、要約しない場合は replica数が0になります。

18. Pod数を減らす
Istioを利用してscale to zeroを実現したかったのですが、実
際試したら複雑すぎる。かつ CRDが多すぎてバージョンアッ
プには大変すぎるから他の方法で検討したい。
KEDAが既に導入してbatchのjobがスケールできるが、 http
の場合はKEDA http addonをインストールすると簡単にて
scale to zeroを実現できそう。
これを使うと起動が早い microserviceは要約しなくていい
し、namespaceを利用しているけど、あまり使わない
microserviceが必要時だけ起動します。

19. cost/podを減らす

20. cost/podを減らす
KarpenterでいつもNodeのrequests resourceがパツパツになりますが、そもそもこれは開発者がかいた
requests値にベースです。この値は実際ためしないと適切値がわからないから、いつも大きく設定してしまい
ます。そのため、Nodeのcapacityを全て利用しても実際リソースが利用しない場合もあります。
Cloudnatixのautopilotを使って実際利用したリソースを自動的に podのrequestsリソースに調整してpodのコ
ストを最適化できました。

21. cost/nodeを減らす

22. cost/nodeを減らす
Karpenterは既にノードタイプの価格によって最適な設定をしてくれますが。 Spot instanceを利用したらもっと
節約できます。
Spot instanceを利用するとNodeがたまたま削除されるので replica数が１だったら利用者にとって影響があり
ます。CloudnatixのDynamicEvictionControllerを使ったらSpot instanceが止まる前に他のNodeで新しい
podを起動してアプリが起動できる時点から Nodeをevictできます。これのおかげで replica数が１になっても
spot instanceで影響なく利用出来ます。
ちなみにspot instanceの価格はbidの仕組みによって料金が違いだから、 Karpenterなどのおかげでspot
instanceの導入が結構楽になるのでこれからいろんな会社は spot instanceを利用することを予想できます。
そうするとspot instanceの価格がどんどん上がる可能性があります。 →spot instanceを利用しながら、ドルが
安くなる時点に一部 saving planやReverse instanceを購入しておいたほうがいいと思います。

23. まとめ
開発環境向けEKSクラスターのコスト削減の取り組みを紹介しました。
● CloudWatchコストを削減
○ 要らないログを吐かないようにします。
● ALBコストを削減
○ 全クラスターで固定の ALBを利用します。
● Computeコストを削減
○ モダンなツールを導入して利用者に影響が小さいことを守りながら運用コストも低くて、コストを削
減できました。