excite open beerbash 特別篇 AWSを語ろう！ https://connpass.com/event/143424/ の登壇内容

1. 2つのサービスを
AWSに移行した話
2019/09/10
excite open beerbash 特別篇 AWSを語ろう！
テクノロジー推進グループ 本田 新

2. 自己紹介
● 本田 新(ほんだ あらた)
Qiita: arata-honda
● 新卒3年目
● 機械学習とかやってます
● Python, PHPとか主に書いてます
● 映画、山登り、筋トレが趣味です

3. お品書き
Multiplexer(広告チームの補助ツール)
Wisteria(AIレコメンドエンジン)
をオンプレ環境からAWSに移行した話をします！！

4. Multiplexer：ターゲティング用AIツール
multiplexerが吐き出したcookie
● 閲覧したページのカテゴリを機械学習で推定しCookie保存
● 主に広告のターゲティングなどに利用
見せられないよxx

5. Wisteria : 記事レコメンドエンジン
エキサイトニュース
テキストベースコンテンツ型レコメンデーションシステム
【特徴】
● ユーザー指向型
ユーザーの潜在的な興味に近しいコンテンツを推薦
● リアルタイム処理基盤
ユーザーごとの推薦モデルをリアルタイム構築

6. Multiplexerを移行した話

7. メンバーとスケジュール
メンバー
3人
スケジュール
1.5ヶ月(4月スタート)
図1. 当時の気持ち

8. サーバー構成(Before)
● フロント : 5台(vCPU 4G, メモリ4G)
● ML APIサーバー : 5台(vCPU 8G, メモリ16G)
● Cassandra(分散DB) : 6台(3台×2のクラスタ) (vCPU 8G, 16G)
おおよそ16台で運用

9. サーバー構成(After)
● フロント : 5台(vCPU 4G, メモリ4G)
→【EC2】t3.medium(vCPU 2G, メモリ4G) 3台 (ピーク時:4台)
● ML APIサーバー : 5台(vCPU 8G, メモリ16G)
→【SageMaker】ml.c5.large (vCPU2G, メモリ4G) 2 ~ 3台
(ピークだと4台)
● Cassandra → DynamoDB
サーバインスタンス自体は6~7台で運用(16台 → 6~7台へ)

10. さらに！
● フロント : 5台(vCPU 4G, メモリ4G)
→【EC2】t3.medium(vCPU 2G, メモリ4G) 3台 (ピーク時:4台)
● ML APIサーバー : 5台(vCPU 8G, メモリ16G)
→【SageMaker】ml.c5.large (vCPU2G, メモリ4G) 2 ~ 3台
(ピークだと4台)
● Cassandra → DynamoDB
サーバインスタンス自体は6~7台で運用(16台 → 6~7台へ)
弊社のホスティング費用と比
べると、
1/3にコスト削減でき
ました！！

11. 工夫した点
● Cassandra→Dynamoのレイテンシ(+100msecくらい)
○ AWS CredentialのCache化
○ 機械学習のロジックの改修
○ テーブル構造を変更してgetItemしか行わないよう改修
○ リファクタリング
● コスト削減の施策
○ オートスケーリング利用しうつ、スペック下げて台数増加
○ Dynamoのプロビジョニングしている部分の調整
○ natgatwayのコストも高いので, vpcエンドポイントを使用

12. よかった点(小並感)
● 工数通り移行できた
(AWS SDK for PHPのチュートリアルとか役に立った)
● Route53で徐々に移行できたのでDynamoのプロビジョニングと
か、EC2の最低台数等チューニングしやすかった
● コストが1/3になった
● SAのスタッフさんと相談しながら進めれた(よろず相談会)

13. Wisteriaを移行した話

14. メンバーとスケジュール
メンバー
5人
スケジュール
3ヶ月(5月スタート)
正直1ヶ月押しました
図2. 当時の気持ち

15. サーバー構成(Before)
● フロント : 8台(vCPU 4G, メモリ4G)
● ML サーバー : 16台(vCPU 8G, メモリ16G)
● Cassandra : 12台(3台×4のクラスタ) (vCPU 8G, 16G)
● バッチサーバ：2台(vCPU 8G, メモリ8G)
● fluentdサーバ：2台 (vCPU 2G, メモリ2G)
● Kafka, Zookeeper: 5台(vCPU 2G, メモリ2G)
● DBサーバ: 3台(vCPU 4G, メモリ8G)
おおよそ48台で運用

16. サーバー構成(After)①
● フロント : 8台(vCPU 4G, メモリ4G)
→【EC2】t3.medium 4~6台 (ピーク時:8~9台)
● バッチサーバ：2台(vCPU 8G, メモリ8G)
→【EC2】c5.large/r5.large 2台
● Cassandra : 12台→DynamoDB
● fluentdサーバ：2台 → 【EC2】t3.medium 2台
● DBサーバ: 3台→【RDS】db.r5.large 2台

17. サーバー構成(After)②
● ML サーバー : 16台(vCPU 8G, メモリ16G)
→言語処理部分は【SageMaker】2台
その他の解析は【Lambda】
● Kafka, Zookeeper: 5台(vCPU 2G, メモリ2G)
→Kinesis
インスタンス自体は14台~17台で運用(48台 → 16~17台へ)

18. サーバー構成(After)②
● ML サーバー : 16台(vCPU 8G, メモリ16G)
→言語処理部分は【SageMaker】2台
その他の解析は【Lambda】
● Kafka, Zookeeper: 5台(vCPU 2G, メモリ2G)
→Kinesis
インスタンス自体は14台~17台で運用(48台 → 16~17台へ)
弊社のホスティング費用と比
べると、
1/2.5にコスト削減
できました！！

19. 工夫した点
● Cassandra→Dynamoのレイテンシ(+100msecくらい)
○ Dynamoに投げているフロント部分をKinesisに変更
○ 機械学習のロジックの改修(DBに解析結果を乗せる等)
○ Lambdaの同時実行数を上げて並列処理
○ テーブル構造を変更
○ リファクタリング
● コスト削減の施策
○ MSKを使っていたが、Kinesis+Lambdaに変更
○ Dynamoのプロビジョニングしている部分の調整
○ AthenaやGlueの設計部分を調整(現在進行中)

20. よかった点(小並感)
● 結構多発してたCassandraのエラーから脱した
● システムがでかいのでRoute53で徐々に移行でエラーハンドリン
グできたのでよかった
● コストが半分以下になった

21. 次回予告(嘘)
CassandraをAWS SCTでデータ移行しようと思った
らめちゃくちゃハマった話