HPEストレージフォーラム2019 (改題)

1. © DMM.com
DMM.comのサービスを支える
仮想基盤の歴史
合同会社DMM.com
ITインフラ本部 インフラ部 基盤開発チーム
リーダー
高橋 尚史

2. © DMM.com 2
• 名前: 高橋 尚史 (たかはし なおし)
• 入社: 2013年11月
• 所属: ITインフラ本部 インフラ部
• 経歴サマリ: Dec Alpha運用→Oracle
DBA→インフラエンジニア→今
• 入社以来ほぼ一貫して自社サービス仮
想基盤、IaaS構築運用に携わっていま
す。
自己紹介

3. © DMM.com 3
手のひらと世界にいろどりを。
人類の想像をはるかにこえるスピードとス
ケールで、私たちの生活は変化しています。
どんな明日も、私たちは喜びと驚きに溢れ
るサービスを創りたい。
40以上の幅広いサービスを展開
What’s DMM.com ?

4. © DMM.com 4
年表
ベアメタルな時代
- KVM
- Xen
3PAR導入
サービス向け仮想基盤
Nimble Storage導入
？？？
2013 2014 2015 2019 2020+
- vSphere

5. © DMM.com
ベアメタルな時代
～2014
5

6. © DMM.com
ベアメタルな時代
共通サービス – ベアメタルでスケールアウト
6
各サービス – Linux KVM
- Web (www.dmm.com)
- 高負荷MySQL
- ローカルファイルシステム上にVMを展開

7. © DMM.com
ベアメタルな時代 - 共通サービス
7
16C CPU
128GB MEM
ioMemory
16C CPU
32GB MEM
16C CPU
32GB MEM
16C CPU
32GB MEM
16C CPU
32GB MEM
16C CPU
32GB MEM
16C CPU
32GB MEM
Load Balancer
16C CPU
128GB MEM
ioMemory
16C CPU
64GB MEM
16C CPU
64GB MEM
16C CPU
64GB MEM
Web
(www.dmm.com)
Memcached
MySQL
Master/Slave
・・・
・・・
・・・
・・・

8. © DMM.com
ベアメタルな時代 - 各サービス
8
Load Balancer
16C CPU / 128GB MEM / 1TB Disk 16C CPU / 128GB MEM / 1TB Disk
Hypervisor
(Linux KVM)
8C/32G 8C/32G
MySQL
Master/Slave
Web 4C/16G 4C/16G 4C/16G 4C/16G
8C/32G 8C/32G

9. © DMM.com
ベアメタルな時代 – 課題
物理作業の負荷が高い
9
データセンターラック枯渇
- 毎週サーバ納品
償却 / リース満了時の停止調整

10. © DMM.com
転機
2014 3PAR導入
10

11. © DMM.com
3PAR導入 (2014)
HP C3000 + 3PAR 7400
11
一部サービスに導入
vSphereのナレッジも無い中…
なんとかなりました

12. © DMM.com
ふりかえり
…使いこなせなかった
12
スケールアップ
パフォーマンスチューニング
身の丈にあっていない…？
学習コスト

13. © DMM.com
現行 仮想基盤
2015～
13

14. © DMM.com© DMM.com Group 14
現行仮想基盤
Overview
• サーバ: 200+台 * 2データセンター
• Storage: Nimbleなど * 6台 * 2DC
• Hypervisor: ESXi 6.7U3
• 主に本番環境用途
• ポータル
• 共通サービス、API
• 汎用SVI
• MySQL, PostgreSQL
• Redis, Memcached, Mongo
• WebAPs
ESXi ESXi
Nimble Storage
Nimble Storage
Nimble Storage

15. © DMM.com
現行仮想基盤のコンセプト
VM HA と ライブマイグレーション (サービス止められない)
15
シンプルなミッドレンジストレージを選定
当初より複数ストレージを導入
- VMを複数ストレージに分散配置してもらうことで可用性を高める
容量拡張時はストレージ筐体を増設
- シンプルさを維持
シンプルであること

16. © DMM.com
複数ストレージを導入するメリット
ベアメタルにこなれた開発者に受け入れられやすい
16
ストレージネイティブなレプリケーション機能の利活用
- 共有ストレージがSPoFと捉えられてしまいがち
- 筐体が複数あれば、ベアメタル時代と同様に分散配置可能

17. © DMM.com
Nimble Storege活用事例
17

18. © DMM.com
Nimble Storage レプリケーション活用
多対1 + DC間 非同期レプリケーション
18
Primary (All Flash)Primary (All Flash)
Secondary Secondary
DC #2DC #1
datastore datastore datastore datastore datastore datastore
Nimble StorageNimble Storage
Nimble Storage Nimble StorageNimble Storage Nimble Storage

19. © DMM.com
HPE InfoSight
19
複数台運用に不可欠

20. © DMM.com
Trends
20

21. © DMM.com 21
VM数と新規ベアメタル購入台数
0 0
573
1741
3245
5120
5904
420
542
191
80
21 11 13
0
100
200
300
400
500
600
0
1000
2000
3000
4000
5000
6000
7000
2013/10 2014/10 2015/10 2016/10 2017/10 2018/10 2019/10
(新)仮想基盤VM数 / ベアメタル購入台数※SDS、Hypervisor用途を除く

22. © DMM.com
現況
共通サービスの多くを収容
22
パブリッククラウド活用増えたが、本環境の増加傾向変わらず
- ベアメタルWebサーバ、すべて移行済
- 重要性がより増している

23. © DMM.com
今後の課題
データセンター集約
23
パブリッククラウドとの連携模索
- Nimble Cloud Volume
- 新しい高規格なデータセンターへ

24. © DMM.com 24
Keep it simple, stupid.

25. © DMM.com
Thank you!