Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Cyberagent amd tyan server solution seminar 2018
Ähnlich wie Cyberagent amd tyan server solution seminar 2018 (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (11)
Cyberagent amd tyan server solution seminar 2018
- 1. AMD-TYAN Server Solution Seminar 2018 2018 Jul 27 CyberAgent, Inc. All Rights Reserved 株式会社サイバーエージェント 1台140万IOPSの高性能ストレージ構築事例
- 2. 平野 智洋 株式会社サイバーエージェント 技術本部 Private Cloud Group ハードウェア・ストレージ Team プライベートクラウドを提供するうえで利用する、 サーバハードウェア・ストレージを、毎日いじっています。
- 3. 本日のお話 ①サイバーエージェントのご紹介 ②プライベートクラウドの現状と課題 ③AMDプラットフォームの検討 ④導入に至る経緯 ⑤AMD-TYANのアドバンテージ 21世紀を代表する会社を創る より速く、より大きく、より高密度で、より安く 出来らぁ！ サーバ１台で140万IOPSを！？ AMDがすごい。TYANがすごい。 AMD vs Intel （Slideshareで公開）
- 4. 本日のお話 ①サイバーエージェントのご紹介 ②プライベートクラウドの現状と課題 ③AMDプラットフォームの検討 ④導入に至る経緯 ⑤AMD-TYANのアドバンテージ 21世紀を代表する会社を創る より速く、より大きく、より高密度で、より安く AMD vs Intel 出来らぁ！ サーバ１台で140万IOPSを！？ AMDがすごい。TYANがすごい。
- 7. タイトル TITLE事業内容 インターネット広告事業 メディア事業 ゲーム事業 広告代理事業 自社広告商品 (アドテク） など など など
- 8. タイトル TITLE事業内容 インターネット広告事業 メディア事業 ゲーム事業 広告代理事業 自社広告商品 (アドテク） など など メディアはすべて メディア統括本部にて運営
- 11. タイトル TITLEオフィス環境 ▼MTGスペース ▼執務スペース ▼マッサージルーム ▼リラクゼーションスペース ▼エンジニアとデザイナーのみ利用できる専用の開発集中ルーム
- 12. 本日のお話 ①サイバーエージェントのご紹介 ②プライベートクラウドの現状と課題 ③AMDプラットフォームの検討 ④導入に至る経緯 ⑤AMD-TYANのアドバンテージ 21世紀を代表する会社を創る より速く、より大きく、より高密度で、より安く AMD vs Intel 出来らぁ！ サーバ１台で140万IOPSを！？ AMDがすごい。TYANがすごい。
- 13. タイトル TITLEプライベートクラウドの現状と課題 Hypervisor (NOVA CN) Local Network Virtual Machine Virtual Machine Virtual Machine Storage Server (NVMe) Global Network Storage Server (NVMe) Storage Server (NVMe) Storage Server (NVMe) Hypervisor (NOVA CN) Virtual Machine Virtual Machine Virtual Machine Hypervisor (NOVA CN) Virtual Machine Virtual Machine Virtual Machine Storage Server (HDD) Storage Server (HDD) Storage Server (HDD) Storage Server (HDD) Physical Server Physical Server Physical Server Physical Server Nova物理 約500台 Virtual Machine 約5300台 高性能 NVMe Storage 約40台 大容量 HDD Storage 約600TB Ironic 物理サーバ 約440台
- 14. タイトル TITLEプライベートクラウドの現状と課題 Hypervisor (NOVA Compute Node) Virtual Machine 1 (qemu-kvm) Local Disk (sda)OS (vda) DATA (vdb) Virtual Machine 2 (qemu-kvm) OS (vda) iSCSI Disk (sdb) iSCSI Disk (sdc) Virtual Machine 3 (qemu-kvm) OS (vda) DATA (vdb) Local Network Storage Server (Cinder) PV (Physical Volume) VG (Volume Group) LV01 LV02 LVM LIO (Linux IO, iSCSI) CinderVolume Service 課題 課題 nvme0 nvme1 nvme2 nvme3 nvme4 nvme5
- 15. タイトル TITLEプライベートクラウドの現状と課題 Hypervisor (NOVA Compute Node) Virtual Machine 1 (qemu-kvm) Local Disk (sda)OS (vda) DATA (vdb) Virtual Machine 2 (qemu-kvm) OS (vda) Virtual Machine 3 (qemu-kvm) OS (vda) DATA (vdb) 課題 Local Diskの故障が多い 4本のSASストレージをRAID10で構成。 HDDが壊れる。コントローラも壊れる。 Local Diskの性能が良くない SAS/SATAでは遅い。オワコン。 故障時の影響が大きい 1台のHVに10台前後のVM。 故障すると多くのリソースが犠牲に。 マイグレーションが重い 数100ギガ～数テラをコピーする必要がある 次はDISKレス化することに決定 iSCSI Disk (sdb) iSCSI Disk (sdc)
- 16. タイトル TITLEプライベートクラウドの現状と課題 Storage Server (Cinder) PV (Physical Volume) nvme0 VG (Volume Group) LV01 LV02 LVM LIO (Linux IO, iSCSI) CinderVolume Service 冗長構成じゃない NVMeを束ねてRAIDしたり、 クラスタしたりできてない。 より高密度に 1Uあたり約10TB。 40台 40Uで、たったの400TB。 より低レイテンシに 高密度になると性能が薄まりがち。 1.6TB/10万→3.2TB/15万IOPSでは改悪。 1GBあたりのIOPSを同等以上に。 課題 nvme1 nvme2 nvme3 nvme4 nvme5
- 17. 本日のお話 ①サイバーエージェントのご紹介 ②プライベートクラウドの現状と課題 ③AMDプラットフォームの検討 ④導入に至る経緯 ⑤AMD-TYANのアドバンテージ 21世紀を代表する会社を創る より速く、より大きく、より高密度で、より安く AMD vs Intel 出来らぁ！ サーバ１台で140万IOPSを！？ AMDがすごい。TYANがすごい。
- 18. タイトル TITLEAMDプラットフォームの検討 課題：NVMeを高密度化・高速化 → 1本あたりの容量を増やす → 搭載本数を増やす → NVMe総量に併せてNICも追加 Intel CPU MEMORY MEMORY MEMORY MEMORY MEMORY MEMORY NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe 8 x 4 = 32 PCIe lanes Intel CPU (Skylake)は 1ソケットで48レーン。 多数のNICとNVMeに 対応不能 NVMe NVMe NVMe NVMe 4 x 16 = 64 PCIe lanes
- 19. タイトル TITLEAMDプラットフォームの検討 課題：NVMeを高密度化・高速化 → 1本あたりの容量を増やす → 搭載本数を増やす → NVMe総量に併せてNICも追加 Intel CPU MEMORY MEMORY MEMORY MEMORY MEMORY MEMORY NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe 8 x 4 = 32 PCIe lanes 4 x 16 = 64 PCIe lanes Intel CPU MEMORY MEMORY MEMORY MEMORY MEMORY MEMORY NVMe NVMe NVMe NVMe 2ソケット96レーンでも不足。 MEMORY・CPU追加で GB単価が無駄に跳ね上がる。 ソケットを跨いだIOの レイテンシが犠牲に。
- 20. タイトル TITLEAMDプラットフォームの検討 課題：NVMeを高密度化・高速化 → 1本あたりの容量を増やす → 搭載本数を増やす → NVMe総量に併せてNICも追加 Intel CPU MEMORY MEMORY MEMORY MEMORY MEMORY MEMORY NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe 8 x 4 = 32 PCIe lanes Intel CPU MEMORY MEMORY MEMORY MEMORY MEMORY MEMORY ここから ここなら 速い NVMe NVMe NVMe NVMe 2ソケット96レーンでも不足。 MEMORY・CPU追加で GB単価が無駄に跳ね上がる。 ソケットを跨いだIOの レイテンシが犠牲に。 4 x 16 = 64 PCIe lanes
- 21. タイトル TITLEAMDプラットフォームの検討 課題：NVMeを高密度化・高速化 → 1本あたりの容量を増やす → 搭載本数を増やす → NVMe総量に併せてNICも追加 Intel CPU MEMORY MEMORY MEMORY MEMORY MEMORY MEMORY NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe 8 x 4 = 32 PCIe lanes Intel CPU MEMORY MEMORY MEMORY MEMORY MEMORY MEMORY ここから ここは ダメ NVMe NVMe NVMe NVMe 2ソケット96レーンでも不足。 MEMORY・CPU追加で GB単価が無駄に跳ね上がる。 ソケットを跨いだIOの レイテンシが犠牲に。 4 x 16 = 64 PCIe lanes ※参考文献： numactl distance
- 22. タイトル TITLEAMDプラットフォームの検討 AMD EPYC CPU は 1ソケットで128レーン Intel Intelは 48 レーン 2ソケットで 96 レーン
- 23. タイトル TITLEAMDプラットフォームの検討 課題：NVMeを高密度化・高速化 → 1本あたりの容量を増やす → 搭載本数を増やす → NVMe総量に併せてNICも追加 MEMORY MEMORY MEMORY NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe 8 x 4 = 32 PCIe lanes AMD EPYC CPU は 1ソケットで128レーン 無駄なく要件を満たせる NVMe NVMe NVMe NVMe 4 x 16 = 64 PCIe lanes MEMORY MEMORY MEMORY MEMORY MEMORY
- 24. タイトル TITLEAMDプラットフォームの検討 MEMORY MEMORY MEMORY NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe 8 x 4 = 32 PCIe lanes AMD EPYC CPU は 2ソケットで128レーン 遠いNUMAは不利に NVMe NVMe NVMe NVMe 4 x 16 = 64 PCIe lanes MEMORY MEMORY MEMORY MEMORY MEMORY ここから ここは 遠い
- 25. タイトル TITLEAMDプラットフォームの検討 NIC NVMe NIC NIC NIC NIC NIC NIC NIC Local Network NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe MIRROR 課題：NVMeの冗長化 → ２台１組の冗長クラスタ 25G x4 = 100Gbps 25G x4 = 100Gbps 25G x4 = 100Gbps
- 26. 本日のお話 ①サイバーエージェントのご紹介 ②プライベートクラウドの現状と課題 ③AMDプラットフォームの検討 ④導入に至る経緯 ⑤AMD-TYANのアドバンテージ 21世紀を代表する会社を創る より速く、より大きく、より高密度で、より安く AMD vs Intel 出来らぁ！ サーバ１台で140万IOPSを！？ AMDがすごい。TYANがすごい。
- 27. タイトル TITLE導入に至る経緯 ハードウェア構成案策定 試作機で試験 不具合修正・パーツ変更 再試験・構成確定 本番環境に導入決定 MEMORY MEMORY MEMORY NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe MEMORY MEMORY MEMORY MEMORY MEMORY RAID HDD HDD NIC 4枚 NVMe 16本 HSW HDD 2本
- 28. タイトル TITLE導入に至る経緯 ハードウェア構成案策定 試作機で試験 不具合修正・パーツ変更 再試験・構成確定 本番環境に導入決定 要件を満たす製品を探した結果、 → F社、N社、H社、G社： → D社、H社、S社： → TYAN： AMDさんの紹介で、TYANさんに 試作サーバを作ってもらうことになりました。 AMD EPYCプロセッサの取り扱いありません 1ソケットでそんな構成はできません 似ている構成の製品があるので、作ります
- 29. タイトル TITLE導入に至る経緯 ハードウェア構成案策定 試作機で試験 不具合修正・パーツ変更 再試験・構成確定 本番環境に導入決定 試作サーバは１ソケットで4つNUMAノードがあり、 それぞれから - MEMORY x4 Slots - PCIe x32 Lanes 足が出ている構成。 Node0 Node1 Node2 Node3 8GB 8GB 8GB 8GB NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe
- 30. タイトル TITLE導入に至る経緯 ハードウェア構成案策定 試作機で試験 不具合修正・パーツ変更 再試験・構成確定 本番環境に導入決定 NICのPCIe Speedがおかしい x8でlinkするはずが、x4でlink up メモリのバランスが悪い 各NUMAノードに2枚単位で刺すべき NUMAの負荷バランスが悪い NICがあるNUMAは、割込処理で超多忙 CPUのパワー不足 → TYANさんがBIOS修正ですぐに対応 → メモリ追加で対応 → NICとNVMeのバランスを考慮してパーツを配置 → TYANさんが上位CPUと交換してくれました
- 31. タイトル TITLE導入に至る経緯 ハードウェア構成案策定 試作機で試験 不具合修正・パーツ変更 再試験・構成確定 本番環境に導入決定 構成を変えて試験した結果、 64ThreadのCPUを余すことなく100%使用可能に。 （※画像はtopで各CPUのusageを出したもの） １台シングル構成で 140万IOPS (fio 4k randwrite 100%) ２台１組ミラー同期構成で 64万IOPS (fio 4k randwrite 100%) の性能を達成。
- 32. タイトル TITLE導入に至る経緯 ハードウェア構成案策定 試作機で試験 不具合修正・パーツ変更 再試験・構成確定 本番環境に導入決定 Node0 Node1 Node2 Node3 8GB 8GB 8GB 8GB NIC NIC NIC NIC NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe NVMe 8GB 8GB 8GB 8GB NVMe NVMe というわけで： - EPYC 7551 x1ソケット (32Core, 64Thread) - メモリ8枚 - NVMe 12本 - 25G DualPort NIC 4枚（合計200Gbps） という構成で確定しました。 AMD EPYC 7551
- 33. タイトル TITLE導入に至る経緯 ハードウェア構成案策定 試作機で試験 不具合修正・パーツ変更 再試験・構成確定 本番環境に導入決定 TYAN B8026（スペシャル仕様） - AMD EPYC 7551 x1ソケット (32Core) - DDR4-2666 8GB x8枚 - Intel DC-P4600 3.2TB NVMe x12本 - Intel XXV710-DA2 25G DualPort NIC x4枚 初回導入分として12台 総容量460TBの 高性能NVMeストレージを 導入しました
- 34. 本日のお話 ①サイバーエージェントのご紹介 ②プライベートクラウドの現状と課題 ③AMDプラットフォームの検討 ④導入に至る経緯 ⑤AMD-TYANのアドバンテージ 21世紀を代表する会社を創る より速く、より大きく、より高密度で、より安く AMD vs Intel 出来らぁ！ サーバ１台で140万IOPSを！？ AMDがすごい。TYANがすごい。
- 39. タイトル TITLEAMD-TYANのアドバンテージ 1,680万IOPS 460TBの オールフラッシュ ストレージって おいくら億円？ AMD-TYANを選択して 1/10以下のコストで要件を実現 ＋