Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
楽天ネットワークエンジニアたちが目指す
次世代データセンターとは
Hiroki Fujii
Cloud Platform Department
Rakuten, Inc.
2
本日お話すること
 楽天のサービスとそれらを支えるインフラエンジニアたち
 楽天データセンター間接続の過去と現在
 楽天データセンター内の過去と現在、そして未来
 次世代インフラへの更なるKAIZEN活動
3
Rakuten Ecosystem
4
社内向け
インフラ
各ネットワークインフラ部門
各事業向け
インフラ
グループ全体向け
インフラ
 Data Center
 POP
 DCI
 IX (Peering)
5
4 OPS Teams
6 Data Centers
6
楽天データセンター間接続の過去
7
Edge01
DCI
L2 Fabric
Edge02
Edge03 Edge04
L2
L2
L2
L2
SW10 SW20 SW30 SW40
SW100 SW200
L2 Fabric
8
Good
 容易なトラフィックのセグメント化
 シンプルな運用(拠点間接続)
Bad
 接続提供の制限
 障害発生時の収束時間
 ベンダーロックイン
 設定機器台数の増加
9
よりシンプルに
より標準的で
より安定性を追求して…
(よりリーズナブルに)
10
楽天データセンター間接続の現在
11
ZTP
(In-house tool)
File Management
Automation (IaC)
Standard Protocols
3rd party SFP
Flexible Speed
Standard Chipset
C...
12
Spine01
Leaf01 Leaf02 Leaf03 Leaf04 Leaf05
Spine02
MP-BGP EVPN & VXLAN
VTEP VTEP VTEP VTEP VTEP
RR RR
特徴
 コントロールプレーンとデ...
13
Edge1A Edge1B Edge2A Edge2B
Edge3A Edge3B Edge4A Edge4B Edge5A Edge5B
Site1 Site2
Site3 Site4 Site5
L2
L3
L2
L3
L3 L2
L...
14
にて
http://imcreator.com/free/transportation/the-endless-road
15
しかし
16
計画には変更はつきもの
肝心なのは迅速かつ正確な修正力
https://www.flickr.com/photos/financialtimes/5804446092/sizes/l/
17
2月
• 一部オペレーションにてバグが生じ、運用自動化延期
3月
• OSアップグレード (IPv6化)を試みるもバグに遭遇し失敗
6月
• LAB環境向け機器購入、環境構築、バグ検証
• 国内全DC、POPへホワイトボックススイッチ導入...
18
楽天データセンター内の過去
19
L2
L3
Good
 非STPトポロジー実現
 Act-Actパスによる帯域利用効率化
Bad
 非効率的なトラフィック生成
 ブロードキャストドメインの管理
 L2のトラブルシュートの難易度
 非標準プロトコル (ベンダー...
20
よりシンプルに
より標準的で
より安定性を追求して…
(よりリーズナブルに)
21
楽天データセンター内の現在
22
Border Leaf
Spine
Leaf (ToR)
IP Fabric
L2 Fabric
23
L3
L3
L3 L3 L3
L3 L3
L3
POD1
L3 L3 L3 L3
L3 L3
POD2
BGP area
Broadcast
Domain
特徴
 East-Westトラフィック向け (DC内サーバ間)
 BGPベース...
24
楽天データセンター内の未来
25
L3 L3 L3 L3
L3 L3
BGP area
Pure IP Fabric
L3 L3
特徴
 BGPベースの全L3ネットワーク
 ホスト上にルーティング機能追加
 L2の問題が発生しない (MLAG関連)
 ToRのメン...
26
次世代インフラへの更なるKAIZEN活動
27
 インターネットゲートウェイ向けS/W、H/W選定
フルルートや高速経路切替え、膨大なACLなど実装可能
 自動化ツールによる運用負荷軽減、作業品質向上
Ansible/Chef 等を活用し、マニュアル作業を80パーセント削減
 最...
28
最適な100Gトランシーバの選択
29
トランシーバ 距離 主な用途 ケーブル
100G LR4 10km 長距離DC間、フロア間 OS* LC-LC
100G DAC - 5m ラック内 -
100G SR4 50 - 100m ラック内 OM* MPO
30
トランシーバ 距離 主な用途 ケーブル
100G LR4 10km 長距離DC間、フロア間 OS* LC-LC
100G DAC - 5m ラック内 -
100G SR4 50 - 100m ラック内 OM* MPO
100G CWDM4...
31
用途 トランシーバ ケーブル
ラック内 100G DAC -
ラック間 100G CWDM4 Lite OS* LC-LC
フロア間 100G CWDM4 Lite OS* LC-LC
用途 トランシーバ ケーブル
ラック内 100G D...
32
楽天の次世代データセンターの必要要素
 安定性 (シンプルなL3構成により、障害発生時の影響を最小限に抑える)
 標準技術 (適材適所を考慮した機器配置、常に複数選択肢を確保)
 CAPEX + OPEX削減 (NOSによっては、従...
33
Thank you very much for your time today!
楽天ネットワークエンジニアたちが目指す、次世代データセンターとは
Nächste SlideShare
Wird geladen in …5
×

楽天ネットワークエンジニアたちが目指す、次世代データセンターとは

2.346 Aufrufe

Veröffentlicht am

2019年9月4日、次世代データセンターネットワーク基盤構築セミナー@株式会社マクニカ 品川オフィス。楽天の考える次世代データセンターのあるべきかたちを具体的な検証活動を含め実例とともに紹介。登壇者:藤井 博貴(Network Engineer, Cloud Platform Department)

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

楽天ネットワークエンジニアたちが目指す、次世代データセンターとは

  1. 1. 楽天ネットワークエンジニアたちが目指す 次世代データセンターとは Hiroki Fujii Cloud Platform Department Rakuten, Inc.
  2. 2. 2 本日お話すること  楽天のサービスとそれらを支えるインフラエンジニアたち  楽天データセンター間接続の過去と現在  楽天データセンター内の過去と現在、そして未来  次世代インフラへの更なるKAIZEN活動
  3. 3. 3 Rakuten Ecosystem
  4. 4. 4 社内向け インフラ 各ネットワークインフラ部門 各事業向け インフラ グループ全体向け インフラ  Data Center  POP  DCI  IX (Peering)
  5. 5. 5 4 OPS Teams 6 Data Centers
  6. 6. 6 楽天データセンター間接続の過去
  7. 7. 7 Edge01 DCI L2 Fabric Edge02 Edge03 Edge04 L2 L2 L2 L2 SW10 SW20 SW30 SW40 SW100 SW200 L2 Fabric
  8. 8. 8 Good  容易なトラフィックのセグメント化  シンプルな運用(拠点間接続) Bad  接続提供の制限  障害発生時の収束時間  ベンダーロックイン  設定機器台数の増加
  9. 9. 9 よりシンプルに より標準的で より安定性を追求して… (よりリーズナブルに)
  10. 10. 10 楽天データセンター間接続の現在
  11. 11. 11 ZTP (In-house tool) File Management Automation (IaC) Standard Protocols 3rd party SFP Flexible Speed Standard Chipset Cost Reduction Kernel Merchant ASIC NOS (Network OS) Bare Metal Switch
  12. 12. 12 Spine01 Leaf01 Leaf02 Leaf03 Leaf04 Leaf05 Spine02 MP-BGP EVPN & VXLAN VTEP VTEP VTEP VTEP VTEP RR RR 特徴  コントロールプレーンとデータプレーンの分離  MP-BGPでMACとIPを広報 Good  L2/L3接続提供可能  容易なトラフィック移行 (BGP AS-prependなど)  高速な経路収束  全ACT-ACT構成  MPLSよりもシンプル、低コスト Bad  トラフィックエンジニアリングやQOS非サポート  パケットをカプセル化のオーバヘッド
  13. 13. 13 Edge1A Edge1B Edge2A Edge2B Edge3A Edge3B Edge4A Edge4B Edge5A Edge5B Site1 Site2 Site3 Site4 Site5 L2 L3 L2 L3 L3 L2 L3 L2 L3 L3
  14. 14. 14 にて http://imcreator.com/free/transportation/the-endless-road
  15. 15. 15 しかし
  16. 16. 16 計画には変更はつきもの 肝心なのは迅速かつ正確な修正力 https://www.flickr.com/photos/financialtimes/5804446092/sizes/l/
  17. 17. 17 2月 • 一部オペレーションにてバグが生じ、運用自動化延期 3月 • OSアップグレード (IPv6化)を試みるもバグに遭遇し失敗 6月 • LAB環境向け機器購入、環境構築、バグ検証 • 国内全DC、POPへホワイトボックススイッチ導入 7月 • OSアップグレード (IPv6化、運用自動化) 成功 8月 • インターネット向けトラフィック移行成功 12月~ • ダークファイバー等を活用し、国内全DCI100G化 • 海外拠点DCIへホワイトボックススイッチ導入検討
  18. 18. 18 楽天データセンター内の過去
  19. 19. 19 L2 L3 Good  非STPトポロジー実現  Act-Actパスによる帯域利用効率化 Bad  非効率的なトラフィック生成  ブロードキャストドメインの管理  L2のトラブルシュートの難易度  非標準プロトコル (ベンダー独自技術) L2 L2 L2 L2 L2 L3 POD1 L2 L2 L2 L2 L2 L2 POD2 BGP area Broadcast Domain L2 Fabric
  20. 20. 20 よりシンプルに より標準的で より安定性を追求して… (よりリーズナブルに)
  21. 21. 21 楽天データセンター内の現在
  22. 22. 22 Border Leaf Spine Leaf (ToR) IP Fabric L2 Fabric
  23. 23. 23 L3 L3 L3 L3 L3 L3 L3 L3 POD1 L3 L3 L3 L3 L3 L3 POD2 BGP area Broadcast Domain 特徴  East-Westトラフィック向け (DC内サーバ間)  BGPベースのL3ネットワーク  L3等コストバランシング  業界標準プロトコルを使用 Good  安定性とスケーラビリティ  高速な経路収束  効率的な全ACT-ACTパス(非ブロードキャスト) Bad  MLAG構成がなお存在  非効率的なIPアドレッシングが発生 (ラック毎) IP Fabric
  24. 24. 24 楽天データセンター内の未来
  25. 25. 25 L3 L3 L3 L3 L3 L3 BGP area Pure IP Fabric L3 L3 特徴  BGPベースの全L3ネットワーク  ホスト上にルーティング機能追加  L2の問題が発生しない (MLAG関連)  ToRのメンテナンス作業が容易  ホストから/32プレフィックスで広報 トレードオフ  サーバ初期構築が困難  L2接続サポート不可  ルーティングソフトウェアのインストール必須 (3rd Partyアプライアンスなどは不可) Border Leaf Spine Leaf (ToR) L3 L3 L3L3L3L3L3L3
  26. 26. 26 次世代インフラへの更なるKAIZEN活動
  27. 27. 27  インターネットゲートウェイ向けS/W、H/W選定 フルルートや高速経路切替え、膨大なACLなど実装可能  自動化ツールによる運用負荷軽減、作業品質向上 Ansible/Chef 等を活用し、マニュアル作業を80パーセント削減  最適な100Gトランシーバの選択 自社に合ったより良いトランシーバを選び抜く
  28. 28. 28 最適な100Gトランシーバの選択
  29. 29. 29 トランシーバ 距離 主な用途 ケーブル 100G LR4 10km 長距離DC間、フロア間 OS* LC-LC 100G DAC - 5m ラック内 - 100G SR4 50 - 100m ラック内 OM* MPO
  30. 30. 30 トランシーバ 距離 主な用途 ケーブル 100G LR4 10km 長距離DC間、フロア間 OS* LC-LC 100G DAC - 5m ラック内 - 100G SR4 50 - 100m ラック内 OM* MPO 100G CWDM4 2km 短距離DC間、フロア間 OS* LC-LC 100G CWDM4 Lite 500m フロア間、ラック間 OS* LC-LC
  31. 31. 31 用途 トランシーバ ケーブル ラック内 100G DAC - ラック間 100G CWDM4 Lite OS* LC-LC フロア間 100G CWDM4 Lite OS* LC-LC 用途 トランシーバ ケーブル ラック内 100G DAC - ラック間 100G SR4 OM* MPO フロア間 100G CWDM4 Lite OS* LC-LC VS 100G CWDM4 Lite • 大規模データセンタ向け • LC-LCケーブルの方が配線が楽 100G SR4 • 小規模データセンタ向け • トランシーバのみの価格比較は断然有利 パターン1 パターン2 パターン2を採用
  32. 32. 32 楽天の次世代データセンターの必要要素  安定性 (シンプルなL3構成により、障害発生時の影響を最小限に抑える)  標準技術 (適材適所を考慮した機器配置、常に複数選択肢を確保)  CAPEX + OPEX削減 (NOSによっては、従来よりも運用自動化やインベントリ管理が容易) ホワイトボックス採用
  33. 33. 33 Thank you very much for your time today!

×