1.
楽天ネットワークエンジニアたちが目指す
次世代データセンターとは
Hiroki Fujii
Cloud Platform Department
Rakuten, Inc.

2.
2
本日お話すること
 楽天のサービスとそれらを支えるインフラエンジニアたち
 楽天データセンター間接続の過去と現在
 楽天データセンター内の過去と現在、そして未来
 次世代インフラへの更なるKAIZEN活動

3.
3
Rakuten Ecosystem

4.
4
社内向け
インフラ
各ネットワークインフラ部門
各事業向け
インフラ
グループ全体向け
インフラ
 Data Center
 POP
 DCI
 IX (Peering)

5.
5
4 OPS Teams
6 Data Centers

6.
6
楽天データセンター間接続の過去

7.
7
Edge01
DCI
L2 Fabric
Edge02
Edge03 Edge04
L2
L2
L2
L2
SW10 SW20 SW30 SW40
SW100 SW200
L2 Fabric

8.
8
Good
 容易なトラフィックのセグメント化
 シンプルな運用（拠点間接続）
Bad
 接続提供の制限
 障害発生時の収束時間
 ベンダーロックイン
 設定機器台数の増加

9.
9
よりシンプルに
より標準的で
より安定性を追求して…
（よりリーズナブルに）

10.
10
楽天データセンター間接続の現在

11.
11
ZTP
(In-house tool)
File Management
Automation (IaC)
Standard Protocols
3rd party SFP
Flexible Speed
Standard Chipset
Cost Reduction
Kernel
Merchant ASIC
NOS (Network OS)
Bare Metal Switch

12.
12
Spine01
Leaf01 Leaf02 Leaf03 Leaf04 Leaf05
Spine02
MP-BGP EVPN & VXLAN
VTEP VTEP VTEP VTEP VTEP
RR RR
特徴
 コントロールプレーンとデータプレーンの分離
 MP-BGPでMACとIPを広報
Good
 L2/L3接続提供可能
 容易なトラフィック移行 (BGP AS-prependなど)
 高速な経路収束
 全ACT-ACT構成
 MPLSよりもシンプル、低コスト
Bad
 トラフィックエンジニアリングやQOS非サポート
 パケットをカプセル化のオーバヘッド

13.
13
Edge1A Edge1B Edge2A Edge2B
Edge3A Edge3B Edge4A Edge4B Edge5A Edge5B
Site1 Site2
Site3 Site4 Site5
L2
L3
L2
L3
L3 L2
L3
L2
L3
L3

14.
14
にて
http://imcreator.com/free/transportation/the-endless-road

15.
15
しかし

16.
16
計画には変更はつきもの
肝心なのは迅速かつ正確な修正力
https://www.flickr.com/photos/financialtimes/5804446092/sizes/l/

17.
17
2月
• 一部オペレーションにてバグが生じ、運用自動化延期
3月
• OSアップグレード (IPv6化)を試みるもバグに遭遇し失敗
6月
• LAB環境向け機器購入、環境構築、バグ検証
• 国内全DC、POPへホワイトボックススイッチ導入
7月
• OSアップグレード (IPv6化、運用自動化) 成功
8月
• インターネット向けトラフィック移行成功
12月～
• ダークファイバー等を活用し、国内全DCI100G化
• 海外拠点DCIへホワイトボックススイッチ導入検討

18.
18
楽天データセンター内の過去

19.
19
L2
L3
Good
 非STPトポロジー実現
 Act-Actパスによる帯域利用効率化
Bad
 非効率的なトラフィック生成
 ブロードキャストドメインの管理
 L2のトラブルシュートの難易度
 非標準プロトコル (ベンダー独自技術)
L2 L2 L2
L2 L2
L3
POD1
L2 L2 L2 L2
L2 L2
POD2
BGP area
Broadcast
Domain
L2 Fabric

20.
20
よりシンプルに
より標準的で
より安定性を追求して…
（よりリーズナブルに）

21.
21
楽天データセンター内の現在

22.
22
Border Leaf
Spine
Leaf (ToR)
IP Fabric
L2 Fabric

23.
23
L3
L3
L3 L3 L3
L3 L3
L3
POD1
L3 L3 L3 L3
L3 L3
POD2
BGP area
Broadcast
Domain
特徴
 East-Westトラフィック向け (DC内サーバ間)
 BGPベースのL3ネットワーク
 L3等コストバランシング
 業界標準プロトコルを使用
Good
 安定性とスケーラビリティ
 高速な経路収束
 効率的な全ACT-ACTパス(非ブロードキャスト)
Bad
 MLAG構成がなお存在
 非効率的なIPアドレッシングが発生 (ラック毎)
IP Fabric

24.
24
楽天データセンター内の未来

25.
25
L3 L3 L3 L3
L3 L3
BGP area
Pure IP Fabric
L3 L3
特徴
 BGPベースの全L3ネットワーク
 ホスト上にルーティング機能追加
 L2の問題が発生しない (MLAG関連)
 ToRのメンテナンス作業が容易
 ホストから/32プレフィックスで広報
トレードオフ
 サーバ初期構築が困難
 L2接続サポート不可
 ルーティングソフトウェアのインストール必須
(3rd Partyアプライアンスなどは不可)
Border Leaf
Spine
Leaf (ToR) L3 L3
L3L3L3L3L3L3

26.
26
次世代インフラへの更なるKAIZEN活動

27.
27
 インターネットゲートウェイ向けS/W、H/W選定
フルルートや高速経路切替え、膨大なACLなど実装可能
 自動化ツールによる運用負荷軽減、作業品質向上
Ansible/Chef 等を活用し、マニュアル作業を80パーセント削減
 最適な100Gトランシーバの選択
自社に合ったより良いトランシーバを選び抜く

28.
28
最適な100Gトランシーバの選択

29.
29
トランシーバ 距離 主な用途 ケーブル
100G LR4 10km 長距離DC間、フロア間 OS* LC-LC
100G DAC - 5m ラック内 -
100G SR4 50 - 100m ラック内 OM* MPO

30.
30
トランシーバ 距離 主な用途 ケーブル
100G LR4 10km 長距離DC間、フロア間 OS* LC-LC
100G DAC - 5m ラック内 -
100G SR4 50 - 100m ラック内 OM* MPO
100G CWDM4 2km 短距離DC間、フロア間 OS* LC-LC
100G CWDM4 Lite 500m フロア間、ラック間 OS* LC-LC

31.
31
用途 トランシーバ ケーブル
ラック内 100G DAC -
ラック間 100G CWDM4 Lite OS* LC-LC
フロア間 100G CWDM4 Lite OS* LC-LC
用途 トランシーバ ケーブル
ラック内 100G DAC -
ラック間 100G SR4 OM* MPO
フロア間 100G CWDM4 Lite OS* LC-LC
VS
100G CWDM4 Lite
• 大規模データセンタ向け
• LC-LCケーブルの方が配線が楽
100G SR4
• 小規模データセンタ向け
• トランシーバのみの価格比較は断然有利
パターン1 パターン2
パターン2を採用

32.
32
楽天の次世代データセンターの必要要素
 安定性 (シンプルなL3構成により、障害発生時の影響を最小限に抑える)
 標準技術 (適材適所を考慮した機器配置、常に複数選択肢を確保)
 CAPEX + OPEX削減 (NOSによっては、従来よりも運用自動化やインベントリ管理が容易)
ホワイトボックス採用

33.
33
Thank you very much for your time today!