【Interop Tokyo 2016】リコーのサービス基盤を支えるジュニパー

リコーのサービス
基盤を支える
ジュニパー
2016/6/10 Copyright 2016 © Ricoh Company Ltd. All Rights Reserved. 1
株式会社リコー
システムインフラグループ
和久利智丈
2016年6月10日(金)

はじめに
 本日の内容
1. リコーグループの紹介
2. 事業分野と主な商品・サービス
3. サービス基盤のあゆみ
4. サービス基盤の更新
5. 基本方針を決める
本資料は、リコーの共通基盤に関する担当者の意見であり、
リコーおよびリコーグループの今後の方向性を約束するものではありません。
6. 構築後の姿（全体）
7. 構築後の姿（DC内）
8. 基本構成とサービス移行
9. 方針変更
10.現在のトラフィック
11.トラブル/要望
12.目指す姿

リコーグループの紹介
 株式会社リコー
– 設立：1936年2月6日
– 資本金：1,356億円
 リコーグループ概要
– グループ企業数：230社
– グループ従業員数：109,361名
• （国内：35,779名、海外：73,582名）
– 連結売上高：22,090億円
• （国内：34.5％、海外：65.5％）
＊グループ企業数は（株）リコーを除く
2016年3月31日現在（連結売上高は2016年3月期）

事業分野と主な商品・サービス
 画像＆ソリューション分野
– オフィスイメージング
– ＭＦＰ（マルチファンクションプリンター）、複写機、プリンター、
印刷機、FAX、スキャナ等機器及び関連消耗品、サービス、
サポート、ソフトウェア等
– プロダクションプリンティング
– カットシートPPC（プロダクションプリンター）、連帳PP等
– 機器及び関連消耗品、サービス、サポート、ソフトウェア等
– ネットワークシステムソリューション
– パソコン、サーバー、ネットワーク関連機器、関連サービス、サ
ポート、ソフトウェア等
 産業分野
– サーマルメディア、光学機器、電装ユニット、半導体、
インクジェットヘッド等
 その他分野
– デジタルカメラ等
複合機プリンター
ユニファイド
コミュニケーション
システム
プロジェクションシステム
MDS（マネージド・
ドキュメント・サービス）
半導体ＩＴサービス
サーマルメディア
プロダクションプリンター
デジタルカメラ

サービス基盤の歩み
 2011/07 : サービス基盤の内製化の決定
 2011/09～2011/12 : 構築、テスト
 2012/01 : サービス開発用に一部リリース
 2012/05 : 正式サービス開始
 2012/12 : 拠点、リソース追加の決定
 2013/02～2013/04：拠点、リソースの追加、構築
 2014/11 ：基盤再整備の決定
 2014/12～2015/04 : 拠点、インフラ更新
 2015/04～2015/09 : サービス移行
• 5年間、ずーっと、構築ばかり
• いつになるとサーバ増加がおわるのか…
0
200
400
600
800
1000
1200
1400
1600
1800
2000
全体
日本（メイン）
アメリカ（メイン）
ヨーロッパ
仮想サーバの推移

サービス基盤の更新
1. 増え続ける要求に対応できない
1. CPU、メモリリソース枯渇
2. DISK IO性能、容量不足
3. ネットワークの拡張性、性能強化
2. データセンターセンターが手狭
3. セキュリティ面の強化も必要
• 2013年冬に大規模にサービス基盤を見直しが必要と現場は判断
• 基盤更新の検討を開始
533Mbps
201Mbps
775Mbps
0Mbps
100Mbps
200Mbps
300Mbps
400Mbps
500Mbps
600Mbps
700Mbps
800Mbps
900Mbps
95th Percentile Avg Maximum Linear (95th Percentile) Linear (Avg)

基本方針を決める
1. システム全体をN+1以上の冗長構成とする。
– ルータ、ファイアウォール、スイッチ等は冗長構成を基本
– ストレージ装置も複数台構成
2. コアネットワーク、仮想化部分は10G x Nを基本構成とする。
– VMware vMotion / Storage vMotion がストレスなく動作する環境
– East-Westトラフィック対策
➡ QFabricを導入
3. マルチテナント対応を目指す。
– 会社毎、部署毎、製品（サービス）毎に異なるネットワーク(DMZ)を提供
– 関連部署、製品毎の不要な調整を削減
• ユーザに仕様を聞いても要望は分からないと判断し方針を自ら決定

構築後の姿（全体）
2015年に更新した基盤
2013年に構築した
バックアップ用基盤
専用線 VPN
The Internet
WAN(JP)
TokyoOsaka CA VA
WAN(US) WAN(EU)
Global WAN
• 東京 , バージニア（アメリカ）の2拠点を更新
• 全ての拠点をTier1 ISPと冗長接続
• DC間を相互接続（専用線とIPsec VPNの2重化）
• リコーグループWAN拠点と相互接続

構築後の姿（DC内）
1. 日米2拠点に仮想基盤を構築
2. ルータ
– 1台のハードウェアレベルでルーティングエンジンを2重化
3. コアスイッチ
– MC-LAG(Multichassis Link Aggregation)による2重化
4. ファイアウォール
– chassis clusterによる冗長化
5. 仮想基盤ネットワーク
– QFabricによる冗長化
– QFabricのノード間 40G@4(160G)
– QFabric⇔ストレージ間 10G@4/台
ｄ
ｄ
NFSFC-SAN
QFabric
ｄ
MX
EX
SRX
Chassis Cluster
ADC
Virtual
Chassis
VMware
The Internet

基本構成とサービス移行
1. サービス毎に新旧の基本NWを構成
2. サービス単位に移行を実施
3. ストレージ機能、VMwareの機能を利用し移行
日本アメリカ
VM数 1,200弱 500弱
データ量約150TB 約100TB
期間 2015/04～08
約5か月
2015/06～09
約4ヶ月
10G
Mirror
Storage
DC間
Virtual
Machine
vMotion
Storage vMotion
旧環境新環境
DMZ1:WWW DMZ2:DATABASE
The
Internet
R-WAN
サービス毎の標準構成
運用/管理利用者
1. 専用NWを提供
2. 2つのDMZ
– Internetアクセス許可
– R-WANアクセス許可

方針変更
1. 社外向けサービス基盤から社内も含めた基盤へ
– お客様向けのサービス以外の利用を開放
– システム数が急増する原因
2015年は約30システム追加
2. プライベート空間の提供
– R-WANアドレス以外の完全な閉領域空間を提供
– R-WANアドレス不足から解放
– ユーザが自由に採番できるアドレス空間
• サービスメニューを大幅に更新
• Express、Standard、Professionalの3エディションを提供
• 用途、性能、機能に応じた柔軟なサービスを提供
Internet
R-WAN DC間専用線-C
NAT
専用線-D
専用線-A
NAT
専用線-B

現在のトラフィック
• エンタープライズ向けサービスはトラフィックが日中帯に集中
• 社内向けサービスのトラフィックは勤務時間(09:00～12:00/13:00-17:30)と相似
• VPNは速い
インターネット国内DC向けVPN
WAN 海外DC向けVPN
8:00～10:00頃にかけ
急激にトラフィック増加
8:00～10:00頃にかけ
急激にトラフィック増加
深夜帯のトラフィックが少ない時間帯を利用してバックアップ
400Mbps近いスループット
海外DCとの間で80Mbpsを越えるスループット

トラブル/要望
【トラブル系】
1. ネットワークが遅い
インターネット側のことなので分かりません。
ユーザ環境は分かりません。
サーバが遅いようです。
転送データが大きすぎます。
帯域を占有しているユーザ/アプリがいます。
2. アプリケーションが止まる/切れる
ファイアウォールセッションがタイムアウトしただけです。
経路切り替えが発生しています。
サーバが再起動しています。
3. 通信ができない
ユーザ側環境の問題なので分かりません。
IPアドレスを教えていました。
ファイアウォール設定(申請)が間違っています。
デフォルトルートが違います。
【要望系】
1. 専用領域が欲しい、専用線、VPNが欲しい
IPアドレス空間が不足しています。
VLANが足りません。
それなりに時間がかかりますよ。
誰が構築、運用するの？
セキュリティはどうするの？
2. BCP/DR対策が必要
どうやって切り替えるの？
拠点がありません。
3. Publicクラウドを活用したい
今の環境との接続はどうするの？
WANとの連携はどうするの？

目指す姿
2016/6/10 14
【具体的な検討項目】
1. インターネット接続環境の強化、高可用性、高信頼性の確保
2. Public Cloudとの接続性
3. 既存のWAN環境との共存、相互接続
4. 拠点（DC）間の通信の柔軟性、広帯域、高信頼性の確立
【テクノロジー】
1. VXLAN
2. BGPによるルーティングの再整備
3. 仮想化（Virtual Router)の活用
ネットワーク柔軟性のさらなる強化
Copyright 2016 © Ricoh Company Ltd. All Rights Reserved.
The Internet
DC間接続
Public Cloud
移動移動
DC-A DC-B
広帯域

【Interop Tokyo 2016】リコーのサービス基盤を支えるジュニパー

【Interop Tokyo 2016】リコーのサービス基盤を支えるジュニパー

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (19)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie 【Interop Tokyo 2016】リコーのサービス基盤を支えるジュニパー

Ähnlich wie 【Interop Tokyo 2016】リコーのサービス基盤を支えるジュニパー (20)

Mehr von Juniper Networks (日本)

Mehr von Juniper Networks (日本) (15)