Принципы построения катастрофоустойчивых ЦОД.

Скороходов Александр
Системный инженер-консультант
25 октября 2012 г

© 2012 Cisco and/or its affiliates. All rights reserved. 1

Принимайте активное участие в Cisco Expo и получите в
подарок Linksys E900.
Как получить подарок:
•  внимательно слушать лекции по технологиям Cisco
•  посещать демонстрации, включенные в основную программу

•  пройти тесты на проверку знаний

Тесты будут открыты:
с 15:00 25 октября по 16:30 26 октября

www.ceq.com.ua

•  Катастрофоустойчивость
•  Непрерывность обслуживания
•  Мобильность сервисов
•  Наращивание производительности/ёмкости
•  Миграция систем
•  Распределённые сервисы
•  Географически-локализованные сервисы


Последняя Момент Системы
резервная копия или катастрофы восстановлены и
пригодные данные работоспособны

Время

Меньше RPO/RTO
•  Больше $$$
Точка Время
восстановления •  Репликация
восстановления
(Recovery Point) •  «Горячий резерв»
(Recovery Time)

Больше RPO/RTO
•  Меньше $$$
•  Резервирование на ленту
•  «Холодный резерв»

«Нулевые» RPO/RTO – система непрерывной доступности


Public LAN VIP Cluster

Cluster A Cluster A
Node 1 Node 2
Private LAN Heartbeat

•  Развитие кластеризации для защиты от сбоя сервиса или сайта целиком
•  Кластерные системы типично требуют “растягивания” L2 VLAN между ЦОД
•  Некоторые приложения поддерживают кластеризацию через L3 сеть

Cisco-VMware With
EMC & NetApp
Validated Design &
Core Network Certification for
Virtualized Workload
Mobility
DCI LAN extension

DC 1 DC 2

ESX-A source ESX-B target

•  Мобильность виртуальных сервисов между разнесёнными сайтами
•  Требование «растягивания» VLAN и обеспечения непрерывного доступа к LUN
•  Основа для управления облачной нагрузкой и её миграции между «облаками»

•  Связь сетей передачи данных
L2/L3 смежность
Мониторинг (heartbeat) / синхронизация в кластере
Репликация по IP
Подключение к транспортной сети

•  Связь сетей хранения данных
Синхронизация массивов по FC
Доступ к удаленным СХД/лентам

•  Оптимальный путь трафика


Гео
Региональное
(extended
Metro) Резервный Основной
Катастрофо- 100-400km ЦОД ЦОД
устойчивый
ЦОД
Метро
50-80 km
•  Расстояние – ключевой фактор
Кампус
•  Ближе:
1–2 km
Выше производительность
Синхронная репликация
Проще коммуникации
•  Дальше:
Катастрофоусточивость
Распределение сервисов


•  Стандартные интерфейсы 10Гбит/с:
10GBASE-LR – до 10 км
10GBASE-ER – до 40 км
10GBASE-ZR – до 80 км

•  Стандартные интерфейсы 40Гбит/с
40GBASE-LR4 – до 10 км

•  Стандартные интерфейсы 100Гбит/с
100GBASE-LR4 – до 10 км
100GBASE-ER4 – до 40 км

•  DWDM – до 2000+ км при использовании оптического усиления,
не ограничено при использовании регенерации
•  Через сеть (IP, MPLS…) - без ограничений


Расстояние

ЦОД Кампус Метро Регион Страна Земля

Темное Волокно Sync Ограничено оптикой (Оптический бюджет)
Оптика

CWDM Sync (1,2,4Gbps) Ограничено оптикой (Оптический бюджет)

DWDM Sync (1,2,4,8,10Gbps /λ) Ограничено BB_Credit

SONET/SDH Sync (1,2Gbps + subrate) Async
IP

MDS9000 FCIP Sync (Metro Eth) Async (WAN,1Gbps)


•  Скорость света в вакууме ~300,000 км/с

•  Скорость света в оптоволокне: ~200,000 км/с

•  Задержка сигнала: ~5 мкс/км, RTT ~10 мкс/км

•  Для сравнения:
Среднее время доступа на (быстром) шпиндельном диске
~2-3 мс
Среднее время доступа на SSD диске ~0.1 мс
Максимальная задержка, допускаемая VMWare для
VMotion: 5 мс RTT


Traffic Flow

BB_Credit BB_Credit BB_Credit
Flow Control Flow Control Flow Control

2-8 BB_Credit 16-255 BB_Credit 2-8 BB_Credit

FC Receive FC Receive
Buffers Buffers

  FC фреймы буферизуются промежуточными коммутаторами
  Трафик на каждом соединении управляется получением фреймов Receiver
Ready (R_RDY), передающая сторона может послать только определённое
(BB_Credits) число фреймов прежде, чем приостановит передачу
  Буферные кредиты (BB_Credit) согласовываются между каждой парой
соединённых устройств в фабрике
  На 1 км расстояния нужен 1 кредит на 2G, 2 кредита на 4G, 4 кредита на 8G,
6 на 10G, 8 на 16G


Приложение получает Подтверждение I/O после его
подтверждение I/O после его выполнения на локальном диске,
выполнения на обеих сторонах пока его копирование на удалённый
(zero RPO) массив ещё продолжается
•  «Метро» расстояния •  «Неограниченные» расстояния
•  Большая полоса •  Меньше требования к полосе

4 1 2 1

2 3
3


•  SCSI протокол (FC) требует два round trip на операцию
•  Вносимая задержка операции 2*10µs/км, 100 км = 2 мс
•  В зависимости от приложения синхронную репликацию, как правило
ограничивают 50-100 км
•  I/O Acceleration «убирает» один round-trip – удвоение расстояния!

50 км 1ms
250 µs : Rec_Ready ?

1
250 µs : Wait for response?

2
250 µs : Send data

3
250 µs : Wait for Ack?

Local Storage Array 4 Remote Storage Array

Core Network

L2 extension for vMotion Network

DC 1 DC 2

Initiator

Virtual Center

Volumes

Target

Core Network


DC 1 DC 2


Virtual Center

Повышение произодительности с
помощью I/O Acceleration на Cisco MDS


Core Network


DC 1 DC 2

Read
Write ?

2 Temp
data
Read
Write
ESX-A source 3 Cache ESX-B target
data data
ACK 1
4
2 data
ACK

Virtual Center
  FlexCache не работает как отложенный кеш записи
  FlexCache подтверждает операцию только после подтверждения от СХД

http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/Netapp/dciNetapp.html

•  Хосты на обеих сторонах
одновременно имеют доступ к
распределённым виртуальным
томам

•  Непрерывная синхронизация

Synchronous Latency

Распределённый виртуальный том
Fibre Channel

•  Запись защищается на обоих
сайтах

•  Чтение – с кеша VPLEX или
местного тома

ЦОД A
© 2011 Cisco and/or its affiliates. All rights reserved. ЦОД B 18

Core Network


DC 1 DC 2

Initiator

Virtual Center
From the Host

Target VPLEX Virtual Layer
From the Storage

LUNv LUNv
EMC
Initiator CLARiiON
EMC
VMAX
VPLEX VPLEX
Target Engine Synchronous Latency requiments ~100 kms max Engine
http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/4.0/ EMC/dciEmc.html

WAN Необходимо
  Защита от «петель»
Intra-DC Domain
with STP Isolation
Intra-DC Domain
with STP Isolation
  Изоляция STP
  Отказоустойчивость.
WAN No Inter-DC Loop WAN   Балансировка нагрузки
на WAN
Core Core   Прозрачность для
L3 L3
ядра
Aggr/ Aggr/
L2 Distr
L2 Distr   Прозрачность для
Same Extended VLAN
Access Access
сетей ЦОД
  Оптимизация трафика
  Масштабирование
Data-center Data-center
SAN
  Связь многих ЦОД
SAN

  Изоляция STP: предотвращение распространения проблем
  Предотвращение «зацикливания» между ЦОДами
  Отказоустойчивость и масштабирование производительности
  Поддержка многих сайтов


Транспорт Критерии применения
•  VSS & vPC или FabricPath
Multi-Chassis EtherChannel (N7K/N5K, Cat6K) для связи пары ЦОД
FabricPath для связи многих сайтов (N7K/N5K)
Ethernet
По тёмной оптике или xWDM
Технологии LAN

•  EoMPLS & A-VPLS & H-VPLS
Внедрение на PE (Cat6K, ASR9K, N7K (будущее))
MPLS Масштабирование и multi-tenancy
Возможно поверх GRE
Апробированный вариант, хорошо подходит SP

•  OTV
Внедрение на CE (N7K, ASR1K)
Подходит для корпоративных внедрений
IP
Малая зависимость от транспорта – требуется только IP сеть
© 2011 Cisco and/or its affiliates. All rights reserved. Маршрутизация по MAC адресам 22

N Network port
E Edge or portfast port type
- Normal port type
B BPDUguard
F BPDUfilter

DC 1 DC 2 R Rootguard

vPC domain 11 vPC domain 21
Long Distance
CORE

CORE
E F F E
- -

N N

N N

- E F F E -
R R
- R R -
-
AGGR

-

AGGR
N N N N

- - vPC domain 10 vPC domain 20 - -
R R
R R
Основные рекомендации
ACCESS

ACCESS
- -
  Различающиеся номера vPC доменов
E   BPDU Filter на пограничных устройствах для E
B блокирования распространения BPDU B
  STP Edge Mode для быстрого восстановления
  Отсутствие петель между ЦОД в обход vPC

Server Cluster
© 2011 Cisco and/or its affiliates. All rights reserved.
Server Cluster 23

Достоинства:
  Диалоговое выучивание MAC адресов
  Отказоустойчивость и изоляция STP
  Динамическая «подрезка» VLAN
  Отказоустойчивое сопряжение с LAN с помощью vPC+

Ограничения:
  Требует использования FabricPath соединений на всём транспорте
  Использует Flooding неизвестных адресов
  Нет подавления широковещания
  L2 Multipath только для путей одинаковой стоимости
  Затруднена локализация FHRP для оптимизации пути


•  Имитация «провода» (pseudowire) между двумя портами
оборудования в разных ЦОД
•  Отказоустойчивость и балансировка внешними средствами –
аналогично «тёмной оптике»
•  Обычно для связи двух ЦОД

•  Необходимо наличие MPLS сети

•  Использование дополнительного туннелирования для связи
через IP сеть: EoMPLSoGRE


•  Имитация коммутатора (VFI) между портами оборудования в
разных ЦОД (с опорой на pseudowire)
•  Отказоустойчивость и балансировка с помощью дополнительных
механизмов: A-VPLS на Cat6K, nV кластер на ASR9K, MLACP на
7600/ASR9K…
•  Необходимо наличие MPLS сети

•  Использование дополнительного туннелирования для связи через
IP сеть: VPLSoGRE


•  Расширение L2 доменов по произвольной IP сети

•  Ethernet трафик инкапсулируется в IP: “MAC in IP”

•  Динамическая инкапсуляция с использованием таблицы
маршрутизации MAC

MAC1  MAC2 IP A  IP B MAC1  MAC2 MAC1  MAC2
Encap Decap
MAC IF
OTV OTV
MAC1 Eth1
MAC2 IP B IP A IP B
MAC3 IP B

Взаимодействие между
Server 1 MAC1 (сайт 1) и MAC2 (сайт 2) Server 2
MAC 1 MAC 2

North
Data
•  Работа поверх любого транспорта (IP, Fault Center Fault
MPLS) Domain Domain

•  Изоляция доменов сбоев (STP)
•  Независимость сайтов
•  Оптимальное использование полосы
•  Встроенная отказоустойчивость
LAN Extension
•  Встроенная защита от «петель»
•  Связь многих сайтов
•  Масштабируемость
Only 6 CLI
  VLANs, сайты, MACs commands

  ARP, broadcasts/floods
•  Простота настройки Fault Fault
Domain Domain
•  Легкость добавления сайтов South
Data
Center

В чём именно проблема?
10.1.1.0/25 & 10.1.1.128/25 advertised into L3 10.1.1.0/24 advertised into L3
DC A is the primary entry point Backup should main site go down

Layer 3 Core

Agg
Agg

Access
Access

Node A
Virtual Machine Virtual Machine
ESX  ESX 

Data Center 1 VMware Data Center 2
vCenter


Хотелось бы так...

Agg
Agg

Access
Access

Node A
Virtual Machine
ESX  ESX 

Data Center 1 VMware Data Center 2
vCenter


•  Исходящий трафик
Изоляция FHRP

•  Входящий трафик
ACE/GSS
Выбор сайта с помощью DNS
Route Health Injection (RHI)
Анонс /32 маршрутов на активные сервисы
Locator/ID Separation Protocol – LISP-VM
Маршрутизация до сервиса


•  Одна и та же HSRP группа на всех сайтах с тем же виртуальным MAC
адресом
•  Каждый сайт обеспечивает исходящую маршрутизацию
•  OTV локализует исходящий трафик за счёт фильтрации HSRP hello
сообщений между сайтами
•  ARP запросы перехватываются на OTV edge устройстве чтобы
обеспечить ответы именно от локального шлюза

Active Active
GWY Site 1 GWY Site 2

L3
L2

FHRP FHRP
ARP traffic is Hellos Hellos ARP traffic is
kept local kept local
West East


144.254.1.100
144.254.200.100
KAL-AP Change IP
GSS

on VIP
Layer 3 Core ISP B
ISP A Intranet

P
KAL-A
DC A DC B

144.254.1.100 144.254.200.100

SNAT SNAT
Agg
VLAN A

Access
Access

VM= 10.1.1.100
L2 Links (GE or 10GE)
Default GW its affiliates. All rights reserved.
© 2011 Cisco and/or
= 10.1.1.1 34

144.254.1.100
144.254.200.100

144.254.1.0/24 is
advertised into L3

Layer 3 WAN
ISP B
ISP A
Data Center B
Data Center A MAC moved
Change the IP@

144.254.200.100
144.254.1.100

Agg Public Network
SNAT Agg
SNAT
VLAN A

Access
Access

VM= 10.1.1.100
Default GW = 10.1.1.1

144.254.100.0/25 & 144.254.100.128/25 144.254.100.0/24
EEM or RHI can be used to get very granular Backup for Data Center A

Layer 3 Core ISP B
ISP A Intranet Probe to
DC A 10.1.1.100 DC B
Failed

IS 10.1.1.100 OK?

Public Network
Agg
Agg
VLAN A

Access
Access

App VM = 10.1.1.100
Default GW = 10.1.1.1 L2 Links (GE or 10GE)

144.254.100.0/25 & 144.254.100.128/25 144.254.100.100/32 is advertised into L3 using RHI
144.254.100.0/24
EEM or RHI can be used to get very granular Backup for Data Center A

Layer 3 Core ISP B
ISP A Intranet

DC A Probe to DC B
10.1.1.100
is OK
IS 10.1.1.100 OK? RHI
Public Network
Agg
Agg
VLAN A
10.1.1.1 HSRP
Group 1 10.1.1.1 HSRP
Group 1

Access

App VM= 10.1.1.100
Default GW = 10.1.1.1 L2 Links (GE or 10GE)

•  Отделяет идентификатор сервиса (IP адрес) от его местоположения
•  Маршрутизация исходя из местоположения, а не адреса хоста
•  Соотношение адреса и его местоположение хранятся в директории
•  Поиск метоположения IP адреса по информации из директории
•  Инкапсуляция трафика (IP in IP) и передача по месту нахождения
хоста
•  Директория – распределенная база данных

ALT directory
  Информация о хостах не
хранится в таблице
маршрутизации
  “Summarizable host routing”

Resolution & Registration
Data Path

Prefix Route Locator

10.10.10.1 C, D
A, B

Ingress Tunnel 10.10.10.2 A, B
IP_DA 10.10.10.1
… …

Encap 1
10.10.10.5 C, D
2
10.10.10.6 C, D
IP_DA = 10.10.10.1 IP_DA= A Layer 3 Core ISP B
ISP A Intranet
IP_DA = 10.10.10.1 IP_DA= D 3
3
DC A DC B Decap
Decap
A B
C D
IP_DA = 10.10.10.1 IP_DA = 10.10.10.1

Public Network
Agg
Agg
VLAN A

Access
Access

VM= 10.10.10.1
Default GW its affiliates. All rights reserved.
© 2011 Cisco and/or
= 10.10.10.100 39

Client in LISP Site Client in non-LISP Site

C1 C2

D E
Layer3 Core
MR PxTR
MS
A A’
B B’
OTV Server-to-Server L2 traffic

VLAN A – 10.1.1.0
VLAN A – 10.1.1.0

FHRP: 10.1.1.1 ESX Server B
ESX Server A FHRP: 10.1.1.1

- Virtual-Machine-A - Virtual-Machine-A
- IP Address = 10.1.1.100 - IP Address = 10.1.1.100
- Mask: 255.255.255.0 - Mask: 255.255.255.0
- Default GW = 10.1.1.1 - Default GW = 10.1.1.1
LISP: L3 Client-to-Server OTV: L2 Server-to-Server
•  Оптимизация маршрутизации с детальной информацией о •  Оптимизация расширения LAN
местоположении •  Распределение прикладных систем
•  Оптимизация мобильности внутри или между подсетями •  Надежная связь на втором уровне для мобильности
•  Масштабирование прикладных сервисов виртуальных сервисов и кластерных систем


•  Типичный сценарий – несколько ЦОД в комплексе зданий
или на территории предприятия
•  Катастрофоустойчивость: минимальна

•  Связь LAN: оптоволокно 10GBASE-LR / 40GBASE-
LR4/100GBASE-LR4, vPC/FabricPath
•  Связь FC SAN: оптоволокно –LW

•  Конвергентный транспорт (FCoE): Nexus 5500 до 3 км,
Nexus 7000 F1/F2 до 10/80 км
•  Оптимизация пути: не нужна

•  Рассматривать как часть единого модульного ЦОД


•  Типичный сценарий – «резервный ЦОД» в пределах города
или «метро-области»
•  Катастрофоустойчивость: частично

•  Связь LAN: оптоволокно 10GBASE-ER/ZR / DWDM (vPC/
FabricPath), при необходимости - IP+OTV или MPLS/VPLS
•  Связь FC SAN: оптоволокно ER, CWDM/DWDM, при
необходимости – FCIP. I/O Aceleration для оптимизации ввода-
вывода (от 40-50 км)
•  Конвергентный транспорт (FCoE): Nexus 7000 F2 до 80 км

•  Оптимизация пути: по возможности

•  При наличии возможности – использование «тёмного волокна»
для LAN и SAN, синхронная репликация, технологии
метрокластеров, Vmotion


•  Типичный сценарий – «резервный ЦОД» в другом городе в
пределах региона
•  Катастрофоустойчивость: значительная

•  Связь LAN: IP+OTV или MPLS/VPLS, DWDM (при наличии)

•  Связь SAN: FCIP, DWDM (при наличии). I/O Aceleration для
оптимизации ввода-вывода
•  Оптимизация пути: желательна

•  Может использоваться для ряда «метрокластерных» технологий.
Асинхронная репликация или синхронная с ограничениями и
дополнительными инструментами


•  Типичный сценарий – ЦОД на случай катастрофы (DR) в другом
регионе страны
•  Катастрофоустойчивость: высокая

•  Связь LAN: IP+OTV или MPLS/VPLS - если требует технология
кластера
•  Связь SAN: FCIP – если необходимо. I/O Aceleration для
оптимизации ввода-вывода
•  Оптимизация пути: необходима

•  Асинхронная репликация, «log shipping» или иные средства
катастрофоустойчивости. Высокое время восстановления (часы и
более). Непосредственная связь между ЦОД – если требует
технология геокластера


Непрерывность обработки, катастрофоустойчивость и
оптимальное использование
“Operational Continuity” “Disaster Recovery (DR)”
Единая пара ЦОД Катастрофоустойчивый
с локальной отказоустойчивостью удалённый ЦОД (RTP)

DC1 DC2
(Texas) (Texas)

Metro area Far away
(в пределах 50 оптических миль) (> 200 миль, region-dependent)

Размещение непродуктивных приложений
Автоматическая смена функций при катастрофе
http://www.cisco.com/web/about/ciscoitatwork/data_center/docs/Cisco_IT_Raleigh_Dual_Purpose_Data_Center_Case_Study.pdf


http://www.cisco.com/go/dci

Спасибо!


Принципы построения катастрофоустойчивых ЦОД.

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (10)

Ähnlich wie Принципы построения катастрофоустойчивых ЦОД.

Ähnlich wie Принципы построения катастрофоустойчивых ЦОД. (20)

Mehr von Cisco Russia

Mehr von Cisco Russia (20)

Принципы построения катастрофоустойчивых ЦОД.