Diese Präsentation wurde erfolgreich gemeldet.
Die SlideShare-Präsentation wird heruntergeladen. ×

Солидекс ПИ - ЦОДы

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige

Hier ansehen

1 von 69 Anzeige
Anzeige

Weitere Verwandte Inhalte

Diashows für Sie (20)

Ähnlich wie Солидекс ПИ - ЦОДы (20)

Anzeige

Weitere von Sergey Polazhenko (20)

Aktuellste (20)

Anzeige

Солидекс ПИ - ЦОДы

  1. 1. ЦОД. Вокруг и внутри СП ООО «Солидекс ПИ» Иванов Сергей Евгеньевич Ганус Сергей Александрович Кацубо Сергей Михайлович 20 марта 2012
  2. 2. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 2
  3. 3. ЦОД. Вокруг и внутри Удаленное подразделение WOC/WPC Оператор WAN Оператор А B ОЦОД РЦОД WOC/WPC GSLB WOC/WPC GSLB Network-based SLB Storage Virt SLB VM VM VM VM 3
  4. 4. Вариации дизайна ЦОД Удаленное подразделение WOC/WPC Связь «ОЦОД – РЦОД» через WAN Оператор WAN Оператор А B ОЦОД РЦОД DMC DMC WOC/WPC GSLB WOC/WPC GSLB Network-based SLB Storage Virt SLB VM VM VM VM 4
  5. 5. Вариации дизайна ЦОД (2) Удаленное подразделение WOC/WPC Оператор WAN Оператор А B ОЦОД РЦОД 1 уровень в сети ЦОД WOC/WPC GSLB WOC/WPC GSLB Network-based SLB Storage Virt SLB VM VM VM VM 5
  6. 6. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 6
  7. 7. Проблемные точки в WAN Удаленное Удаленное подразделение подразделение Разница в скоростях LAN и WAN: очередь, сброс пакетов при переполнении Оператор буфера На стороне оператора: Rate Limiting – сброс пакетов при ЦОД превышении порога Congestion Points: задержки и сбросы пакетов, рост ART 7
  8. 8. Разница в скоростях LAN и WAN. Пример ЦОД 100 Мбит/с 4 Мбит/с Оператор Шейпинг (FIFO-очередь) • Настроена очередь длиной 1000 пакетов • Время ожидания 1000 х 1500 байт x 8 бит/байт : 4 Мбит/с = 3 сек • Интерактивные приложения требуют* ART < 100 мс * Источник: Top-Down Network Design, 3rd Edition. CiscoPress, 2011 8
  9. 9. К чему ведет разница в скоростях LAN и WAN? • Буферизация • Рост задержек (RTT, ART) • Сброс пакетов для всех приложений независимо от типа 9
  10. 10. Задача • Для трафика интерактивных приложений: сократить время ожидания в буфере • Как этого добиться? 10
  11. 11. Помогает ли Network QoS? Пример 1 • Приложение совместной работы – Признак интерактивного трафика: тип содержимого – html, xml, js • Нужно анализировать HTTP-заголовки – Иначе не сможем отделить интерактивный трафик от фоновой загрузки PDF или ZIP 11
  12. 12. Помогает ли Network QoS? Пример 2 • Терминальный доступ (Citrix) – Признак интерактивного трафика: поле в L7-заголовке • Нужно анализировать Citrix-заголовки – Иначе не сможем отделить интерактивный трафик от фоновой печати или передачи файлов 12
  13. 13. Помогает ли Network QoS? • Распознавание ряда приложений требует анализа на L7 • Network QoS ограничен L3/L4 • Вывод: не подходит 13
  14. 14. Что требуется от решения? • Visibility: различать трафик на L7 • Control: обслуживать трафик в соответствии с требованиями приложений Приложение Пропускная способность Задержка Потери (на 1 пользователя) Citrix 40 – 400 кбит/с 100 – 200 мс 1 – 2% (интерактивный) Citrix (фоновый) 50 – 1000 кбит/с 200 – 500 мс 1 – 5% Exchange 100 – 2000 кбит/с 1–5с 1 – 10% Сетевые сервисы 20 – 200 кбит/с 100 – 500 мс 1 – 3% 14
  15. 15. Оптимизация • Можно ли управлять – Полосой пропускания: «увеличить» WAN-канал? – Приложением: «улучшить» для работы в WAN? 15
  16. 16. Техники оптимизации • Caching, deduplication • Compression • Protocol Acceleration • Request Prediction 16
  17. 17. Результат Удаленное Удаленное подразделение подразделение WOC WOC • Уменьшение времени отклика интерактивных приложений Оператор • Экономия на полосе пропускания WAN-каналов ЦОД WOC 17
  18. 18. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 18
  19. 19. 2 канала WAN Удаленное подразделение Оператор WAN Оператор А B ЦОД Задачи: • Резервирование • Параллельное использование 19
  20. 20. Резервирование Удаленное подразделение Активный Резервный туннель туннель Оператор WAN Оператор А B ЦОД • Статические маршруты + контроль доступности второго конца туннеля • Динамическая маршрутизация 20
  21. 21. Параллельное использование Удаленное подразделение Активный Активный туннель #1 туннель #2 Оператор WAN Оператор А B ЦОД • Статические маршруты + PBR + контроль доступности второго конца туннеля • Динамическая маршрутизация + ECMP 21
  22. 22. Общая проблема приведенных решений • Не принимаются в расчет текущие характеристики WAN – задержки, потери пакетов • Не будет замечена, например, деградация WAN- транспорта при возникновении перегрузки в сети оператора 22
  23. 23. WAN Path Selection • Мониторинг функционирования каждого WAN- канала – Доступность удаленных площадок – Характеристики каналов: задержка, RTT, потери • Динамическая балансировка сессий между WAN- каналами с учетом их текущих характеристик 23
  24. 24. WAN Path Selection. Результат Удаленное подразделение WPS • Параллельное использование WAN-каналов • Для интерактивного трафика – выбор канала с наименьшей Оператор Оператор А B задержкой ЦОД • Виртуализация WAN: несколько каналов посредством WPS представляются как один WPS логический 24
  25. 25. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней сети – Единая сеть для LAN и SAN 25
  26. 26. Задача Global Site Load Balancing • Исходные данные: 2 ЦОД в режиме Active/Active • Задача: выбор ЦОД для обслуживания запросов 26
  27. 27. Выбор ЦОД для обработки запроса Балансировка между ЦОД: Internet / WAN DNS, HTTP Redirect ОЦОД Балансировка между РЦОД GSLB GSLB серверами с учетом показателей функционирования SLB SLB AppVIP-1 AppVIP-2 VM VM 27
  28. 28. Сценарий 1 app.by = AppVIP-1 1 3 2 4 ОЦОД РЦОД AppVIP-1 AppVIP-2 VM VM 28
  29. 29. Сценарий 2. Live VM Migration ОЦОД РЦОД AppVIP-1 AppVIP-2 VM VM 29
  30. 30. Сценарий 3 app.by = AppVIP-2 2 3 GSLBучитывает ОЦОД новое РЦОД расположение VM 1 AppVIP-1 AppVIP-2 4 SLB учитывает расположение VM VM VM 30
  31. 31. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 31
  32. 32. VM Mobility • Миграция VM в пределах одного ЦОД • Не составляет проблем • Миграция VM между ЦОД • С выключением VM • Live Migration 32
  33. 33. Миграция с выключением VM. Этапы 1. Выключение VM 2. Создание копии VM в СХД резервного ЦОД • задача синхронизации будет рассмотрена далее 3. Регистрация VM на сервере РЦОД 4. Запуск VM 33
  34. 34. Миграция без выключения VM. Этапы 1. Миграция VM • при миграции передается содержимое RAM (как правило, несколько гигабайт) • WAN должен обеспечить достаточную пропускную способность и отсутствие ошибок в канале 2. Storage Migration • чтобы избежать обращения к СХД через WAN VM VM VM VM WAN VM 34
  35. 35. Storage Migration. Shared Storage VM VM VM VM WAN VM • Работа с СХД через WAN • Задержка при распространении сигнала ~ 5мкс/км • Выполнение iSCSI команды – 4 сообщения => 20 мкс/км • 100 км – дополнительная задержка в 2 мс 35
  36. 36. Storage Migration. Active-Standby режим работы VM VM VM VM DMC DMC WAN Необходимо синхронизировать данные между СХД Синхронизация через выделенный канал связи Синхронизация через WAN 36
  37. 37. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 37
  38. 38. Варианты синхронизации • Storage-Based • Синхронизация обеспечивается средствами СХД • Как правило, возможна только между одинаковыми устройствами (или устройствами одного вендора) • Network-Based • Синхронизация обеспечивается средствами промежуточного устройства 38
  39. 39. Преимущества network-based синхронизации • Синхронизация между устройствами РЦОД можно • разных производителей сделать • с разными технологиями доступа (FC, iSCSI) дешевле • Переключение ролей active-standby для LUN VM VM VM VM WAN 39
  40. 40. Особенности синхронизации данных • Большие объемы данных (десятки гигабайт) • Информация повторяется (например, синхронизация VM с одинаковыми гостевыми OS) • Чем меньше загрузка WAN, тем быстрее можно осуществить синхронизацию и миграцию Поле деятельности для средств дедупликации 40
  41. 41. Дедупликация данных • Средствами СХД • Средствами платформы виртуализации • Средствами платформы WAN-оптимизации: DMC 41
  42. 42. Пример работы дедупликации Средствами СХД или платформы виртуализации Блок данных, 8kB Фактически измененные данные, 512B В канал передаются только измененные данные - 512 B вместо 8 кB 42
  43. 43. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 43
  44. 44. ЦОД сейчас • STP – стандарт де-факто • с учетом его разновидностей – RSTP, MSTP и т.д. • STP обладает рядом недостатков • bisectional bandwidth • время конвергенции • неоптимальный выбор пути 44
  45. 45. Bisectional bandwidth Из возможных 8 аплинков задействованы 4 B B B B 45
  46. 46. Альтернативы STP. M-LAG Физическая топология Логическая топология M-LAG SW23 SW2 SW3 ISL LAG SW1 SW1 • Для SW1 – обычный LAG (802.3ad) • Оба аплинка активны – передают трафик 46
  47. 47. Варианты применения M-LAG M-LAG M-LAG SW2 SW3 SW2 SW3 ISL ISL LAG LAG LAG SW1 SRV1 47
  48. 48. Особенности топологии сети и M-LAG M-LAG M-LAG B M-LAG В некоторых случаях M-LAG не обеспечивает полную утилизацию каналов 48
  49. 49. MLAG. Заключение • Решается проблема задействования каналов* M-LAG • Остается ограничение: не более двух коммутаторов для организации M-LAG * для определенных топологий 49
  50. 50. Можно ли отказаться от STP? • Отключить MAC-learning на коммутаторах ядра • Отключить процесс STP: ввести другой control- plane протокол 50
  51. 51. Альтернативы STP и M-LAG. SPB S3 S4 S5 S6 S1 S2 Server A Server B • Задействуются все аплинки (все возможные маршруты – до 16) между серверами Server A и Server B 51
  52. 52. SPB. Общая идея S3 S4 S5 S6 Таблица MAC S1 S2 Server A Порт 1 Server B S2 ---------------------------- Таблица Switch Server A Server B S2 Порт 3,4,5,6 • IS-IS обеспечивает расчет параллельных маршрутов • Пограничный коммутатор добавляет в заголовок адрес точки выхода (B-DA) • Коммутаторы ядра используют этот адрес для передачи 52
  53. 53. Отличия TRILL и SPB Характеристика SPB TRILL Разработчик IEEE (802.1aq) IETF (RFC 5556) Использует заголовок Собственный заголовок Заголовок PBB: не требует TRILL: требует поддержки замены оборудования “в железе” Использует IS-IS для Использует IS-IS для расчета Расчет топологии расчета топологии топологии Только для unicast. Обеспечение Для multicast и unknown симметричности Для всех типов MAC – возможны трафика несимметричные пути 53
  54. 54. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 54
  55. 55. Уровни сети в ЦОД: сейчас РЦОД Коммутаторы ядра Коммутаторы агрегирования Коммутаторы доступа Blade-коммутаторы Виртуальные коммутаторы vSwitch vSwitch VM VM VM VM • Уровневый дизайн vs «Горизонтальный» трафик 55
  56. 56. Сколько уровней в самый раз? 56
  57. 57. 3 уровня Коммутаторы ядра и РЦОД агрегирования Коммутаторы доступа Виртуальные коммутаторы vSwitch vSwitch VM VM VM VM • Исключены blade-коммутаторы • Совмещены функции уровней ядра и агрегирования • Можно ли убрать уровень виртуальных коммутаторов? 57
  58. 58. Исключаем vSwitch: IEEE 802.1Qbg (VEPA) Обработка VM-трафика (коммутация, фильтрация, Коммутатор доступа обнаружение аномалий, учет) Virtual Station Динамическая настройка Interface Discovery VLAN при перемещении VM and Configuration Сервер NIC Передача трафика без Direct Path I/O привлечения виртуального коммутатора VM1 VM2 VM3 58
  59. 59. 2 уровня Коммутаторы ядра и агрегирования РЦОД Коммутаторы доступа VM VM VM VM 59
  60. 60. 1 уровень Коммутаторы ядра, агрегирования и доступа РЦОД VM VM VM VM 60
  61. 61. Содержание • Уменьшение ART • Резервирование и балансировка в WAN • Непрерывность функционирования: два ЦОД – Распределение запросов – Миграция виртуальных машин – Синхронизация данных • Сеть ЦОД – Производительность – Уменьшение количества уровней – Единая сеть для LAN и SAN 61
  62. 62. 2 разные сети или 1 универсальная сеть? • Сейчас: разные сети (технологии, оборудование, специалисты) под разные задачи – Ethernet: для LAN – FC для SAN: малые задержки и loseless-транспорт • Можно ли отказаться от FC и использовать Ethernet в сети хранения данных? 62
  63. 63. Требования к универсальной сети От Ethernet потребуются новые «умения» 1. Гарантировать доставку без потерь 2. Гарантировать минимальную задержку 3. Гарантировать полосу пропускания 63
  64. 64. Datacenter Bridging: улучшенный Ethernet Свойство Назначение Priority-based Flow Control (PFC) Транспорт без потерь (loseless) IEEE 802.1Qbb Enhanced Transmission Selection Приоритет и гарантированная полоса (ETS) пропускания для каждого класса IEEE 802.1Qaz Congestion Notification Управление перегрузками IEEE 802.1Qau Data Center Bridging Exchange Согласование конфигурации Protocol (DCBX) IEEE 802.1Qaz 64
  65. 65. Priority-based Flow Control (PFC) Выходные Входные очереди буферы Буфер “Blue” заполнен? PFC PAUSE: “Blue” lane • Уведомление PAUSE для линии (класса трафика) при исчерпании соответствующего буфера • Позволяет строить loseless-транспорт 65
  66. 66. Enhanced Transmission Selection (ETS) Выходные Входные очереди буферы PRI 1, BW 30% PRI 2, BW 60% • Передача трафика на основе приоритета (Priority) и минимальной полосы (Bandwidth) 66
  67. 67. Data Center Bridging Exchange Protocol (DCBX) Выходные Входные очереди буферы • Проверка и согласование конфигурации DCB между соседними коммутаторами – Параметры PFC и ETS – Логическое состояние Virtual Lane 67
  68. 68. ЦОД. Вокруг и внутри Удаленное подразделение WOC/WPC Оператор WAN Оператор А B ОЦОД РЦОД WOC/WPC GSLB WOC/WPC GSLB Network-based SLB Storage Virt SLB VM VM VM VM 68
  69. 69. Вопросы?

×