Weitere ähnliche Inhalte
Ähnlich wie Введение в технологии FC и FCoE для сетевых инженеров. (20)
Mehr von Cisco Russia (20)
Введение в технологии FC и FCoE для сетевых инженеров.
- 2. © 2011 Cisco and/or its affiliates. All rights reserved. 2
- 3. • Технический комитет T11
Занимается стандартизацией протоколов Fibre Channel
Входит в состав Международного комитета по стандартам в сфере ИТ
(International Committee for Information Technology Standards - INCITS)
Ссылка: www.t11.org/index.html
• Основные стандарты
FC-BB-6 - Fibre Channel Backbone
FC-FS-4 - Fibre Channel Framing and Signaling
FC-LS-3 - Fibre Channel Link Services
FC-PI-6 - Fibre Channel Physical Interfaces
FC-SP-2 - Fibre Channel Security Protocols
FC-SW-6 - Fibre Channel Switch Fabric
Ссылка: www.t11.org/t11/docreg.nsf/draftlr
© 2011 Cisco and/or its affiliates. All rights reserved. 3
- 4. VIA SCSI IPv4 IPv6 SBCCS
FC-4
FC-VI FCP-4 RFC4338 FC-SB-5 others
FC-3 Common Services FC-LS-3
FC-2 Signaling Protocol FC-FS-4
FC-1 Transmission Protocol
Transmitters and Receivers
FC-0 FC-PI-6
Media
© 2011 Cisco and/or its affiliates. All rights reserved. 4
- 5. • FC-4 Отображения протоколов
Предоставляет возможность инкапсуляции протоколов верхнего уровня
(Upper Level Protocols - ULP).
• FC-3 Общих служб
Определяет базовые и расширенные службы для транспортного уровня.
• FC-2 Кадрирование и сигнализация
На этом уровне происходит разбиение данных на кадры. Определяет
правила передачи данных. Описывает управление потоком.
• FC-1 Кодирования
Описывает процесс кодирования, контроль ошибок, определяет
специальные символы.
• FC-0 Физический
Описывает среду передачи, передатчики и приемники сигнала.
© 2011 Cisco and/or its affiliates. All rights reserved. 5
- 6. • Point-to-point (точка-точка)
Порты устройства соединены напрямую
Передатчик одного устройства соединён с приемником второго и
наоборот
Для построения не требуется коммутатор
TX RX
RX TX
© 2011 Cisco and/or its affiliates. All rights reserved. 6
- 7. • Arbitrated Loop (управляемая петля)
Передатчик каждого устройства соединён с приемником следующего
Добавление устройства в петлю приводит к приостановке передачи
данных между уже подключенными устройствами
Выход из строя одного устройства может привести к отказу всей петли
RX TX
TX RX
RX TX
TX RX
© 2011 Cisco and/or its affiliates. All rights reserved. 7
- 8. • Fabric (коммутируемая связная архитектура)
Позволяет объединять большое количество устройств
Добавление устройств не влияет на передачу данных между уже
подключенными устройствами
Для построения требуется коммутатор
Fabric
© 2011 Cisco and/or its affiliates. All rights reserved. 8
- 9. • N_Port (Node port)
Порт устройства с поддержкой топологии Point-to-point (точка-точка) или
топологии Fabric (коммутируемая связная архитектура)
• NL_Port (Node Loop port)
Порт устройства с поддержкой топологии Arbitrated Loop (управляемая
петля)
• F_Port (Fabric port)
Порт коммутатора который используется для подключения портов типа
N_Port
• FL_Port (Fabric Loop port)
Порт коммутатора который используется для подключения портов типа
NL_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 9
- 10. • E_Port
Порт коммутатора который используется для соединения коммутаторов
• B_Port
Порт устройства выполняющего функцию преобразования трафика (Fibre
Channel Bridge)
• G_Port (Generic port)
Порт коммутатора который может автоматически определять тип порта
E_Port или F_Port
• GL_Port (Generic Loop port)
Порт коммутатора который может автоматически определять тип порта
E_Port, F_Port и FL_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 10
- 11. • TE port (Trunking E port)
Это расширенный E_Port который поддерживает возможность передачи
кадров Fibre Channel с дополнительным тегом содержащим информацию
о VSAN (Virtual SAN)
• NP port (proxy N port)
Порт устройства работающего в режиме NPV. Используется для
подключения к портам коммутаторов типа F_Port.
• TF port (Trunking F port)
Это расширенный F_Port который c возможностью передачи информации
о VSAN . Используется для подключения устройств работающих в режиме
NPV.
• TNP port (Trunking NP port)
Это расширенный NP_Port c возможностью передачи информации о
VSAN
© 2011 Cisco and/or its affiliates. All rights reserved. 11
- 12. F_Port TE_Port TE_Port E_Port E_Port
FL_Port F_Port
F_Port
NL_Port N_Port
NP_Port
N_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 12
- 13. • Позволяет передавать через порт трафик нескольких VSAN
кадры Fibre Channel дополняются тегом содержащим информацию о
VSAN (Virtual SAN)
поддерживается на портах типа E_Port и F_Port
• Cisco Port Trunking Protocol (PTP)
Используется при создании соединения между коммутаторами для
согласования списка разрешенных VSAN и обнаружения ошибок в
конфигурации портов
VSAN 11 VSAN 11
11
VSAN 21 VSAN 21
21
© 2011 Cisco and/or its affiliates. All rights reserved. 13
- 14. • Увеличение пропускной способности
Объединение нескольких физических соединений в один логический
канал с большей пропускной способностью
• Возможно объединение следующих типов портов
E_Port и E_Port
F_Port и NP_Port
TE_Port и TE_Port
TF_Port и TNP_Port
TE_Port TE_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 14
- 15. • Повышение отказоустойчивости
Отказ одного из физических соединений не приводит к отказу логического
канала
Рекомендуется использовать порты расположенные на разных модулях
• Аппаратная балансировка
Поддерживаются два режима балансировки - Flow based (src-id/dst-id) и
Exchange based (src-id/dst-id/oxid). Режим балансировки определяется на
уровне VSAN.
MDS-9513# show vsan 10
vsan 10 information
name:VSAN10 state:active
interoperability mode:default
loadbalancing:src-id/dst-id/oxid
operational state:up
© 2011 Cisco and/or its affiliates. All rights reserved. 15
- 16. • Уровень FC-2 определяет правила передачи данных
На этом уровне определены кадр (Frame), пакет (Sequence) и обмен
(Exchange)
Пакет (sequence) состоит из одного или нескольких кадров
Кадры бывают двух типов:
передачи данных (Data frames)
управления (Link Control frames)
Набор пакетов которыми обмениваются узлы называется обменом
Exchange OX_ID RX_ID
sequence sequence sequence SEQ_ID
frame frame frame SEQ_CNT
© 2011 Cisco and/or its affiliates. All rights reserved. 16
- 17. • World Wide Name (WWN) - уникальный идентификатор
Встраиваются в устройство на этапе изготовления
• Оригинальный формат World Wide Name (WWN)
Первые 2 байта шестнадцатеричные 10:00 или 2x:xx
где значение x:xx - определяется производителем
Следующие 3 байта - идентификатор производителя
Следующие 3 байта - определяются производителем
• WWN адаптеров узлов регистрируются во время FLOGI
4 бита 12 бит 24 бита 24 бита
2 Port Identifier IEEE Organizational Unique ID (OUI) Locally Assigned Identifier
© 2011 Cisco and/or its affiliates. All rights reserved. 17
- 18. • Switch WWN - уникальный идентификатор коммутатора
MDS-9513# show wwn switch
Switch WWN is 20:00:00:0d:ec:24:f4:c0
• Port WWN - уникальный идентификатор порта
MDS-9513# show interface fc4/1
fc4/1 is up
Hardware is Fibre Channel, SFP is 10GBASE-LR
Port WWN is 20:c1:00:0d:ec:24:f4:c0
<…>
© 2011 Cisco and/or its affiliates. All rights reserved. 18
- 19. • FC ID - 24 битный идентификатор узла который состоит из
идентификатора домена (Domain_ID)
идентификатора области (Area_ID)
идентификатора порта (Port_ID)
8 бит 8 бит 8 бит
Domain Area Port
• FC ID назначается коммутатором во время FLOGI
MDS_9513# show flogi database interface fc 3/38
----------------------------------------------------------------------------------------------------------------------
INTERFACE VSAN FCID PORT NAME NODE NAME
----------------------------------------------------------------------------------------------------------------------
fc3/38 100 0x010423 21:00:00:04:cf:db:3e:a7 20:00:00:04:cf:db:3e:a7
© 2011 Cisco and/or its affiliates. All rights reserved. 19
- 20. • На основании Domain_ID производится доставка кадров
Domain_ID 0x01 (1) Domain_ID 0x8d (141)
VSAN 11 VSAN 11
FC ID 0x010423 Domain_ID 0x6f (111) Domain_ID 0x47 (71) FC ID 0x8d0100
VSAN 11 VSAN 11 VSAN 11 VSAN 11
© 2011 Cisco and/or its affiliates. All rights reserved. 20
- 21. • FSPF - протокол маршрутизации в сетях Fibre Channel.
Стандартизирован техническим комитетом T11 (FC-SW6 раздел 8 )
• FSPF протокол обладает следующими свойствами
- доставка кадров осуществляется по нескольким маршрутам с
одинаковой стоимостью (multipath routing)
- маршрутизация производиться на основании Domain_ID
- основан на технологии отслеживания состояния канала (link-state)
- обеспечивает построение топологии без петель
- в каждом VSAN исполняется свой независимый протокол FSPF
- исполняется только на портах типа E_Port и TE_Port
- быстрое время схождения в случае изменения топологии
- использует стоимость (cost) в качестве метрики при выборе маршрута
© 2011 Cisco and/or its affiliates. All rights reserved. 21
- 22. • Узел определяет наличие или отсутствие коммутатора
• Происходит обмен параметров между узлом и коммутатором
количество B2B_Credit
поддерживаемые классы обслуживания (classes of service)
размер кадра
значения таймаут (E_D_TOV и R_A_TOV)
• Коммутатор назначает Fibre Channel ID (FCID)
N_Port F_Port F_Port N_Port
FLOGI FLOGI
0xFFFFFE 0xFFFFFE
© 2011 Cisco and/or its affiliates. All rights reserved. 22
- 23. • Выполняется между узлами, которые хотят установить
соединение
• Процесс похож на FLOGI
• В топологии точка-точка (point-to-point) во время процесса
PLOGI определяется количество буферов BB_Credit
N_Port F_Port F_Port N_Port
PLOGI
© 2011 Cisco and/or its affiliates. All rights reserved. 23
- 24. • NPV позволяет уменьшить количество идентификаторов
домена (Domain_ID)
Коммутатор работающий в режиме NPV выполняет FLOGI
FLOGI серверов конвертируются коммутатором NPV в FDISC (Discover
F_Port Service Parameters)
FC ID назначаются серверам вышестоящим (upstream) коммутатором
N_Port F_Port NP_Port F_Port F_Port
Сервер приложений
Сервер приложений
Сервер приложений
N_Port
Сервер приложений
FLOGI
NPV NPIV
Сервер приложений
FLOGI FDISC
© 2011 Cisco and/or its affiliates. All rights reserved. 24
- 25. • NPIV позволяет назначать несколько FC ID устройствам
подключенным к одному порту N_Port
Первый FC ID назначается в ответ на FLOGI запрос отправленный N_Port
Последующие FC ID назначается в ответ на запросы FDISC (Discover
F_Port Service Parameters)
NPIV позволяет использование одного порта Fibre Channel несколькими
приложениями
Повышается уровень безопасности за счет разграничения доступа (Zone)
Web сервер N_Port 1 N_Port F_Port
Mail сервер N_Port 2
DB сервер N_Port 3 FLOGI NPIV
FDISC
© 2011 Cisco and/or its affiliates. All rights reserved. 25
- 26. • Зонирование позволяет контролировать доступ к устройствам
хранения данных
• Контроль обеспечивается путем проверки полей FC ID в
заголовке кадра
• Только пользователи входящие в зону
могут общаться друг с другом
zone name BLD_SRV-01-STR-01 vsan 10
pwwn 20:12:00:0d:ec:9e:e5:40 FC Fabric
pwwn 21:01:00:e0:8b:bb:91:97
FC Zone
• Зоны входят в состав наборов зон (zoneset) FC
zoneset name UCS vsan 10
member BLD_SRV-01-STR-01
member BLD_SRV-02-STR-01
Initiator Target
© 2011 Cisco and/or its affiliates. All rights reserved. 26
- 27. • BB_Credit (buffer-to-buffer credit) - механизм управления
потоком передачи данных
Служит для предотвращения потери кадров
Значение BB_Credit определяется в момент инициализации порта
Передача кадра разрешена только при наличии BB_Credit у порта
После передачи кадра значение BB_Credit уменьшается на единицу
После получения подтверждение передачи отправленного кадра (R_RDY)
значение BB_Credit увеличивается на единицу
кадр кадр кадр
R_RDY R_RDY R_RDY
© 2011 Cisco and/or its affiliates. All rights reserved. 27
- 28. © 2011 Cisco and/or its affiliates. All rights reserved. 28
- 29. FC
FC
SAN Extension
FICON VSAN
FC
Security
Zoning
iSCSI FICON
QoS
FCIP
FCoE
Сеть хранения данных (SAN)
© 2011 Cisco and/or its affiliates. All rights reserved. 29
- 30. • T11 - FCoE определен в стандарте FC-BB-5
• IEEE – разработка стандартов направленных на предотвращение
потерь (lossless Ethernet) в сетях Data Center Bridging (DCB)
T11 IEEE
FCoE
DCB
FC on
FC on Other
other
Network
network PFC ETS DCBX
Media
media
Lossless Priority Configuration
Ethernet Grouping Verification
FC-BB-5 802.1Qbb 802.1Qaz 802.1Qaz
© 2011 Cisco and/or its affiliates. All rights reserved. 30
- 31. • PFC расширяет функционал IEEE 802.3x PAUSE
Class of Service (CoS) позволяет определить до 8 приоритетов трафика
PFC позволяет управлять потоком в зависимости от приоритета
Transmit Queues Ethernet Link Receive Buffers
One One
Two Two
Three STOP
PAUSE Three
Four Four
Five Five
Six Six
Seven Seven
Eight Eight
© 2011 Cisco and/or its affiliates. All rights reserved. 31
- 32. • PFC расширяет функционал IEEE 802.3x PAUSE
Различия между кадрами IEEE 802.3x PAUSE и PFC
© 2011 Cisco and/or its affiliates. All rights reserved. 32
- 33. Позволяет создавать классы для трафика с различным приоритетом
Обеспечивает гарантированную полосу при передаче трафика
Классам разрешается использование доступной пропускной способности
канала других классов
Offered Traffic 10 GE Link Realized Traffic Utilization Guaranteed
Bandwidth
3G/s HPC Traffic 2G/s
3G/s 3G/s 2G/s
3G/s
30%
3G/s Storage Traffic 3G/s
3G/s 3G/s 3G/s 3G/s
30%
3G/s 4G/s 6G/s 3G/s LAN Traffic 5G/s 40%
4G/s
t1 t2 t3 t1 t2 t3
© 2011 Cisco and/or its affiliates. All rights reserved. 33
- 34. • Протокол DCBX используется для согласования
конфигурационных параметров
Использует Link-Layer Discovery протокол (LLDP)
Возможно согласование следующих параметров:
- FCoE CoS (значение 802.1p используемое для кадров FCoE)
- QoS (per-priority-pause, scheduling, MTU)
- состояние логического соединения
Протокол точка-точка
© 2011 Cisco and/or its affiliates. All rights reserved. 34
- 35. • С точки зрения Fibre Channel:
Передача FC использует новый тип среды - Ethernet
• С точки зрения Ethernet:
Новый протокол верхнего уровня ULP (Upper Layer Protocol)
FC-4 Отображения протоколов Отображения протоколов FC-4
FC-3 Общих служб Общих служб FC-3
FC-2 Кадрирование и сигнализация Кадрирование и сигнализация FC-2
FC-1 Кодирования FCoE Logical End Point
FC-0 Физический Доступ к среде (MAC)
Физический уровень (PHY)
© 2011 Cisco and/or its affiliates. All rights reserved. 35
- 36. FCoE использует два различных протокола
• Fibre Channel over Ethernet
Протокол передачи данных (data plane protocol)
Используется для передачи кадров Fibre Channel и трафика SCSI
Ether Type 0x8906 в заголовке Ethernet кадра
• FCoE Initialization Protocol (FIP)
Протокол управления (control plane protocol)
Используется для обнаружения узлов FC в сети
Установления (login) и разрыва (logout) соединений
Ether Type 0x8914 в заголовке Ethernet кадра
© 2011 Cisco and/or its affiliates. All rights reserved. 36
- 37. Header
Ethernet
Header
FC Payload 2112 байт
Header
CRC
FCoE
EOF
FC
FCS
Максимальный размер кадра 2180 байт
Определен в стандарте FC-BB-5
FCoE требуется поддержка
передачи кадров большого размера
(“baby jumbo”- 2500 байт)
© 2011 Cisco and/or its affiliates. All rights reserved. 37
- 38. • Типы портов
VN_Port - виртуальный N_Port
SAN 1
VF_Port - виртуальный F_Port SAN 2
VE_Port - виртуальный E_Port
F_Port N_Port
FCF
VE_Port
E_Port
VE_Port
E_Port
FCF
FCF VF_Port
VN_Port
FC
Enode Enode
FCoE
© 2011 Cisco and/or its affiliates. All rights reserved. 38
- 39. • FCoE Link End-Point (FCoE_LEP)
Отвечает за инкапсуляцию и декапсуляцию кадров Fibre Channel
Производит прием и передачу инкапсулированных кадров через
виртуальный канал
• FCoE Controller
Элемент в котором реализованы функции протокола FCoE Initialization
Protocol (FIP)
• FIP Snooping Bridge
Коммутатор способный просматривать содержимое FIP пакетов в момент
обнаружения узлов и установления соединения
© 2011 Cisco and/or its affiliates. All rights reserved. 39
- 42. • Представляет собой логический коммутатор FC внутри
коммутатора FCoE
Требует идентификатор домена (Domain_ID)
FLOGI происходит в FCF
Содержит FCF-MAC адрес
• Выполняет инкапсуляция и декапсуляцию кадров FCoE
• Коммутатор работающий в режиме NPV не может выполнять
функцию FCF в виду отсутствия идентификатор домена
(Domain_ID)
© 2011 Cisco and/or its affiliates. All rights reserved. 42
- 43. FC
port
FC
Коммутатор FC port
FCG FC
port
FC
Lossless Ethernet Bridge port
Eth Eth Eth Eth Eth Eth Eth Eth
port port port port port port port port
FCG (Fibre Channel Gateway)
© 2011 Cisco and/or its affiliates. All rights reserved. 43
- 44. • FCoE виртуальное соединение (Virtual Link)
© 2011 Cisco and/or its affiliates. All rights reserved. 44
- 45. • FIP протокол используется для
обнаружение FCoE VLAN (FIP VLAN discovery)
поиска FCoE FCF (FIP FCF discovery)
создание виртуального канала FCoE (FCoE Virtual Link instantiation)
поддержание работоспособности виртуального канала (FCoE Virtual Link
maintenance)
• FIP протокол работает на уровне VLAN-ов.
• Рекомендуется использовать VLAN по умолчанию во время
процесса FIP VLAN Discovery.
© 2011 Cisco and/or its affiliates. All rights reserved. 45
- 46. Enode FCoE forwarder (FCF)
VLAN Discovery
FCF Discovery FIP
FLOGI/FDISC
FC commands FCoE
© 2011 Cisco and/or its affiliates. All rights reserved. 46
- 47. • CNA может обнаружить несколько FCF одновременно
• FCF с меньшим приоритетом предпочтителен
• Значение приоритета по умолчанию 128
FCF# show fcoe
Global FCF details
FCF-MAC is 00:0d:ec:a3:9d:80
FC-MAP is 0e:fc:00
FCF Priority is 128
FKA Advertisement period for FCF is 8 seconds
• Если значение приоритета совпадает - CNA выбирает FCF
случайным образом
© 2011 Cisco and/or its affiliates. All rights reserved. 47
- 48. • При доставке кадров FCoE
MAC изменяется с каждым переходом (hop-by-hop)
FC ID остается неизменным (end-to-end)
MAC A MAC B MAC C
FC Domain 7 FC Domain 3 FC Domain 1 FCID 1.1.1
FCID 7.1.1
Ethernet Fabric Ethernet Fabric
FC Fabric FC Fabric
FC Storage
Dst. = MAC B Dst. = MAC C
D_ID = FC ID 1.1.1 D_ID = FC ID 1.1.1 Src. = MAC A Src. = MAC B
S_ID = FC ID 7.1.1 S_ID = FC ID 7.1.1
D_ID = FC ID 1.1.1 D_ID = FC ID 1.1.1
S_ID = FC ID 7.1.1 S_ID = FC ID 7.1.1
FC кадр FC кадр
FCoE кадр FCoE кадр
© 2011 Cisco and/or its affiliates. All rights reserved. 48
- 49. • Портам VE_Port и VF_Port MAC адреса назначаются из пула
адресов коммутатора
• MAC адреса портам VN_Port могут быть назначены сервером
или коммутатором:
SPMA - Server Provided MAC Address
FPMA - Fabric Provided MAC Address
• В настоящее время Cisco использует только FPMA механизм
назначения MAC адресов портам VN_Port
• FIP протокол используется для определения MAC адреса
портов VN_Port
© 2011 Cisco and/or its affiliates. All rights reserved. 49
- 50. • MAC адрес выделяется для каждого FC ID
• MAC адреса состоит из двух частей - FC-MAP и FC ID
FC-MAP - старшие 24 бита MAC адреса
FC ID - младшие 24 бита MAC адреса
• Доставка кадров FCoE осуществляется по нескольким
маршрутам на основании Domain_ID в FC ID
FC-MAP FC-ID
0E-FC-00 02.00.04
FC-MAP FC-ID
FC-MAC адрес (0E-FC-xx) 02.00.04
© 2011 Cisco and/or its affiliates. All rights reserved. 50
- 51. • Priority Flow Control (PFC)
http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/white_paper_
c11-542809.pdf
• Enhanced Transmission Selection (ETS)
http://www.ieee802.org/1/pages/802.1az.html
• Data Center Bridging Exchange (DCBX)
http://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbcxp-overview-
rev0.2.pdf
• Data Center Bridging (DCB)
http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/ns783/at_a_gl
ance_c45-460907.pdf
© 2011 Cisco and/or its affiliates. All rights reserved. 51