ブロケード FC ファブリックスイッチオペレーション講座（後編）

ブロケード FC ファブリックスイッチ
オペレーション講座（後編）

Agenda
• SANスイッチの監視設定
‒ SNMP
‒ Syslog
• トラブルシュートのための操作
‒ 接続トラブル
‒ ファブリックトラブル
‒ パフォーマンストラブル
‒ その他
Brocade FC Switch Operation 2/2 2

SANスイッチの監視設定

SNMP
汎用的な機器監視プロトコル
• SNMP v1/v3に対応
• SNMPエージェント (スイッチ)の設定
‒ SNMPマネージャやメッセージレベル、コミュニティの設定
‒ 特定のMIBの有効 (On)/無効 (Off)を設定
‒ 6つのSNMPコミュニティ (SNMPマネージャ)を登録可能
• SNMPマネージャの設定
‒ コミュニティ名の設定
‒ MIBのインストール
• SNMPv1のセキュリティ
‒ コミュニティー名の認証
• SNMPv3のセキュリティ
‒ ユーザー名の照合
‒ MD5 or SHAアルゴリズムの認証
‒ DES暗号化
FCスイッチ
(エージェント
)
SNMPマネージャ
トラップ
ポーリング
SNMP設定画面 (Web Tools)
Web Toolsログイン→Switch Adminメニュー
[SNMPリクエストに対するセキュリティレベル]
0 No security.
1 Authentication only.
2 Authentication and Privacy.
3 OFF

SNMPの設定
SANスイッチ側の設定概要
• SNMP V1/V3 プロトコルの有効化
• SNMP V1/V3 設定
‒ Trap Recipient(SNMPマネージャ)設定
‒ Community/Access Control設定
• Mib capability の設定
• System Groupパラメータの設定

SNMP V1/V3 プロトコルの有効化
SNMP v1の設定例
switch:admin> snmpconfig --enable snmpv1
switch:admin> snmpconfig –-set snmpv1
SNMP community and trap recipient configuration:
Community (rw): [Secret C0de]
Trap Recipient's IP address : [0.0.0.0] 172.24.197.15
Trap recipient Severity level : (0..5) [4]
Trap recipient Port : (0..65535) [162]
Community (rw): [OrigEquipMfr]
Trap Recipient's IP address : [0.0.0.0]
Community (rw): [private]
Community (ro): [public]
Trap Recipient's IP address : [0.0.0.0] 172.24.197.15
SNMPv1は6つのコミュニティが設定可能
Severity Level
0:None
1:Critical
2:Error
3:Warning
4:Informational
5:Debug
イベント発生したとき、イベントのレ
ベルに応じて通知するイベントを選択
可能
(swEventTrap,connUnitEventTrap,s
wFabricWatchTrap)

SNMP V1/V3 プロトコルの有効化
SNMP v3の設定例
Switch:admin> snmpconfig --enable snmpv3
Switch:admin> snmpconfig --set snmpv3
SNMP Informs Enabled (true, t, false, f): [false]
SNMPv3 user configuration(snmp user not configured in FOS user database will have physical
AD and admin role as the default):
User (rw): [snmpadmin1]
Auth Protocol [MD5(1)/SHA(2)/noAuth(3)]: (1..3) [3] 1
New Auth Passwd:
Priv Protocol [DES(1)/noPriv(2)/AES128(3)/AES256(4)]): (1..4) [2] 4
New Priv Passwd:
User (rw): [snmpadmin2]
Auth Protocol [MD5(1)/SHA(2)/noAuth(3)]: (1..3) [3]
Priv Protocol [DES(1)/noPriv(2)/AES128(3)/AES256(4)]): (2..2) [2]
途中省略
SNMPv3 trap recipient configuration:
UserIndex: (1..6) [1]
Trap recipient Severity level : (0..5) [4]
Trap recipient Port : (0..65535) [162]
以下省略
Recipientは6つ設定可能
SNMPv3用のユーザーと認証プロトコル、
暗号方法を設定
ユーザー名は最大32文字以内で変更可能
プロトコルパスワードは1～20文字以内
Informsを使うときのみ設定
(Recipientへ受領確認要求）
UserIndexは上記SNMPユーザーを番号で指定

SNMP V1/V3 設定(ACL)
アクセスを許可する端末の設定
switch:admin> snmpconfig --set accessControl
SNMP access list configuration:
Access host subnet area in dot notation: [0.0.0.0] 192.168.0.0
Read/Write? (true, t, false, f): [true]
Access host subnet area in dot notation: [0.0.0.0] 2001:0db8:1234:1::1/128
Read/Write? (true, t, false, f): [true] f
以下省略
Committing configuration...done.
switch:admin> snmpconfig --show accessControl
SNMP access list configuration:
Entry 0: Access host subnet area 192.168.0.0 (rw)
Entry 1: Access host subnet area 2001:0db8:1234:1::1/128 (ro)
以下省略

Mib capability の設定
使用するMIB（通知するトラップ）の選択
switch:admin> snmpconfig --set mibCapability
The SNMP Mib/Trap Capability has been set to support
SW-TRAP (yes, y, no, n): [yes]
swFCPortScn (yes, y, no, n): [yes]
swEventTrap (yes, y, no, n): [yes]
Desired Serverity Level (1- critical 2- error 3 ¥
-warning 4- informational 0 -None): 4
以下省略
switch:admin> snmpconfig --show mibCapability
FE-MIB: YES
途中省略
SW-TRAP: NO
swFault: NO
swEventTrap: YES
DesiredSeverity:4

System Groupの設定
機器の設置場所、連絡先などの情報を設定
Switch:admin> snmpconfig --set systemgroup
Customizing MIB-II system variables ...
At each prompt, do one of the following:
o <Return> to accept current value,
o enter the appropriate new value,
o <Control-D> to skip the rest of configuration, or
o <Control-C> to cancel any change.
To correct any input mistake:
<Backspace> erases the previous character,
<Control-U> erases the whole line,
sysDescr: [Fibre Channel Switch.]
sysLocation: [End User Premise.]
sysContact: [Field Support.]
authTrapsEnabled (true, t, false, f): [false]

Brocadeが提供するMIBファイル
MyBrocade Webサイトから取得可能
MIBファイル MIBモジュール名 MIBオブジェクトの機能
bcCustomOperation.mib BCCUSTOM-OPR-MIB Huawei内蔵スイッチ固有のMIB
bd.mib BD-MIB Bottleneck Detection
BRCD_REG.mib Brocade-REG-MIB Brocade固有のMIB
BRCD_TC.mib Brocade-TC Brocade固有のMIB
BROCADE-MAPS-MIB.mib BROCADE-MAPS-MIB Brocade固有のMIB
brcdfcip.mib Brocade-FCIP-EXT-MIB FCIPデバイス管理固有のMIB
CPQ_HOST.mib CPQHOST-MIB Compaq固有のMIB
CPQ_RACK.mib CPQRACK-MIB Compaq固有のMIB
FA.mib FCMGMT-MIB Brocadeから提供しているFibre Alliance MIB
faext.mib FA-EXT-MIB FA-MIBの拡張セット
FICON.mib LINK-INCIDENT-MIB FICONデバイスの管理
fod.mib IBM-FEATURE-ACTIVATION-MIB IBMが提供するFeatures On Demandのライセンスキー管理
HA.mib HA-MIB FRUの状態を示すMIB
IBMBladeCenter.mib SW-MIBの一部 IBM BladeCenter内蔵スイッチ固有のMIB
SW.mib SW-MIB Brocade固有のMIB
必須

MIBの相互依存性

Syslog
スイッチ本体のRASログを外部サーバで保存
• Syslogサーバ (syslogd)が必要
‒ UNIX/Windows用Syslogd
• スイッチのRASログをSyslogサーバへ出力することによ
り、ログを永続的に記録することが可能
‒ RAS Log：スイッチ内部で記録されるメッセージログのこと
‒ スイッチ本体で保存可能なメッセージ数は1024エントリ
‒ スイッチ本体の古いメッセージから順次上書きされる
• Syslogクライアント (スイッチ)の設定
‒ CLI/WebToolsから設定
‒ 6つのsyslogサーバまで設定可能
• ダイレクタ製品の場合、AuditメッセージはActive CPか
らのみ送信
FCスイッチ
(クライアント)
Syslogサーバ
error,warning etc.

Syslog の設定
SANスイッチ側の設定概要
• Syslog サーバの IP アドレス設定
• Syslog ファシリティの設定

Syslog サーバの IP アドレス設定
設定例
switch:admin> syslogdipshow
syslog.1 172.24.182.54
syslog.2 172.24.197.184
switch:admin> syslogdipadd 192.168.0.1
Syslog IP address 192.168.0.1 added
syslog.1 172.24.182.54
syslog.2 172.24.197.184
syslog.3 192.168.0.1
switch:admin> syslogdipremove 172.24.197.184
Syslog IP address 172.24.197.184 removed
syslog.1 172.24.182.54
syslog.2 192.168.0.1
switch:admin>

Syslog ファシリティの設定
設定例
switch:admin> syslogdfacility -l 1
Syslog facility changed to LOG_LOCAL1
switch:admin> syslogdfacility
LOG_LOCAL1

Brocade SANスイッチ監視のヒント
SNMP,Syslogで何を監視すべきか
• 機器障害の監視がしたい
‒ 重要障害はスイッチ本体のRAS Logに記載される
• 一番シンプルな監視はRAS Logのエントリーの監視
• SNMPではRAS Logの内容はswEventで通知される
‒ 各種メッセージ専用のTrapは無い
‒ swEventで通知されたメッセージの詳細内容はMessage Referenceを参照
• FCポートのリンクアップ/ダウンの監視
‒ FCポートのリンクアップ/ダウンはRAS Logに記載されないので直接監視することは出来ない
• リンクアップ/ダウンは結果であって障害原因ではない
• 原因側（サーバ・ストレージの障害やSFPの障害）を監視すべき
‒ SNMPの場合、swFCPortScn (SW-Trap) でFCポートの状態遷移を監視する
‒ Syslogの場合、Port State変更のメッセージを強制的に発生させなければならない
• Fabric Watch/Fabric Visionが必要
• Port State Changeカウンターが増加したときにRAS Logへ記載するルールを設定する

トラブルシュートのための操作
© 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. INTERNAL USE ONLY18

HBA
Driver
MPIO/devmapper
Filesystem/Apps
トラブルシューティングの基礎
SANスイッチ、サーバ、ストレージ、アプリ全体でアプローチ
• 時刻同期はトラブル早期解決の第一歩
‒ トラブルの被疑箇所は多岐にわたるため、各種ログの比較検
討が重要
‒ 障害発生当時のログを付き合わせはタイムスタンプが基準
• サーバ・ストレージ・SANスイッチそれぞれで時間差があるとログ比較が難しい
• NTP等で機器間の時差をなくしておくべき
• 適切な情報収集と事象の明確化
‒ 何も知らない第三者（ベンダー等）へ的確に問題を伝え、情
報を提供すること
• 事象は何か？（いつ、何が、どうした、再現性、etc）
• 運用環境の情報
• 障害時のログ
App ログ、
Kernelメッセージ
SAN スイッチ
RAS ログ
ストレージ
各種ログ

情報の収集
SANで起こり得る問題とSANスイッチにおける調査内容
問題の種類調査事項ツール
エンドデバイス接続
（デバイス認識不可）
•Link, login
•Fabric (ゾーニング、セキュリティ)
•End-to-End デバイス接続
•Switch LED
•Switch コマンド
•エンドデバイスのパラメータ
スイッチ接続
（ファブリック構成）
•可用性がないLink
•不正なゾーニング、ACL、VF設定
•不正なスイッチパラメータ
•Switch LED
•製品情報
•Web、GUIモニタリング機能、管理ソフトツール
パフォーマンス
（I/Oが遅い）
•BBクレジットの状況
•トラフィック量
•管理ソフトツール
ファームウェア保守
•ネットワーク接続
•FTPパラメータ
•スイッチパラメータ
•ホスト側のツール、FTPパラメータの調査
•スイッチのFTPパラメータの確認
セキュリティ
（スイッチアクセス）
•ネットワーク接続
•Switch認証、設定パラメータ
•ホスト側のツール
•Switchのネットワークパラメータ、ユーザー認証

supportSave の取得
可能な限りトラブル発生直後に取得
• supportSave
‒ ベンダーサポートが解析に必要な情報を取得
• RASlog, TRACE, supportShow, Core file, FFDC data等を一つのコマンドで取得
• supportSaveはadmin権限のあるアカウントで実施
• supportFtpコマンドで事前にFTP/SCPサーバ・アカウントを設定しておくと便利
‒ supportSave実行時にサーバ情報の入力を省略可能 “supportsave –c –n” で一発取得
‒ trace dumpの自動保存
• 各種テキスト・バイナリファイルが大量に生成される（50ファイル以上）
‒ 一つのファイルにまとめてベンダーへ提出
‒ コマンド実行結果も出力される(*.txt.gzで保存)
FFDC : First Failure Data Capture
取得結果の一部

supportFtp コマンド
supportSave,traceDumpの出力先を事前設定
switch:admin> supportftp –s （FTPサーバパラメータの設定）
Host IP Addr[]:172.24.197.10
User Name[]:ftpuser
Password[]:*******
Remote Dir[]:/autosupport
Auto upload protocol[]:ftp
supportftp: parameters changed
switch:admin> supportftp –e （Trace dumpの自動保存機能ON）
Support auto file transfer enabled.
switch:admin> supportftp -t 2 （ftpサーバの接続確認間隔設定）
supportftp: ftp check period changed
B6510-01:FID128:admin> supportftp –S （設定表示）
Host IP Addr: 172.24.197.10
User name: ftp
Remote Dir: /autosupport
Auto Upload protocol: ftp
FTP Auto check: 2 Hours
Auto-FTP: On
switch:admin>

errShow / errDump コマンド
RAS Logを表示するコマンド
• スイッチに保存されているエラーやイベントを表示
‒ ErrShow ：一画面ごとのPauseあり
‒ ErrDump ：一画面ごとのPauseなし
• ログは1024エントリ分を保持し、古いものから上書きされる
‒ ログのクリアは errClear コマンド
• Message ID の詳細はFabric OS Message Reference を参照する
B6510-01:FID128:admin> errdump
Fabric OS: v7.2.1d
2015/05/12-18:24:07, [FW-1424], 4, FID 128, WARNING, B6510-01, Switch status changed from HEALTHY to MARGINAL.
2015/05/12-18:24:07, [FW-1439], 5, FID 128, WARNING, B6510-01, Switch status change contributing factor Switch offline.
2015/05/12-18:25:08, [FW-1425], 6, FID 128, INFO, B6510-01, Switch status changed from MARGINAL to HEALTHY.
2015/05/12-18:25:20, [ZONE-1004], 7, FID 128, INFO, B6510-01, Base PID: 0x070c00, Port Index: 1, Port: 1: enforcement changed to Session-based ARD
Zoning.
2015/05/12-19:10:47, [SNMP-1005], 8, FID 128, INFO, B6510-01, SNMP configuration attribute, SNMPv3 User Name 6, has changed from [snmpuser3] to
[admin].
MessageID Severity

• 接続系トラブル
• ファブリック系トラブル
• パフォーマンス系トラブル
• その他

ポート初期化
• 機器が接続されている正常なポートはF_PortかE_Portになる
‒ G_Portでかつオンライン状態を維持する場合は問題がある
• E_PortやF_Portに遷移することに失敗している？
‒ FLOGI失敗
• サーバHBAドライバ不具合？
• SFP+トランシーバ・ケーブル不具合？
• ポートLEDの状態確認
• switchShowコマンドでポート状態を確認
switch:admin> switchshow
途中省略
Index Port Address Media Speed State Proto
==================================================
0 0 070000 id N8 Online FC E-Port 10:00:00:05:1e:08:ce:99 "B5300"
1 1 070c00 id N8 Online FC F-Port 50:0a:09:81:89:fb:8f:f9
2 2 070200 id N8 Online FC F-Port 50:0a:09:81:99:fb:8f:f9
3 3 070300 -- N16 No_Module FC
以下省略
y/n
y/n
G - Port
yes
no
F - Port
Fabric
pt-to-pt
E - Port
switch
y/n
no
yes
U - Port
FL - Port
ポートに何か接続されている?
ループデバイス接続?
デバイスorスイッチ接続?

リンク失敗
• リンク失敗はサーバ、ストレージ、スイッチとスイッチの間で発生する。
‒ switchShow コマンドでリンク失敗の理由を確認
• 発生しやすい原因
‒ ポートスピードのオートネゴシエーション
• 通常はオートネゴシエーションで問題ないが、ネゴシエーションに失敗するときは速度の固定設定
‒ ループ(FC-AL)初期化の失敗
• Gen5 FCではFC-ALはサポートしない
• 8Gbps FC以前の場合、スイッチポートをFL_Portに固定
‒ Point to Point初期化の失敗
• ループ初期化時に判定が失敗する
• ポートをG_Portに固定し、ループ初期化手順を省略する
switchShow 当該スイッチのポートステータスを表示
portCfgShow スイッチポートの設定状態を一覧表示
portCfgSpeed スイッチポートの速度設定
portCfgLport スイッチポートをFLに固定
portCfgGPort ポート初期化でLoop判別しない
関連コマンド

ポートログによるリンク初期化確認
• 通常、switchShowでポートの状態を確認することでリンク初期化の
成否を判断するが、ポートログでも確認できる。
B6510-01:FID128:admin> portlogdumpport 1
time task event port cmd args
-------------------------------------------------
Thu May 28 16:55:58 2015
16:55:58.892 SPEE sn 1 WS 00000009,00000000,00000000
16:55:58.901 SPEE sn 1 NM 00000009,00000000,00000000
16:55:58.921 SPEE sn 1 NF 00000009,00000000,00000000
16:55:59.143 SPEE sn 1 NC 00000008,00000000,00000000
16:55:59.144 INTR pstate 1 OL1
16:55:59.454 INTR pstate 1 LF2
16:55:59.636 INTR pstate 1 AC
sn : speed negotiation
NC : Negotiation has Completed
0x08 : 8Gbps でLink Up
(16Gbpsは0x10)
pstate : PortState MachineValues
AC : Active state
CmdにACが表示されているとPointto Pointで初
期化完了を意味する

Marginal Links（リンク不安定）
• Marginal Linkは、スイッチとデバイスの間の接続が要求されるスペック
を満たしていないに発生する
• Marginal Linkの原因を調べるには、リンクを形成する多くのコンポーネ
ントのテスト、分析が必要となる
• Marginal Linkのトラブルシュートには、ケーブル、SFPの交換、エラー
カウンターの調査、リンク、ポート、end-to-endの経路の診断が含まれ
る
‒ PortErrShowコマンドを実行する
‒ CRCエラーやENC_OUTエラーが高いポートが無いか、あるいはエラーの数が
常に上昇傾向にあるポートが無いかを調べる
• カウンターが上昇するまで、5分ごとにサンプルをとる

Marginal Links（続き）
• 疑わしいリンクについて、
‒ ケーブルを別のポートに接続してみる
‒ SFPを挿し直す
‒ 問題が解消した場合、スイッチのポートかSFPに問題がある
‒ 問題が解消しない場合、ケーブルに問題がある（ケーブルを交換）

PortErrShowコマンド
• 各ポートのエラーの積算総数を表示
‒ エラーの増加傾向を調べる
• エラー発生時間を特定できないので、数値の有無だけで障害かどうか判断できない
• 障害調査時にstatsClearコマンドで一度値をクリアし、増分を調査する
‒ 主な項目の概要
• frames tx/rx：転送/受信したフレームの数
• crc_err：CRCエラーのフレーム数
‒ このカウンターが上昇する場合、物理層が疑われる（ケーブル、パッチパネル、SFP）
• enc_out：フレーム外で発生したエラーで、通常はプリミティブの問題を示す
‒ 8Gbpsブレードの場合、portcfgfillwordコマンドを検討する
• disc_c3：（discarded class 3）保持時間を過ぎ、破棄したフレームの数
porterrshow:
frames enc crc too too bad enc disc link loss loss frjt fbsy
tx rx in err shrt long eof out c3 fail sync sig
=====================================================================
0: 464k 968k 0 0 0 0 0 83 0 21 14 0 0 0
1: 626k 488k 0 0 0 0 0 101 1 27 13 0 0 0
2: 392k 75k 0 0 0 0 0 358 0 12 1 0 0 0
3: 909k 547k 0 0 0 0 0 5.0m 0 9 20 0 0 0
4: 83k 276k 0 0 0 0 0 19k 1 15 7.3k 1 0 0
5: 165k 324k 0 0 0 0 0 66 2 9 0 0 0 0
6: 0 0 0 0 0 0 0 0 0 6 0 1 0 0

サーバからストレージが認識されない
サーバ、ストレージとスイッチ間のリンクは正常なのに・・・
• スイッチのネームサーバに対象デバイスが登録されていることを確認
‒ nsShow等ネームサーバ関連コマンド
‒ セキュリティーポリシー（SCC (Switch Connection Control) ）の確認
• Zoning 設定を確認
‒ 当該サーバとストレージポート間でZoneが設定されているか？
‒ Zone設定が正しいか？
• fcping、portCamShow、nsZoneMemberコマンド等で確認
• サーバ及びストレージの設定を確認
‒ LUNマッピング/マスキングやアクセス制御など各サーバ・ストレージの設定
にて対象デバイスのアクセス可能であることを確認

ネームサーバの確認
• デバイスは必ずネームサーバに登録される
• デバイス認識問題の確認
‒ 設定不備の確認の前にデバイスがファブリッ
クにログインしていることを確認しておく
nsShow 当該スイッチのName server に登録されたノードの表示
nsAllShow ファブリック上の全ノードのFCアドレスを表示
nsCamShow
Name Server Cache Managerの情報を表示
→当該スイッチ以外に接続しているノードの表示
WebTools上からも確認可能
Name Server関連コマンド

• その他

スイッチのカスケード接続ができない
• スイッチ同士を接続したポートLEDが1秒間隔で点滅
• switchShowの出力結果で”segmented”の状態になる
• ライセンスが両スイッチに入っているか？
‒ Full Fabric Licenseが必要(B300では要確認)
‒ licenseShowコマンドで確認
• ドメインIDの重複
‒ configureコマンドで修正/一方のスイッチを停止・起動
• ファブリックパラメータの不一致
‒ configShowコマンドで確認・比較
‒ configureコマンドで修正/configdefaultで初期設定に復元
• ゾーン情報の不一致
‒ 一方のスイッチの情報をクリアで解消
‒ Network Advisorでゾーン情報の合成
B6510-01:FID128:admin> switchshow
switchName: B6510-01
switchType: 109.1
switchState: Online
switchMode: Native
switchRole: Principal
switchDomain: 7
switchId: fffc07
switchWwn: 10:00:00:05:33:7a:0d:38
zoning: ON (smpl_cfg)
途中省略
Index Port Address Media Speed State Proto
==================================================
0 0 070000 id N8 Online FC E-Port segmented,
10:00:00:05:1e:08:ce:99(domain overlap)(Trunk master)
※セキュリティ設定(SCC Policy)の記述に不備がある場合、下記の様なメッセージで接続に失敗す
る
0 0 010000 id N8 No_Sync FC Disabled (SW Security Violation - SCC Policy
Violation, Peer WWN not in ACL list)
Segmented状態と
その理由が表示さ
れる
• セキュリティ設定のミスマッチ
‒ 双方のスイッチでセキュリティ設定
(SCC:Switch Connection Control)の差異が
ある場合

ファブリックパラメータの比較
• ファブリックパラメータの不一致
を確認するには、それぞれのス
イッチでconfigshow –pattern
“fabric.ops” で得られる値を比較
する
• 値に差異があるときは
switchDisable実施後にconfigure
で該当パラメータの値を設定し、
switchEnableでスイッチを動作さ
せる
B6510-01:FID128:admin> configshow -pattern "fabric.ops"
fabric.ops.BBCredit:16
fabric.ops.E_D_TOV:2000
fabric.ops.R_A_TOV:10000
fabric.ops.bladeFault_on_hwErrlevel:0
fabric.ops.dataFieldSize:2112
fabric.ops.max_hops:7
fabric.ops.mode.fcpProbeDisable:0
fabric.ops.mode.isolate:0
fabric.ops.mode.longDistance:0
fabric.ops.mode.noClassF:0
fabric.ops.mode.pidFormat:1
fabric.ops.mode.tachyonCompat:0
fabric.ops.mode.unicastOnly:0
fabric.ops.mode.useCsCtl:0
fabric.ops.vc.class.2:2
fabric.ops.vc.class.3:3
fabric.ops.vc.config:0xc0
fabric.ops.vc.linkCtrl:0
fabric.ops.vc.multicast:7
fabric.ops.wan_tov:0

• その他

パフォーマンス低下の要因
• ストレージ内の特定のディスク・コントローラーにI/Oが集中
‒ ストレージのディスク構成、LUN配置の見直し
‒ コントローラーの増強
• ファブリック内のバッファ枯渇によるフロー制御（停止）の発生
‒ ISLがあるファブリック（複数スイッチで構成されるファブリック）
‒ 高速デバイスと低速デバイス（高遅延）の混在環境
• Slow Drain Device
STOPSTOP
STOP
STOP
STOP
低速デバイスのフロー制御が
ISLポートのバッファ枯渇を
引き起こし、ファブリック全
体に波及することがある
→Slow Drain

パフォーマンス低下の検知
Bottleneck detection
• Slow Drain
‒ 世代混在のFCファブリック(スピードが異なる)場
合、顕在化することがある
• バッファクレジット型のフロー制御をするすべてのリンクレイ
ヤが持つ課題
‒ FOSv7.4以降のGen5FC製品では、slow drainデバ
イスを 1 Virtual Channel に隔離して、他のデバイ
スの通信を確保
• Bottleneck Monitor
‒ Bottleneckmonコマンドを使うと、F_Portや
E_Portの遅延や輻輳のボトルネックを検出できる
‒ Slow drain deviceはポートのegressで検出
‒ ライセンス不要

Bottleneckmon コマンド
パフォーマンス低下発生を検知する
switch:admin> bottleneckmon --enable –alert
switch:admin> bottleneckmon --config –alert -cthresh .8 -time 240 1-15
switch:admin> bottleneckmon --show -interval 5 -span 30 2/4
=============================================
Wed Jan 13 18:54:35 UTC 2010
=============================================
Percentage of
From To affected secs
==============================================
Jan 13 18:54:05 Jan 13 18:54:10 20.00%
Jan 13 18:54:10 Jan 13 18:54:15 60.00%
Jan 13 18:54:15 Jan 13 18:54:20 0.00%
Jan 13 18:54:20 Jan 13 18:54:25 0.00%
Jan 13 18:54:25 Jan 13 18:54:30 40.00%
Jan 13 18:54:30 Jan 13 18:54:35 80.00%
FabricWatchで
通知可能
Cthresh congestion threshold
Lthreash Latency threshold

パフォーマンス低下から自動復旧
Credit Recovery
• Credit Loss
‒ バッファクレジットの交換の ordered set (VC_RDY) が何らかの理由
で失われると発生
• 長距離接続環境等
• 発生すると、実質的なバッファ個数が減ってしまい、性能がダウン(最悪、通信途絶)
‒ Link Reset を発生させないと復旧しない
‒ Gen5 FC 製品では、Credit Recovery が自動的に行われる
• C2-1014メッセージが生成

portStatsShowコマンド
ポート毎の統計情報を表示
B6510-01:FID128:admin> portstatsshow 2
stat_wtx 119853225 4-byte words transmitted
stat_wrx 3831446267 4-byte words received
stat_ftx 11022853 Frames transmitted
途中省略
tim_txcrd_z 0 Time TX Credit Zero (2.5Us ticks)
tim_txcrd_z_vc 0- 3: 0 0 0 0
tim_txcrd_z_vc 4- 7: 0 0 0 0
tim_txcrd_z_vc 8-11: 0 0 0 0
tim_txcrd_z_vc 12-15: 0 0 0 0
er_enc_in 0 Encoding errors inside of frames
途中省略
er_rx_c3_timeout 0 Class 3 receive frames discarded due to timeout
er_tx_c3_timeout 0 Class 3 transmit frames discarded due to timeout
以下省略
バッファクレジット0の状態を
2.5μ秒維持したときにカウント
スイッチのバッファに保持されている
Class3フレームがタイムアウトで破棄さ
れた場合にカウント

• その他

ClearLink D_Port によるファブリックの確認
• Gen5 FC で Brocade ブランドの 16,10Gbps SFP+, 8Gbps LW SFP+でサポート
‒ このポートはISLのリンクレベルの障害を診断できる
‒ 対応HBAとのリンク診断をサポート（要Fabric Visionライセンス）
‒ 診断用トラフィックを使用
‒ リンクの両端をD_Portに設定
‒ D_Portを設定する前にportdisableが必要
B6510-01:FID128:admin> portdporttest --show 3
D-Port Information:
===================
Port: 3
Remote WWNN: 10:00:00:05:33:d4:42:da
Remote port: 0
Mode: Manual
No. of test frames: 1 Million
Test frame size: 1024 Bytes
FEC (enabled/option/active): Yes/No/No
CR (enabled/option/active): Yes/No/No
Start time: Tue Jun 2 19:02:33 2015
End time: Tue Jun 2 19:02:52 2015
Status: PASSED
================================================================================
Test Start time Result EST(HH:MM:SS) Comments
================================================================================
Electrical loopback 19:02:35 PASSED -------- ----------
Optical loopback 19:02:40 SKIPPED -------- ----------
Link traffic test 19:02:47 PASSED -------- ----------
================================================================================
Roundtrip link latency: 308 nano-seconds
Estimated cable distance: 5 meters
Buffers required: 1 (for 2112 byte frames at 16Gbps speed)

D_Port のテスト内容
• D_Portの使用ケース
‒ 新しいISLを、実際に使う前にテスト
‒ 新しいTrunk memberをtrunkに追加する前にテスト
‒ 長距離接続のケーブルとSFPのテスト
‒ ループバックポートのテスト
• D_Portの設定は、E_Portか、Fabric Vision ライセンスが追加されかつ
D_Portに対応したデバイスの接続される F_Port で設定可能

ハードウエアの状態確認
• psShowコマンド
‒ スイッチのPower Supplyの状態を表示
• tempShowコマンド
‒ スイッチ内のセンサーの温度情報を表示
• fanShowコマンド
‒ スイッチ内のファンの回転数を表示
• sfpShowコマンド
‒ SFPトランシーバの情報を表示
• sensorShowコマンド
‒ 温度、ファン、電源の状態を簡易表示
• chassisShowコマンド
‒ FRU の情報を表示
B6510-01:FID128:admin> sensorshow
sensor 1: (Temperature) is Ok, value is 45 C
sensor 2: (Fan ) is Ok,speed is 7670 RPM
sensor 3: (Fan ) is Ok,speed is 7500 RPM
sensor 4: (Power Supply) is Ok
sensor 5: (Power Supply) is Ok
B6510-01:FID128:admin> sfpshow 2
Identifier: 3 SFP
Connector: 7 LC
Transceiver: 7004404000000000 4,8,16_Gbps M5 sw Short_dist
Encoding: 6 64B66B
Baud Rate: 140 (units 100 megabaud)
Length 9u: 0 (units km)
途中省略
Vendor Name: BROCADE
Vendor OUI: 00:05:1e
途中省略
low high low high
Temperature: 46 Centigrade -5 85 0 75
Current: 7.944 mAmps 2.500 12.000 2.000 11.500
Voltage: 3335.4 mVolts 3000.0 3600.0 3100.0 3500.0
RX Power: -4.0 dBm (394.9uW) 31.6 uW 1258.9 uW 31.6 uW 794.3 uW
TX Power: -2.6 dBm (555.8 uW) 125.9 uW 1258.9 uW 251.2 uW 794.3 uW

ハードウエアコンポーネントの状態確認 - Web Tools

ありがとうございました
本件に関するお問い合わせ
ブロケードコミュニケーションズシステムズ株式会社
https://www.brocadejapan.com/form/contact

ブロケード FC ファブリックスイッチオペレーション講座（後編）

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie ブロケード FC ファブリックスイッチオペレーション講座（後編）

Ähnlich wie ブロケード FC ファブリックスイッチオペレーション講座（後編） (20)

Mehr von Brocade

Mehr von Brocade (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (10)