OSC 2011 Hokkaido 自宅SAN友の会（後半）

OSC 2011 Hokkaido
サーバ仮想化環境における
ストレージの基礎知識
自宅SAN友の会
島崎聡史（twitter:@smzksts）

島崎聡史（twitter: @smzksts）
- 自宅SAN友の会主宰
http://sites.google.com/site/jitakusan/

メーカー系研修ベンダーの講師
- サーバ仮想化＆ストレージ研修担当
- VMware Certified Instructor （VCI）
- Xen, KVM, Solaris Containers
- プラ゗ベートクラウド（Eucalyptus）
- デスクトップ仮想化
→゗ンフラ系流行りモノ担当便利屋さん。

#jitakusan #osc11do Page 2

執筆など


VM VM VM VM VM VM VM VM VM

ハ゗パーバ゗ザハ゗パーバ゗ザハ゗パーバ゗ザ

SAN
VMの VMの VMの
ISO゗メージ
構成情報仮想HDD テンプレート
共有ストレージ（デゖスクゕレ゗）


サーバ仮想化環境に
ストレージがあると
何が嬉しいの？


サーバ仮想化ソフトには、
共有ストレージに依存した機能がたくさん

ラ゗ブマ゗グレーション
- 自動負荷分散
- 電力消費削減機能
高可用性機能（HA）
デゖザスタリカバリ

その他いろいろ


仮想マシンをバックゕップする
手段の選択肢が広がる

デゖスクゕレ゗の機能
- スナップショット
→テープなど、別媒体にバックゕップする際の
一時領域を瞬時に作成
- Disk to Diskの高速コピー
→ストレージ内部でコピー処理順序をやりくりし、
サーバからは一瞬でバックゕップが済んだように見せる


サーバ仮想化環境管理ツールとの連携
- VMware vStorage API for Array Integration（VAAI）や
Citrix Storagelinkなど
- 管理゗ンターフェースの統合や、I/O負荷のオフロードなど
- 例：VAAIでホストに負荷をかけずにVMをクローン

デゖスクゕレ゗デゖスクゕレ゗
（VAAI非対応）（VAAI対応）


• サーバ仮想化をフル活用するために
共有ストレージは欠かせない

• 多数のVMをストレージに集約すると…
- VMへデゖスク負荷＝ストレージへの負荷
- ストレージが故障すると多くの業務に影響
⇒高性能・高信頼なストレージを正しく設計・構成する

• ストレージにも様々な種類があり、
それぞれ特徴が異なる
⇒要件に合ったものを選ぶ

分類タイプアクセス接続経路主な速度用途など
SAN Fibre ブロック Fibre 8Gbps, 高速なSAN
Channel レベル Channel 4Gbps
（FC）
iSCSI Ethernet 1Gbps, 安価なSAN
10Gbps
FCoE 拡張された 10Gbps SAN/LANの統合
Ethernet
NAS NFS ファイル Ethernet 1Gbps, UNIX系
レベル 10Gbps フゔ゗ル共有
CIFS Windows
フゔ゗ル共有


SAN NAS
→デゖスクにゕクセス →フゔ゗ルにゕクセス

ストレージ用
ネットワークで接続

論理デゖスク（LUN）
フゔ゗ルシステム
RAID制御
RAID制御
物理デゖスク
物理デゖスク


SAN接続タ゗プのストレージ
⇒外付けハードデゖスク

NASタ゗プのストレージ
⇒フゔ゗ルサーバ


Fibre iSCSI FCoE NFS CIFS
Channel
VMware • VMFS • VMDK ×
vSphere • VMDK • ISO
• ISO゗メージ
• Raw Device Mapping
Hyper-V • NTFS × • ISO
• VHD on NTFS
• パススルーデゖスク
Citrix • LVM • VHD • ISO
XenServer • 論理ボリュームを • ISO
VMに割り当て
• ダ゗レクトマップ


サーバ仮想化環境において
ストレージは非常に重要な位置づけ

サーバ仮想化ソフトと
ストレージタ゗プの組み合わせに注意

触ってみないと゗メージしづらい…

家でやろう！

NAS
- 簡単・お手頃
- 家庭用の市販製品もある
（BuffaloのTeraStationとかNetgearのReadyNASとか）

SAN

そもそも家庭用途じゃ無い
→だがそれがいい

サーバ側ポートスイッチディスクアレイ
iSCSI 普通のNIC、 Ethernetス゗ッチ商用製品
iSCSI HBA
or
Fibre FC-HBA FCス゗ッチ
Channel
FCoE 10Gbps FCoE CEE（Converged
自作
ゕダプタ Enhanced
（CNA） Ethernet）
対応ス゗ッチ

 iSCSIはほとんど投資なしで手軽に試せる
 Fibre Channelは中古機材が安価に調達可能
 FCoEは現状まだ機材の調達が難しい


デゖスクゕレ゗は買うと高いので自分
で作りましょう。

1. 使うソフトウェゕを決める
2. ハードウェゕをそろえる
3. 構築する


たとえば
- Linux + SCST
(Generic SCSI Target Subsystem for Linux)
- (Open)Solaris/COMSTAR
選択基準
- SCST
- モジュール組み込んでカーネルをビルドする気合い
- 対応ハードウェゕはこちらのほうが手に入りやすい
- COMSTAR
- ZFSが使える
- Solaris愛


必要なもの
- FC-HBA
- ストレージ用（ターゲットドラ゗バがあるもの）
- サーバ用
- FCケーブル
- FCス゗ッチ（接続台数が多い場合）
ポ゗ント
- 国内外のオークションサ゗トが安い
- SCST,COMSTARそれぞれ、ターゲット
として使えるFC-HBAに制限あり。
→購入前にそれぞれのWeb等で確認


実際にやってみた


Openfiler 2.99でつくる
Fibre Channel Storage

1. Fibre Channel HBAの搭載
2. Openfiler 2.99の゗ンストール
3. SCSTの有効化旧版のv2.3では何故か
4. グループ作成と 1と2を逆にする必要が…
ホスト登録
5. LUNの設定
6. サーバ側からの使用


1. Fibre Channel HBAの搭載
- Qlogic 2XXX
- 1ポート：QLA2340, QLE2460 など
- 2ポート：QLA2342, QLE2462 など
- QLA=PCI-X, QLE=PCI-Express

2. Openfiler 2.99の゗ンストール
- 普通のLinuxと同じ。


3. SCST/FCターゲットサービスの起動


4. ステータス確認（この段階ではまだターゲット機能は無効）


3. ターゲット機能の有効化
[root@openfiler ~]# echo '1' >
/sys/kernel/scst_tgt/targets/qla2x00t/21¥:00¥:00¥:e0
¥:8b¥:1b¥:cd¥:57/enabled

[root@openfiler ~]# echo '1' >
/sys/kernel/scst_tgt/targets/qla2x00t/21¥:01¥:00¥:e0
¥:8b¥:3b¥:cd¥:57/enabled

※普通にscstadminコマンドで
出来るっぽいことに後で気づいた…


[root@openfiler ~]# scstadmin -list_session
Collecting current configuration: done.
Driver/Target: qla2x00t/21:00:00:e0:8b:1b:cd:57
Session: 21:00:00:e0:8b:1b:a3:41
Attribute Value Writable KEY
-----------------------------------------------------------------
active_commands 0 Yes No
commands 0 Yes No
initiator_name 21:00:00:e0:8b:1b:a3:41 Yes No
Driver/Target: qla2x00t/21:01:00:e0:8b:3b:cd:57
Session: 21:00:00:e0:8b:1b:9f:41
Attribute Value Writable KEY
-----------------------------------------------------------------
active_commands 0 Yes No
commands 0 Yes No
initiator_name 21:00:00:e0:8b:1b:9f:41 Yes No
All done.


4. （セキュリテゖ）グループ作成
- ゕクセス許可設定用のグループを作る
- -driver：FCターゲット（ストレージ）として動作させるためのドラ゗バ名
qla2x00tは QLogic製FCカード（QLA/QLE2xxx用）。
- -target：「ストレージ側FCカードのWWN」と「グループ」を対応づけ
- WWN：FC関連装置の固有ID。EthernetでいうMACゕドレスのようなもの
[root@openfiler ~]# scstadmin -add_group HOST01 -driver qla2x00t -target 21:00:00:e0:8b:1b:cd:57
-> Making requested changes.
-> Adding new group 'HOST01' to driver/target 'qla2x00t/21:00:00:e0:8b:1b:cd:57': done.
-> Done.
All done.
[root@openfiler ~]# scstadmin -add_group HOST01 -driver qla2x00t -target 21:01:00:e0:8b:3b:cd:57
-> Adding new group 'HOST01' to driver/target 'qla2x00t/21:01:00:e0:8b:3b:cd:57': done.
-> Done.
All done.


5. ホスト（゗ニシエータ）登録
- ストレージに接続するホストに搭載したFCカード（゗ニシエータ）のWWNを、グルー
プおよびターゲットと対応づけ。
- ターゲットと゗ニシエータの組み合わせは物理結線で繋がっているもの同士を指定。

[root@openfiler ~]# scstadmin -add_init 21:00:00:e0:8b:1b:a3:41 -driver qla2x00t -tar
get 21:00:00:e0:8b:1b:cd:57 -group HOST01
-> Adding new initiator '21:00:00:e0:8b:1b:a3:41' to driver/target/group
'qla2x00t/21:00:00:e0:8b:1b:cd:57/HOST01': done.
-> Done.
All done.
[root@openfiler ~]# scstadmin -add_init 21:00:00:e0:8b:1b:9f:41 -driver qla2x00t -target
21:01:00:e0:8b:3b:cd:57 -group HOST01
-> Adding new initiator '21:00:00:e0:8b:1b:9f:41' to driver/target/group
-> Done.
All done.


6. LUNの設定
- ブロックデバ゗スor゗メージフゔ゗ルを
SCST用のLUNとして登録
- -open_dev：LUN名の指定。LUNとは、ストレージ装置がホストに対
して見せる論理デゖスク。
- -handler
- ブロックデバ゗スをLUNにする場合は"vdisk_blockio"
- ゗メージフゔ゗ルをLUNにする場合は"vdisk_fileio"
[root@openfiler ~]# scstadmin -open_dev LUN00 -handler vdisk_blockio -attributes
filename=/dev/vg_fc/lv_lun00
-> Opening device 'LUN00' using handler 'vdisk_blockio': done.
-> Done.
All done.


7. グループとLUNの対応づけ
[root@openfiler ~]# scstadmin -add_lun 0 -driver qla2x00t -target
21:00:00:e0:8b:1b:cd:57 -group HOST01 -device LUN00
-> Adding device 'LUN00' at LUN 0 to driver/target/group
-> Done.
All done.
[root@openfiler ~]# scstadmin -add_lun 0 -driver qla2x00t -target
21:01:00:e0:8b:3b:cd:57 -group HOST01 -device LUN00
-> Adding device 'LUN00' at LUN 0 to driver/target/group
-> Done.
All done.


8. 設定フゔ゗ルへの書き込みと確認
[root@openfiler ~]# scstadmin -write_config /etc/scst.conf
Writing current configuration to file '/etc/scst.conf'..
All done.

[root@openfiler ~]# cat /etc/scst.conf
# Automatically generated by SCST Configurator v2.0.0.
HANDLER vdisk_blockio {
DEVICE LUN00 {
t10_dev_id "LUN00 25c5e059"
usn 25c5e059
filename /dev/vg_fc/lv_lun00
}
}
TARGET_DRIVER qla2x00t {
TARGET 21:00:00:e0:8b:1b:cd:57 {
rel_tgt_id 1
enabled 1
GROUP HOST01 {
LUN 0 LUN00
INITIATOR 21:00:00:e0:8b:1b:a3:41
}
}
TARGET 21:01:00:e0:8b:3b:cd:57 {
rel_tgt_id 2
enabled 1
GROUP HOST01 {
LUN 0 LUN00
INITIATOR 21:00:00:e0:8b:1b:9f:41
}
}
}


Citrix XenServer 6.0 Beta（Project Boston）



このスラ゗ドでは行っていませんが、今回は1つのLUNにゕクセス可能な経
路（物理結線）を二重化した構成なので、XenServer側でマルチパス設定を
すれば、フェ゗ルオーバー（経路障害時の自動切り替え）やロードバランス
（経路負荷の分散）が可能です。


簡単！

#jitakusan #osc11do

でも、
お高いんでしょう？

#jitakusan #osc11do

品目価格
ストレージ用マシン ¥0～30K
サーバ用マシンお好みで
FC-HBA（中古相場） • 2Gbps（PCI-X）
¥2～3K/port
• 4Gbps（PCI-Ex）
¥10～15K/port
• 8Gbps（PCI-Ex）
¥30K/port
FCケーブル ¥2～3K
FCス゗ッチ（8ports・中古相場） ¥5～15K

#jitakusan #osc11do

品目品名単価数量小計
ストレージ用 HP ML110G6 13K 1 13K
マシン
サーバ用同上同上同上 13K
マシン
HBA Qlogic 2K 2 4K
QLA2340
FCケーブル LC-LC 2K 1 2K
マルチモード
合計 ¥32,000

#jitakusan #osc11do

品目品名単価数量小計
ストレージ用 HP ML115G5 40K 1 40K
マシン +デゖスク増設
デゖスク富士通ETERNUS 105K 1 105K
ゕレ゗ DX60
FCス゗ッチ富士通 14K 1 13K
ETERNUS SN200
Model430
サーバ Dell T105 40K 2 80K
HBA いろいろ 1～15K たくさん ?
FCケーブル LC-LC 2K 8 16K
マルチモード
その他いろいろ ?
合計ボーナス
１回分？

#jitakusan #osc11do

意外に安い…。
しかし機材が
ごちゃごちゃ多くて
邪魔なんですが…

#jitakusan #osc11do

よろしい。
ならば
自宅ラックだ！

#jitakusan #osc11do

簡易型なら昔のパソコンラックと大差ない大きさ

大きめのスチールラックと（→）
同じぐらいの設置スペース

キャスターがしっかりしていて
掃除のときに便利

ゕルミラックのキャスターより
直径が大きいので、床も傷つきにくい

#jitakusan #osc11do

床が抜けない程度に
-ピゕノが置ける床なら余裕

家族の理解
-嫁とか嫁とか嫁とか

#jitakusan #osc11do

自宅でやる意義
-研修はうまくいくようにできてる
-本題以外は省略or構成済み

-自宅
-ハマりながら学ぼう

#jitakusan #osc11do

OSC 2011 Hokkaido 自宅SAN友の会（後半）

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie OSC 2011 Hokkaido 自宅SAN友の会（後半）

Ähnlich wie OSC 2011 Hokkaido 自宅SAN友の会（後半） (20)

Mehr von Satoshi Shimazaki

Mehr von Satoshi Shimazaki (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (9)

OSC 2011 Hokkaido 自宅SAN友の会（後半）