Weitere ähnliche Inhalte Ähnlich wie Ia20120118 sekiya (20) Mehr von Keisuke Ishibashi (12) Ia20120118 sekiya1. IEICE IA Workshop @ WAKAYAMA 12/01/18
広域分散クラウドへの挑戦と課題
関⾕谷 勇司
東京⼤大学 情報基盤センター / WIDE Project
sekiya@nc.u-tokyo.ac.jp / sekiya@wide.ad.jp
1
2. IEICE IA Workshop @ WAKAYAMA 12/01/18
背景と概要
クラウドコンピューティング
キーワード
アーキテクチャ
サービス
今までと違ったクラウドならではの構築・運⽤用の問題点
個々の技術のインテグレーション
「クラウド」ならではの運⽤用技術が必要となるはず
広域分散クラウドによって実現できるサービスとは
⼤大学間クラウド (WIDE クラウド)
2
3. IEICE IA Workshop @ WAKAYAMA 12/01/18
クラウドの定義とは ?
Above the Clouds: A Berkeley View of Cloud Computing
Electrical Engineering and Computer Sciences University of
California at Berkeley, Technical Report No. UCB/EECS-2009-28
規模性
あたかも無限であるかのようにリソースを利利⽤用することができる
即時性
必要なとき必要なだけ時間単位で利用することができる
可⽤用性
単⼀一障害に影響されずサービスを継続することができる
3
4. IEICE IA Workshop @ WAKAYAMA 12/01/18
クラウドの特⾊色
Availability of Service
Use Multiple Cloud Providers; Use Elasticity to Prevent DDOS
Data Lock-In
Standardize APIs; Compatible SW to enable Surge Computing
Data Confidentiality and Auditability
Deploy Encryption, VLANs, Firewalls; Geographical Data Storage
Data Transfer Bottlenecks
FedExing Disks; Data Backup/Archival; Higher BW Switches
Performance Unpredictability
mproved VM Support; Flash Memory; Gang Schedule VMs
4
5. IEICE IA Workshop @ WAKAYAMA 12/01/18
クラウドの特⾊色 (cont.)
Scalable Storage
Invent Scalable Store
Bugs in Large Distributed Systems
Invent Debugger that relies on Distributed VMs
Scaling Quickly
Invent Auto-Scaler that relies on ML; Snapshots for Conservation
Reputation Fate Sharing
Offer reputation-guarding services like those for email
Software Licensing
Pay-for-use licenses; Bulk use sales
5
6. IEICE IA Workshop @ WAKAYAMA 12/01/18
クラウドにして⼤大丈夫なのか ?
信頼できるものなのか
Module(n+3)
障害は数多く発⽣生している Module(n+2,m0) Module(n
+2,m1)
従来のホスティングや VPS に
⽐比べて Module(n,m0) Module(n,m1) Module(n,m2)
冗⻑⾧長性
可⽤用性
秘匿匿性 Module(n,m
Module(n,m)
+1)
障害発⽣生時
アーキテクチャの依存関係
が⼤大きいため障害が広範囲
になりがち Module(n
+1,m)
Module(n
+1,m+1)
6
7. IEICE IA Workshop @ WAKAYAMA 12/01/18
クラウドとしての運⽤用
クラウド ?
本当にクラウドとしての運⽤用がなされているのか
障害の影響
機器故障
拠点レベルの障害
パブリッククラウドサービスとしての IaaS
広域分散 IaaS クラウドへの挑戦
⼤大学間にて構築されるインタークラウド
7
8. IEICE IA Workshop @ WAKAYAMA 12/01/18
広域分散 IaaS の冗⻑⾧長性
Storage� Storage�
HA HA
Server� Server�
HA
HA
HA
Network� Network�
HA
HA HA
8
9. IEICE IA Workshop @ WAKAYAMA 12/01/18
⼤大学におけるクラウド利利⽤用
事務系端末
シンクライアント (IaaS)
事務系アプリケーション
財務会計・学事 (PaaS, SaaS)
研究者
計算資源・実験・サービス提供 (IaaS, PaaS)
授業
授業端末 (IaaS, SaaS)
9
10. IEICE IA Workshop @ WAKAYAMA 12/01/18
⼤大学間クラウドの利利点
リソースの融通
⼤大学が持つリソースを融通し合いサービスを提供
耐障害性
ハードウェア障害によるデータ喪失やサービス断への対応
ネットワーク障害によるサービス継続不不能への対応
運⽤用コストの削減
法定点検による停電対応
重複したリソースの共通化
10
11. IEICE IA Workshop @ WAKAYAMA 12/01/18
⼤大学間クラウドのテストベッド
WIDE / JGN バックボーンを利利⽤用した広域 IaaS クラウド
慶応⼤大学
東京⼤大学
NAIST
JAIST
接続形態
専⽤用線
JGN
Tunneling
11
12. IEICE IA Workshop @ WAKAYAMA 12/01/18
WIDE クラウド
Inter-University Cloud
Sharing the resources on each private cloud
JAIST
NAIST
WIDE Cloud の挑戦
Univ. of 1. 仮想計算機の資源を広域に分散
Tokyo • 広域環境でのVM構築
2. インターネット回線を⽤用いて仮想計算
Tokyo 機環境を構築
DC 広域分散環境で • セキュリティ確保とネットワーク
Keio 障害を回避するための諸技術実証
リソースを融通しあい
Univ.
IaaS を構成
(KMD)
実験
• 次世代ネットワーク環境(IPv6)に
Osaka 対応した連携プロトコル設計
DC
Keio 3. 企業間の連携とは異異なる、⼤大学間特有
Univ. の共通サービス提供への挑戦
(SFC) • 資源を融通し合うためのポリシー
SFO
CNU
DC とメカニズム
(Korea)
• 広域仮想計算機資源のユーザへの
提供実験
12
13. IEICE IA Workshop @ WAKAYAMA 12/01/18
WIDE クラウドの要素技術
Application Layer�
SQL
NoSQL
Middleware Layer�
Federated Cloud Controller
RESTful API
VM Image
Control Layer� libvirt
Virtual Resource Layer� NEMO kvm
NFS iSCSI
Sheepdog
map646
Facility Layer�
VLAN
Network Server Storage Application
13
14. IEICE IA Workshop @ WAKAYAMA 12/01/18
必要とされる技術
ネットワーク移動透過性
VM が利利⽤用するネットワークを拠点間にて透過的に提供
ストレージ可⽤用性
単⼀一ハードウェアや単⼀一拠点に頼らないストレージの提供
計算資源冗⻑⾧長性
単⼀一ハードウェアや単⼀一拠点に頼らない計算資源
cold standby vs. hot standby
14
15. IEICE IA Workshop @ WAKAYAMA 12/01/18
ネットワーク移動透過性
VLAN の取り回し
VLAN 数の制限と MAC address 数の制限
VPLS + PBB ?
Ether Fabric 技術 (trill) ?
OpenFlow ?
ユーザ単位でネットワークを切切り出す
仮想ネットワークの持ち運び
トンネリング技術
組織単位のネットワーク移動透過性であれば
LISP in Cloud
15
16. IEICE IA Workshop @ WAKAYAMA 12/01/18
NEMO を利利⽤用した移動透過性
IPv6 Internet! IPv4 Internet!
NAT64
Boxes!
Datacenter 2!
Datacenter1!
Hypervisors!
Hypervisors!
Datacenter 3! Datacenter 4!
VMs!
Hypervisors! Hypervisors!
16
18. IEICE IA Workshop @ WAKAYAMA 12/01/18
ストレージ可⽤用性
分散ストレージの利利⽤用
Gluster FS
Ceph
Sheepdog
Gfarm
計算資源とストレージとの距離離
I/O としてそのまま性能に跳ね返ってくる
特に書き込み
分散ストレージの場合は iSCSI より速くなる場合もある
2⽉月に StarBED を⽤用いて実験予定
18
19. IEICE IA Workshop @ WAKAYAMA 12/01/18
VM とストレージの距離離
iSCSI 書き込み iSCSI 読み込み
60000 800000
700000
50000
600000
40000 500000
KByte
400000
Fujisawa Fujisawa
KByte
30000 300000
Nezu 200000 Nezu
20000
JAIST 100000 JAIST
10000 0
0
write rewirte random fwrite frewrite
write
書き込み 読み込み
VM �: 慶應義塾大学�
ストレージ�:�慶應義塾大学, 東京大学, 北陸先端科学技術大学院大学�
19
20. IEICE IA Workshop @ WAKAYAMA 12/01/18
読み込み性能⽐比較 (cache off)
Iozone performance Iozone performance
Read performance Read performance
1.2e+06 600000
1e+06 500000
800000 400000
Kbytes/sec Kbytes/sec
600000 300000
400000 200000
200000 100000
0 0
16384 16384
4096 4096
1024 1024
64 256 1024 256 64 256 1024 256
409616384 64 Record size in 2^n Kbytes 409616384 64 Record size in 2^n Kbytes
65536
262144 16 65536
262144 16
File size in 2^n KBytes 1.04858e+06
4.1943e+06 4 File size in 2^n KBytes 1.04858e+06
4.1943e+06 4
1.67772e+07 1.67772e+07
LOCAL DISK SHEEPDOG
20
21. IEICE IA Workshop @ WAKAYAMA 12/01/18
書き込み性能⽐比較 (cache off)
Iozone performance Iozone performance
Write performance Write performance
4500
4000 500000
3500 450000
3000 400000
Kbytes/sec 350000
2500
Kbytes/sec
300000
2000
1500
250000
200000
1000 150000
500 100000
0 50000
0
16384
4096 16384
1024 4096
64 256 1024 256
Record size in 2^n Kbytes 1024
409616384 64 64
65536 256 1024 256
262144 16
File size in 2^n KBytes 1.04858e+06
4.1943e+06 4 4096 16384 64 Record size in 2^n Kbytes
1.67772e+07 65536 16
262144
1.04858e+06
File size in 2^n KBytes 4.1943e+06 4
1.67772e+07
LOCAL DISK SHEEPDOG
21
22. IEICE IA Workshop @ WAKAYAMA 12/01/18
読み込み性能 (cache on)
Iozone performance
Iozone performance Fread performance
Fread performance
8e+06
5.5e+06 7e+06
5e+06 6e+06
4.5e+06
4e+06 Kbytes/sec5e+06
Kbytes/sec
3.5e+06 4e+06
3e+06
2.5e+06 3e+06
2e+06 2e+06
1.5e+06 1e+06
1e+06
500000 0
16384 16384
4096 4096
1024 1024
64 256 1024 256 64 256
409616384 64 Record size in 2^n Kbytes 256 1024
65536 409616384 64 Record size in 2^n Kbytes
262144 16 65536
File size in 2^n KBytes 1.04858e+06
4.1943e+06 4 262144 16
1.67772e+07 File size in 2^n KBytes 1.04858e+06
4.1943e+06 4
1.67772e+07
LOCAL DISK SHEEPDOG
22
23. IEICE IA Workshop @ WAKAYAMA 12/01/18
書き込み性能 (cache on)
Iozone performance
Iozone performance
Fwrite performance
Fwrite performance
1.2e+06
1.2e+06 1e+06
1.1e+06
1e+06 800000
900000 Kbytes/sec
Kbytes/sec
800000 600000
700000
600000 400000
500000 200000
400000
300000 0
200000
16384
16384 4096
4096
1024
1024
64 256 1024 256
64 256
256 1024 409616384 64 Record size in 2^n Kbytes
409616384 64 Record size in 2^n Kbytes 65536
65536 16 262144 16
262144
1.04858e+06 File size in 2^n KBytes 1.04858e+06
4.1943e+06 4
File size in 2^n KBytes 4.1943e+06 4 1.67772e+07
1.67772e+07
LOCAL DISK SHEEPDOG
23
24. IEICE IA Workshop @ WAKAYAMA 12/01/18
挑戦と課題
広域分散 IaaS への挑戦 課題
「クラウド」としての利利点を⽣生 計算資源
かした運⽤用 拠点をまたがったマイグ
リソースの融通 レーション
サービスの耐障害性 冗⻑⾧長化のためのスタンバイ
拠点単位の障害に対応できる ネットワーク
技術 I/O としてのネットワーク
サービスとしてのネット
ワーク
光の速度度は超えられない
ストレージ
閉域 (SAN) vs. 広域分散
運⽤用コストと耐障害性のト
レードオフ
24