第 6 回インターネットと運用技術シンポジウム (IOTS2013) の WIP (Work In Progress) セッションの発表資料です。3 本の発表を 1 つにまとめています。3 本の内訳は以下の通り。 1. 広域分散仮想化基盤のストレージ評価の最新動向 2. 動的な広域ライブマイグレーションが可能な環境における課金モデルの検討 3. 大阪大学における仮想化基盤の設計とその増強計画

1. 広域分散仮想化基盤の
ストレージ評価の
最新動向
The latest results of a distributed storage
system for a widely distributed
virtualization infrastructure
2013/12/12 IOTS2013 WIP
柏崎 礼生
Cybermedia Center
Osaka University

2. い何そ
うにん
の使な
かえ性
ねる能
とで
ど博
ー士
し論
た文
は
も
う
や
め
て
！
難問そ
が題も
あ設そ
る定も
に

3. 本発表は
(3つ合計で)
179pまで
あるぞ

4. DR
Disaster Recovery

5. 1978

6. Sun Information Systems

7. mainframe
hot site

8. 80- 90

9. Realtime
Processing

10. POS
point of sales

11. 90- 00

12. the Internet

14. 2001.9.11
September 11 attacks

15. 2003.8.14
Northeast blackout of 2003

16. in Japan

17. 2011.3.11
The aftermath of the 2011
Tohoku earthquake and tsunami

18. BCP
Business Continuity Plan

19. 群馬
Gunmma prefecture

20. 石狩
Ishikari City

21. ２つで
十分ですよ
No, four. Two, two, four.

22. 2011

23. 学際大規模情報基盤
共同利用・共同研究拠点

24. 2012

25. 国立情報学研究所

26. Trans-Japan
Inter-Cloud
Testbed

27. 北見工大
University of the
Ryukyus
SINET
最長
Kitami Institute of
Technology
琉球大学
Cybermedia Center
Osaka University

28. XenServer 6.0.2
CloudStack
4.0.0
CloudStack
4.0.0
XenServer 6.0.2

29. problems

30. shared
storage

31. ≒50ms

32. RTT
> 100ms

33. Storage XenMotion
Live Migration
without shared storage
> XenServer 6.1

34. VSA
vSphere Storage Appliance

35. WIDE cloud
different translate

36. Distributed
Storage

37. requirement

38. 120000
120000
Kbytes/sec
100000
80000
60000
40000
20000
064
100000
High
Random R/W
Performance
80000
60000
40000
20000
0
16384
4096
1024
256 1024
409616384
65536
262144
16
1.04858e+06
4.1943e+06
File size in 2^n KBytes
1.67772e+07 4
6.71089e+07
256
64 Record size in 2^n Kbytes

39. POSIX準拠
interface protocl
NFS, CIFS, iSCSI

40. RICC
Regional InterCloud Committee

41. Distcloud
広域分散仮想化環境プロジェクト

42. Con$idential
Global VM migration is also available by sharing "storage space" by VM host machines.
Real time availability makes it possible. Actual data copy follows.
(VM operator need virtually common Ethernet segment and fat pipe for memory copy)
live migration of VM
between distributed areas
after Migration
TOYAMA site
Copy to DR-sites
TOKYO site
before Migration
Copy to DR-sites
OSAKA site
Copy to DR-sites
real time and active-active features seem to be just a simple "shared storage".
Live migration is also possible between DR sites
(it requires common subnet and fat pipe for memory copy, of course)

43. Con$idential
Front-end servers aggregate client requests (READ / WRITE) so that,
lots of back-end servers can handle user data in parallel & distributed manner.
Both of performance & storage space are scalable, depends on # of servers.
clients
front-end
(access server)
back-end
(core server)
read blocks
READ req.
WRITE req.
write
blocks
Access Gateway
(via NFS, CIFS or similar)
scalable performance &
scalable storage size
by parallel & distributing
processing technology

44. backend
(core servers)
block
File
block
block
block
block
block
block
block
block
Meta
Data
consistent
hash

45. Con$idential
1. assign a new unique ID for any updated block (to ensure consistency).
2. make replication in local site (for quick ACK) and update meta data.
3. make replication in global distributed environment (for actual data copies).
back-end
(multi-sites)
Most important !
the key for "distributed replication"
(2) create 2 copies in local
for each user data,
write META data,
ant returns ACK
(1) assign a new unique ID
for any updated block, so that,
ID ensures the consistency
a file, consisted from many blocks
(1)
(1')
multiplicity in multi-location,
makes each user data,
redundant in local, at first,
3 distributed copies, at last.
(3-b) remove one
of 2 local blocks,
in a future.
(3-b)
(3-a)
(3-a) make a copy
in different location
right after ACK.
(3-a)

48. NFS
CIFS
iSCSI

49. r=2
ACK
r=1
write
r=0
redundancy
=3

50. r=2
e=0
r=0
e=1
r=1
e=0
r = -1
e=2
ACK
dundancy
=3
external

51. VM
Hypervisor
10Gbps
1/4U
server
x4
Cisco UCS

52. !
!
!
SINET4
!
!
EXAGE / Storage
!
!
RICC
Copyright © 2012 Yoshiaki Kitaguchi, All right reserved.

53. 広島大学
大阪大学
金沢大学
国立情報学研究所

54. SINET4 L2VPN, L3VPN
10Gbps
825km
829km
440km
316km
223km
SINET4
417km
274km
RICC
Copyright © 2012 Yoshiaki Kitaguchi, All right reserved.

56. iozone -aceI
a: full automatic mode
c: Include close() in the timing calculations
e: Include flush (fsync,fflush) in the timing calculations
I: Use DIRECT IO if possible for all file operations.

57. write
120000
16384
100000
120000
Kbytes/sec
100000
60000
1024
40000
80000
256
20000
60000
0
64
40000
20000
064
16
16384
4096
1024
256 1024
409616384
65536
262144
16
1.04858e+06
4.1943e+06
File size in 2^n KBytes
1.67772e+07 4
6.71089e+07
64
64
4
256 1024 4096 1638465536 1.04858e+06
262144 4.1943e+066.71089e+07
1.67772e+07
256
Record size in 2^n Kbytes
File size in 2^n KBytes
Record size in 2^n Kbytes
4096
80000

58. write
rewrite
read
reread
100
100
100
80
60
40
60
40
20
20
0
80
10MB
100MB
1GB
0
10GB
Throughput (MB/sec)
120
Throughput (MB/sec)
120
Throughput (MB/sec)
120
100
Throughput (MB/sec)
120
80
60
40
20
10MB
100MB
1GB
0
10GB
random read
60
40
20
10MB
100MB
File size
File size
80
1GB
0
10GB
random write
bkwd read
1GB
10GB
record rewrite
100
100
100
80
60
40
20
0
80
60
40
20
10MB
100MB
1GB
0
10GB
Throughput (MB/sec)
120
Throughput (MB/sec)
120
Throughput (MB/sec)
120
100
Throughput (MB/sec)
100MB
File size
120
80
60
40
10MB
100MB
1GB
0
10GB
10MB
100MB
File size
stride read
fwrite
1GB
10GB
100
0
Throughput (MB/sec)
100
Throughput (MB/sec)
100
20
80
60
40
20
10MB
100MB
1GB
File size
10GB
0
100MB
1GB
File size
10MB
100MB
1GB
legend
従来方式 Exage/Storage
広域対応 Exage/Storage
80
60
40
20
10MB
0
File size
120
40
40
fread
120
60
60
File size
120
80
80
20
20
File size
Throughput (MB/sec)
10MB
File size
10GB
0
10MB
100MB
1GB
File size
10GB
10GB

59. SINET4 Hiroshima University EXAGE L3VPN
SINET4 Kanazawa University EXAGE L3VPN

60. SINET4 Kanazawa University EXAGE L3VPN
SINET4 NII EXAGE L3VPN

62. Read (before migration)
Read (after migration)
Write (before migration)
Write (after
migration)
Through
put
(MB/sec
)
propo
sed
metho
d
shared
NFS

63. 提案手法
Read
マイグレーション
開始
NFS
Read
遅延による
スループットの
低下

64. 提案手法
Write
NFS
Write

66. SC2013
2013/11/17∼22
@Colorado Convention Center

67. 中川郁夫
Ikuo Nakagawa @Osaka Univ, INTEC Inc.

68. 市川昊平
Kouhei Ichikawa@NAIST

69. We have been developing a widely distributed cluster storage system and
evaluating the storage along with various applications. The main advantage of
our storage is its very fast random I/O performance, even though it provides a
POSIX compatible file system interface on the top of distributed cluster storage.

70. 当初の予定

71. 下條真司
Shinji Shimojo @Osaka Univ, NICT

72. 面白く
ないよね！

73. 本番

74. 本番
折り返し
RTT=244ms
1Gbps

75. 2.4万km
広島
大西洋
The Atlantic
Hiroshima

76. ブロックデータは
ローカルにある

77. メタデータは
広域非対応
consistent
hash

78. (s)
17.9
201.6
175.4 Read
400.6 Write
I/O
read
: write
25.4 MB/s
20.9 MB/s
dd
60 70MB/s(read), 50 60MB/s(write)
36

79. 国際回線を
使用した
マイグレーション

80. 国際回線上での
広域分散ストレージ
のアクセス試験

81. DCダウン時の
DR実現検証

82. 来年は
米国に拠点を

83. Future Works

84. 経路最適化

85. 【今後の展開】仮想計算機の流動性向上に向けて
VM
VM
migration
VM
18

86. 拠点間マイグレーションにおける経路最適化の実現
Layer
VM
L2
+
L2
VPLS, IEEE802.1ad PB(Q-in-Q),
IEEE802.1ah(Mac-in-Mac)
L2 over L3
IP
VXLAN, OTV, NVGRE
(
L3
IP
L3
SDN
ID/Locator
OpenFlow
ID
Locator
LISP
IP
L4
L7
IP
MAT, NEMO, MIP(Kagemusha)
mSCTP
SCTP
DNS + Reverse NAT
IP
(
L2 / L3
SCTP
Dynamic DNS
VM
Reverse NAT
L2 / L3
IP
21

87. 4th RICC workshop
@Okinawa
2014/3/27(Thu)∼28(Fri)

88. go to
next stage

89. 動的な広域ライブ
マイグレーションが
可能な環境における
課金モデルの検討
A Consideration of accounting model
based on an availability of a dynamic
wide area live migration.
2013/12/12 IOTS2013 WIP
柏崎 礼生
Cybermedia Center
Osaka University

90. ど博
ー士
し論
た文
は
で言査
すっ読
かたで
やじ出
だゃす
ーなっ
いて
も
う
や
め
て
！
ななそ
いるん
だわな
ろけ世
うが界
ボ に
ケ

91. もし途絶時間が
無視可能な時間で
マイグレーション
できたなら…

92. VMの所在に頓着
しなくてもいい

93. Available supplies
Frequency
x
cores
VMの所在に頓着
してもいい
time
`

94. 課金は？

97. おもしろくない…

98. 4 cores
8GB memory
40GB storage
仮想マシン
Virtualized Machines (VMs)
仮想化サーバ
Virtualization Servers
interface
ユーザ
Users
クラウド事業者
Cloud Service Provider

99. Frequency
Frequency
≒
cores
Real demand
Imaginary demand
time
仮想マシン
サービス
Virtualized Machines (VMs)
ユーザ
IT services
4 cores
8GB memory
40GB storage
Users
Frequency
cores
time
Imaginary
resource
cores
クラウド事業者
仮想化サーバ
Frequency
Virtualization Servers
cores
time
Cloud Service Provider
Available supplies
time
ユーザがバカであればあるほど
の見積もり誤りが大きいほど
儲けが大きい

100. Frequency
Frequency
Real demand
time
Frequency
cores
time
Frequency
Real demand
Frequency
cores
cores
Real demand
time
cores
Frequency
res
Real demand
cores
Real demand
time
cores
Real demand
time
Real demand
time
time

101. ユーザ
Users
ユーザは複数のサービスを構築
する。
サービスはユーザにエクスペリ
user
experience
構築
エンスを提供する。
エクスペリエンスは、サービスが要求
する単位時間あたりのリソース量に対
サービス
IT services
する、実際に提供されたリソース量の
比によって表現される。

102. ユーザ
Users
サービス
IT services
リソース
提供
リソース
要求
仮想マシン
Virtualized Machines (VMs)
ユーザは複数の仮想マシン
(VM)を確保し、VM上で複数
のサービスが動作する。
サービスはVMにリソースを要
求し、VMはサービスにリソー
スを提供する。
Per day periodicity
Frequency
x
cores
Frequency
x
cores
Per week periodicity
Frequency
x
cores
time (day)
time (sec)
Per year periodicity
Frequency
x
cores
time (sec)
time (week)

103. 提供
要求
仮想マシン
Virtualized Machines (VMs)
仮想化サーバ上で複数のVMが
動作する。
VMは仮想化サーバにリソース
リソース
提供
リソース
要求
を要求し、仮想化サーバはVM
にリソースを提供する。
VMが要求するリソース量はVM
仮想化サーバ
Virtualization Servers
が持つ複数のサービスが要求す
るリソース量の累計。

104. 拠点は複数の仮想化サーバを保
仮想化サーバ
Virtualization Servers
有する。
仮想化サーバは拠点に電力を要
求し、拠点は仮想化サーバに電
電力提供
メンテ命令
増強
拠点
Datacenter
電力
要求
力を提供する他、仮想化サーバ
のON/OFFの管理 (メンテナン
ス)、および仮想化サーバの増
強を施す。

105. 電力提供
メンテ命令
増強
電力
要求
拠点
Datacenter
電力提供
課金
電力要求
電力供給
Power Supplyer
電力供給は複数の拠点に対して
電力を供給し、課金する。
拠点は電力供給に電力を要求し、
電力使用量を支払う。要求する
電力量は仮想化サーバが要求す
る電力量の累計である。

106. implementation of
simulator

107. Array
仮想マシン
ユーザ
Virtualized Machines (VMs)
Users
Frequency
x
cores
サービス
Require
user experience
Supply
time (msec)
Frequency
IT services
Per day periodicity
Frequency
x
cores
cores
time (msec)
Per week periodicity
仮想化サーバ
Frequency
x
cores
Virtualization Servers
time (day)
Per year periodicity
拠点
Frequency
x
cores
Datacenter
time (week)
time

108. 拠点
Datacenter
Virtualization Servers
仮想マシン
Virtualized Machines (VMs)
Migration
仮想化サーバが
ダウンする時は
事前に
マイグレーション
仮想化サーバ
Supply
Virtualization Servers
仮想マシン
Virtualized Machines (VMs)
仮想化サーバ
Virtualization Servers
worsen UX
time (msec)
リソースの潤沢な
Migration 仮想化サーバに
動的に
マイグレーション
Available supplies
Frequency
Maintainance
Mode
仮想化サーバ
Require
Frequency
x
cores
cores

109. strategy of
migration

110. ティム
ラフガーデン
Tim Roughgarden (1975∼)

111. Selfish routing
and the price of anarchy
(2006)

112. ジョン
ナッシュ
John Forbes Nash Jr. (1928∼)

113. 非協力ゲーム
non-cooperative game

114. ビッグデータの
利活用のための
システム研究等

116. アカデミック
クラウド構築に
係るシステム研究

117. 懐疑的

118. 伽藍
Cathedral
バザール
bazaar

119. HPC

120. cloud

121. データセンタ
事業者との
共同研究

122. より強力なAPI

123. より知的な課金

124. go to
next stage

125. 大阪大学における
仮想化基盤の設計と
その増強計画
A design and a project of virtualization
infrastructure in Osaka University
2013/12/12 IOTS2013 WIP
柏崎 礼生
Cybermedia Center
Osaka University

126. 飽きた
も
う
や
め
て
！

127. キャンパスクラウド
Campus Cloud Computing Environment

128. 600 nm
3900
processor clock rate (MHz)
22
Intel 4004
process rule (nm)
108KHz
Changes of clock rate of Intel
Microprocessors

129. core
beckton
xeon
westmere
ivy
bridge
sandy
bridge
Dunnington
Core
Core 2
i7
Duo
Changes of number of cores on
Intel core series and Xeon processor Cybermedia Center
Cyber Media Center
Osaka University

130. サーバ集約の利点
電源設備
施設A
ネットワーク
経費削減
冷房設備
経費削減
TCOの
削減
経費削減
計算機センター
経費増大
施設C
施設B
Cyber Media Center
Osaka University

131. migration

133. DMZ
segment
Firewall
Load
Balancer
core
switches
service
segment
managed
segment

134. 8000
40
Number of joined organizations
Number of user accounts on the campus mail system
35
7000
30
6000
25
5000
20
4000
15
3000
10
2000
5
1000
0
Number of joined organizations
Number of user accounts on the campus mail system
9000
2012
April
2012
July
2012
Oct.
2013
Jan.
2013
April
2013
July
2013
Oct.
0
Cybermedia Center
Osaka University

135. 164cores/96cores
284GB/432GB
5.3TB/3.6TB

137. サーバ集約で削減される電力使用料金
▲￥約？万/年
(￥数十万∼百万？)

138. 物理コア
仮想コア
: 1.7
1

139. averaged monthly changes of CPU usage ratio on
Osaka university campus cloud system
CPU usage ratio
20
15
10
5
0
2013/10/19 17:00 2013/10/24 1:00 2013/10/28 9:00 2013/11/1 17:00
2013/11/6 1:00
time
2013/11/10 9:00 2013/11/14 17:00
Cybermedia Center
Osaka University

140. サイバーメディア
センター
ITコア棟
cybermedia center datacenter

141. プライベートクラウドに
さよならを
Cybermedia Center
Osaka University

142. ピーター
ドラッカー
Peter Drucker (1909∼2005)

143. 行政の大罪
The deadly sins in public administration
(1980)

144. 2 /6
つ
つのうち
の大罪を犯した
国家プロジェクトは失敗する

145. (1)
高邁な目標
The first thing to do make sure that
a program will not have results is to have a
lofty objective.

146. (2)
優先順位の不在
The second strategy guarantee to produce non-performance is to
try to do several things at once.
It is to refuse to establish priorities and to stick to them

147. (3)
肥大の美学
The third deadly sin of the public administrator is to believe that
fat is beautiful,
despite the obvious fact that
mass does not work.

148. (4)
根拠なき信念
Don t experiment, be dogmatic

149. (5)
経験に学ばず
Make sure that
you cannot learn from experience
is the next prescription for non-perfomance in public
administration.

150. (6)
止まらない
The last of administrator s deadly sins is
the most damning and the most common:
the inability of abandon.

151. 大鑑巨砲主義

152. 伊四〇〇

153. 設計方針
design principle

154. (1)
卑俗な目標
物理的・予算的・精神的な余裕を
生むための節約基盤

155. (2)
仮想化基盤
第一目標は将来のパブリッククラウドへの
移行のための「ただの通過儀礼」

156. (3)
最低限の規模
物理コア数、メモリは
現環境をほぼ踏襲 (補助記憶容量は増大)

157. (4)
分相応
背伸びはする
分は弁える

158. (5)
経験は作る
今まで計測を怠ってきたのならば
これからきっちり計測をすれば良い

159. (6)
2.5年ごと
計測に基づいた妥当性のある需要予測と
それに基づく増強・縮退計画

160. PLAN1
PLAN3
PLAN2
ODINS
VLAN
Firewalls
10GbE L2 switches
Load Balancers
Software Firewall
Software Load Balancer
L3 switches
Software Router
VM segment
VM segment
VLAN
VM host segment
management segment
VM host segment
management segment
Storage Segment
management segment
Storage Segment
management segment

161. VMware NSX

162. VMware VSAN

163. 目標
400仮想コアの集約

164. 物理コア
仮想コア
: 4
1
or more

165. 96cores/4U
512GB memory
20TB

166. DR
Disaster Recovery

167. Distcloud
広域分散仮想化環境プロジェクト

168. ウダシティ

169. セバスチアン
スラン
Sebastian Burkhard Thrun (1967∼)

170. 50年以内に
10個の教育機関
しかなくなる

171. Oxford
Cambridge
Harvard
MIT
Stanford
Princeton
(three online Universities)
Brigham Young University

172. Angus Maddison,
The World Economy
A Millennial perspective,
Historical Statistics
(2007)

173. The world s top 10 economies
1820
China
India
France
28.7%
16.0%
5.4%
U.K.
Prussia
1999
2009
24.3%
8.7%
8.6%
2050
U.S.
30.0%
Japan
14.5%
Germany 6.6%
U.S.
Japan
China
China
U.S.
India
32.7%
17.8%
17.4%
5.2%
4.9%
U.K.
France
4.7%
4.7%
Germany 5.7%
France
4.6%
Brazil
Mexico
Japan
Austria
Spain
3.1%
1.9%
1.9%
Italy
China
Spain
3.8%
3.8%
2.0%
U.K.
Italy
Brazil
3.7%
3.6%
2.7%
Russia
4.0%
Indonesia 3.2%
Japan
3.1%
U.S.
Russia
1.8%
1.7%
Canada
Mexico
2.1%
1.6%
Spain
Canada
2.5%
2.3%
U.K.
2.4%
Germany 2.3%
5.3%
4.3%
From: BK Suh, Mega Trends: An External View , Cisco Connect 2013

174. 阪大のモットー
motto of Osaka University

175. 地域に生き
世界に伸び
Live locally, grow globally.

176. 地域に世界に
生き伸びろ
Survive, locally or globally.

177. そういえば任期が
2014/3/31まで
なので…
Cybermedia Center
Osaka University

178. 転職先
探しています

179. おあとが
よろしい
ようで