いったいなんぼなら.Pdf

いったいなんぼなら
Hadoopできるねん？
株式会社 LXスタイル
杉田正
Mail： sugi@LXS . jp
Twitter: sugipooh
http://LXS . jp
1
許可無く配布を禁止します。LXStyle,Inc

自己紹介
• 若い頃強電や
• ネオンサインの電装工事業。
ネオンサインの
• 竹中工務店さま、大林組さまなどの孫請。
竹中工務店さま、大林組さまなどの孫請。
さま、大林組さまなどの孫請
• クボタの子会社でストレージや
• クボタ製５インチMO、１８００枚チェンジャも取り扱い。
クボタ製５インチMO、１８００枚チェンジャも取り扱い
５インチMO 取り扱い。
• シリコンバレー事務所とストレージ事業開発を担当
シリコンバレー事務所と
• ストレージ開発会社
• RAID一体型１Uサーバを開発、３００台以上納入
RAID一体型１Uサーバを開発、
一体型１開発、３００台以上納入

省電力DC設計＋サーバーや
省電力設計＋サーバーや 2

ブレードサーバー高密度実装
日本初大量導入635台
• ファーストサーバー勤務時代
– 日本初大量ブレードサーバ導入
• １ラック耐荷重７５０Kg １列１０ラックで
１ラック耐荷重７５０Kg
の耐震設計。
• 日東工業・大林組によるシミュレーショ
ンによる成果
• １ラック１６０Aの常識はずれの
１６０A
高密度設計、安定稼働７年
• NEC８番街でのご紹介
NEC８番街でのご紹介
– 「杉田正」でGoogle検索いただくと
「杉田正」でGoogleGoogle検索いただくと
http://www.express.nec.co.jp/jirei/ne
w/first/index.html がヒットします。

※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の３年前
3

NEC 省電力サーバー

NEC 省電力サーバー
奥行きは355mmなので
表と裏から両面実装出来る
高密度収容
4
1台当たりのラック使用料金が下がる

劇的に安価なショートサイズコンテナ

マイクロソフト
第4世代データーセンター IT Pac 見積もってみました。

１．筺体製作、各種金具、ブラケット、その他￥800万円程度
万円程度
塗装費用は筺体関係の30％程度で
２．塗装費用は筺体関係の％程度で￥240万円
万円
３．制御盤
３．制御盤￥260万円
万円
４．トランス￥150万円
万円
５．計装関係（各種センサーなど）￥300万円
万円
６．電気配線工事￥130万円
万円
－－－－－－－－－－
合計￥18,80万円
万円

サーバーは、Xeon L5640 2CPUを20台×6ラック
サーバーは、を台ラック
ラックコアは、960だから仮想サーバーとして 5760VPS
ラックコアは、
1ラックコアは、だから
ストレージを別途設置するとしても 5000VPSは可能。
は可能。
サーバーコストはストレージに影響されますが、1台万円として
サーバーコストはストレージに影響されますが、台50万円として
ラック10,00万円、合計
ラック
1ラック万円、合計60,00万円となります。
万円、合計万円となります。

5

古いデーターセンターを
不良資産にしない！データーセンター資産価値を2倍に！
データーセンター資産価値を倍に！

ハイブリッドデーターセンター
電力会社１．空調設備更新時期に1/3を空調機無し
１．空調設備更新時期にを空調機無し
ゾーンに改築
発電機改築費用は購入しない空調機予算
重油備蓄
から捻出
２．DC全体の
全体のPUEが大きく改善
２．全体のが大きく改善
都条例が希望する1.5以下も可能
都条例が希望する以下も可能
無停電電源
（電池）３．電気使用料金が年間約１億円削減
３．電気使用料金が年間約１億円削減
ラック2000サーバーの場合
※100ラック
ラックサーバーの場合
空調機空調機空調機空調機空調機空調機５．削減される費用を空調機無し対応
サーバー購入費とする。
指定サーバーのみ
既設密閉型データーセンター、、他
NEC、SuperMicro、他
６．サーバー管理ソフト導入コンサル
空調機空調機空調機空調機空調機空調機
翌年以降のサーバー購入コンサル
７．レンタルサーバー業務ソフト導入
ドメイン設定からサーバー構築まで
自動化。2万ユーザーで運用ソフトを
自動化。万ユーザーで運用ソフトを
排気パッケージ販売
外気
８．クラウドサービス事業を支援
6

大量にサーバーを使う時の問題点

• データーセンター利用料が高い
• AWSは個人が気軽に使えるコストでは無い
• 安価なレンサバはHadoopに対応していない

• Hadoopの勉強には、どんなハードが必要？
• AWSに適合する業務は？
• なんとかならんのか？安価なレンサバ利用
7

用途の違いと回線コスト
• コロケーション
– 場所の貸出
– 安価で安定した回線の提供
– サーバー管理は、ユーザー or SI業者任せ？
SI業者
• 専用サーバー
– ルート権が使える
– １か月以上の契約期間
– クラウド対応をうたう AWSやユニットホスティングは分単位も可能
AWSやユニットホスティングは分単位も可能
• VPS
– 仮想化されたサーバー上に複数のOS搭載、ルート権可能？
仮想化されたサーバー上に複数のOS
OS搭載、ルート権可能？
– 自動構築ツールに対応するレンサバが登場するか？
• 共用サーバー
– Webサーバーを共用する。
Webサーバーを共用する。
• 自宅サーバー
– 必要な時だけ稼働させられる
– １００Wサーバーで１か月約２０００円
１００W
• クーラー使うと２倍４０００円
8

三上俊輔さんの研究日記
[Hadoop]複数ディスクを使って効率の良い処理
http://shun0102.net から引用しました。
16ノードで100GBをソートしました．
CPUはXeon E5410 （L2Cache12MB）2.33GHz(2 ソケットx4 コア)，メモリ容量は24GB．
Hadoop 付属のteragenで100GBデータを生成後，またteragenを
使って最初のファイルをメモリから追い出す．
（メモリが24GBもあって追い出すのが大変．．．orz )

ノードあたりのディスク数を増やすことによって性能が向上すれば，
コスト的にもいいかと思います．（電力も含め）yahooはノードあたり
4ディスク使っていて，Googleではノードあたり16ディスクも使ってます．
今はノードあたり2ディスクの環境しかなくて試せないけど，もっと多い
台数で試したいものです．増やしてそのままスケールするならHadoop
用クラスタの条件としてノードあたりのHDDの数は重要かと思います．

ディスク２台より４台、
もしくはそれ以上 9

三上俊輔さんの研究日記
[Hadoop]複数ディスクを使って効率の良い処理
http://shun0102.net から引用しました。
grep sort

10

Clouderaの推奨ハード
http://www.cloudera.com/blog/2010/03/
clouderas-support-team-shares-some-basic-hardware-recommendations/

・JBODに対応（ちょうどバンチディスクの）構成で4台 1TBのハードディスク
・2クワッドコアのCPUを実行して少なくとも2 2.5GHzで
・16GBRAM（あなたがHBaseを検討している場合32GBか 24GB ）
・ギガビットイーサネット

・SAS ３.５“HDD ６００GB （SATAなら３GBまで有る） ×４台
・E5400系が最低ライン（X3400系は１CPU）
・メモリは１６GB以上

11

JBOD SSD
RAID０とかストライピングとか呼ばれてソフトRAID０とハードRAID０がある

SSD 1台 SSD ７台Stripe SSD ４台RAID10
12

JBOD 2.5”HDD
RAID０とかストライピングとか呼ばれてソフトRAID０とハードRAID０がある

RAID６カード

2.5”HDD 1台 2.5”HDD ４台Stripe 2.5”HDD ８台RAID6
13

いろんなサーバー

Xeon5600系、 Xeon7500 １U ４MP機
AMD6100系ブレード
７U20サーバー

Core2Duo Half１U機

Xeon5600系 2.5”HDD×８２U機

Xeon5600系 3.5”HDD×4 １U低価格機 14
Googleサーバー

ブレードサーバー

AMD6100系４８０Core
筐体・電源 ×１７０万円
ブートSSD ×４０８０万円
ブレードマザー ×１０１６０万円
Xeon5600系、AMD6100系対応 AMDOpetron 6174G34 12Core
７U １０ブレード構成 ×４０６００万円
１筐体２７００VA メモリ４GBECC ×４０６０万円
１ブレードTWIN型なので２０ブレードに相当組み立て調整費 ×１６０万円
CPUは４０ケ実装可能。ーーーーーーーーーーーーーーー
AMD６１００（１２Core）搭載で４８０Core 合計１,０３０万円
１ラック６KVA 2台搭載可能
※HDDが１ブレード当たり２台しか搭載出来ない１ラック９６０Core ２,０００万円
15
許可無く配布を禁止します。LXStyle,Inc １CPU４GB １Core３３０MB

ハイパフォーマンス機（１）
Xeon７５００系 32CoreMP
筐体・電源 ×１４０万円
SAS HDD ×３２１万円
マザー筐体に含む
Xeon X7500 2GHz 18M
×４１２０万円
Xeon7500 ４MP機メモリ８GBECC ×３２１２０万円
組み立て調整費 ×１２５万円
ーーーーーーーーーーーーーーー
合計３２６万円

ねぎって
電源は１Uながら１４００W 1台３００万円
３２Core ハイパースレッドで６４Core

メモリは 256GByte搭載１ラック６KVA ４台搭載可能
8GBDDR3 32枚１ラック１２８Core １,２００万円
１CPU６４GB １Core３.５GB 16

ハイパフォーマンス機（２）
Xeon７５００系８Core
筐体・電源 ×１４０万円
2.5”HDD ×４３万円
Xeon X7500 2GHz 18M
×1 ３０万円
Xeon7500 ４MP機メモリ８GBECC ×３２１２０万円
組み立て調整費 ×１含まず
合計１９３万円

ねぎって
電源は１Uながら１４００W 1台１８０万円
３２Core ハイパースレッドで６４Core

メモリは 256GByte搭載１ラック６KVA ５台搭載可能
8GBDDR3 32枚１ラック４０Core ９００万円
１CPU２５６GB １Core３２GB 17

最新の標準機

Xeon5600
シリーズ

Xeon5500
シリーズ

18

最新の標準機２U
HP ProLiant DL380 G7
2.5”HDDを
2.5”HDDを8台搭載出来る
Xeon5600系 6Core×２
筐体・電源 ×１１００万円
2.5’SAS HDD ×8 ４０万円
Xeon X5680 3.3GHz 12M
筐体に含む
メモリ2GBECC ×6 筐体に含む
組み立て調整費 ×１別途 6掛けで
ーーーーーーーーーーーーーーー買おう！
合計１４０万円

１ラック６KVA １０台搭載可能
１ラック１２０Core １,４００万円

１CPU６GB １Core１GBの割り当て追加可能 19

最新の標準機低電力CPU
HP ProLiant DL380 G7
2.5”HDDを
2.5”HDDを8台搭載出来る

XeonL5600系４Core×２
筐体・電源 ×１３４万円
2.5’SAS HDD ×8 ４０万円
筐体に含む
メモリ2GBECC ×2 筐体に含む
追加メモリ２GB×１０ 10万円７掛けで
組み立て調整費 ×１別途買おう！
合計８４万円

１ラック６KVA ２０台搭載可能
１ラック１６０Core １,６００万円
１CPU１２GB １Core３GBの割り当て追加可能 20

DELL XeonX3400（Core2Duo)系
４Core×１
筐体・電源 ×１
３.5’SATA HDD ×２
筐体に含む
メモリ4GB ×4 筐体に含む

組み立て調整費 ×１別途
合計 35万円

5掛けで
買おう！

１ラック６KVA ３０台搭載可能
１ラック１２０Core ６００万円？
１CPU１６GB １Core４GBの割り当て追加不可 21

NEC
T9400（Core2Duo)系２Core×１
３.5’SATA HDD ×２
T9400 2.53GHz 6M
筐体に含む
メモリ4GB ×4 筐体に含む

組み立て調整費 ×１別途
合計 20万円以下

１ラック６KVA ６０台搭載可能
１ラック１２０Core １２００万円？

１CPU１６GB １Core８GBの割り当て追加不可
チップセットはサーバー用なのでメモリも速い
１Core当たりのメモリを多く取れる。
何しろ省電力 22

高集積省電力サーバー

ATOM330 3U20ブレード 20Core
HDD ×２０
ブレードマザー ×２０
メモリ２GB ×２０
組み立て調整費含まず
合計２００万円？

１ラック６KVA ２４０台搭載可能
１ラック２４０Core ４,０００万円
１CPU２GB １Core２GB
23

高集積レンサバサーバー
Core i７５U１０ブレード２０Core
HDD ×２０
ブレードマザー ×２０
メモリ８GB ×２０
組み立て調整費含まず
合計２５０万円

アームズ社製レンサバ向け高密度サーバー
１ラック６KVA １６０台搭載可能
新型機開発中１ラック３２０Core ４,０００万円
５U １０ブレード１CPU８GB １Core４GB
1ラック１６０ブレード搭載可能
Core i7 にも対応

24

Googleサーバー
※Googleの使用するサーバーも対応？
小型UPS

電源 CPU メモリ

冷却風の流れ
25

Googleのコンテナ搭載サーバー

ヒートシャッターに相当する
トレイを空きスペースに配置一台ずつバッテリーを搭載している。

26

Googleのコンテナ内部断面図冷却方式

縦に循環床下に熱交換機ここに大量の水を流す
27

Google模倣サーバー（１）
Xeon5600系２CPU１２Core
3.5”HDD 3.5”HDD 筐体・電源 ×１１０万円
UPS SATA３．５“HDD ×２３万円
PS マザー ×１１２万円
CPU Xeon X5680 3.33GHz 12M
メモリ ×２３６万円
CPU メモリ４GBECC ×１２２０万円
ねぎって合計８０万円
3.5”HDD 3.5”HDD
なし ※専用の収納ラックが必要
PS
１ラック２４０Core １,６００万円
１CPU２４GB １Core４GB

１０GイーサもRAIDコントローラも付いています。 28
許可無く配布を禁止します。LXStyle,Inc メモリが３６GBものってます。

Google模倣サーバー（２）
3.5”HDD 3.5”HDD Xeon5600系２CPU１２Core
3.5”HDD 3.5”HDD 筐体・電源 ×１１０万円
UPS SATA ３．５“HDD×４６万円
PS マザー ×１１２万円
CPU Xeon X5680 3.33GHz 12M
メモリ ×２３６万円
CPU メモリ４GBECC ×１２２０万円
3.5”HDD 3.5”HDD ねぎって合計８２万円
3.5”HDD 3.5”HDD
なし ※専用の収納ラックが必要
PS
１ラック２４０Core １,６００万円
１CPU２４GB １Core４GB

１０GイーサもRAIDコントローラも付いています。 29
許可無く配布を禁止します。LXStyle,Inc メモリが３６GBものってます。

Google模倣サーバー（３）
3.5”HDD 3.5”HDD AMD PhenomII系１CPU ６Core
3.5”HDD 3.5”HDD 筐体・電源 ×１４万円
SATA ３．５“HDD×４６万円
PS マザー ×１２万円

メモリ
PhenomII X6 2.8GHz 9M
CPU ×1 ２万円
メモリ４GBECC ×４８万円
3.5”HDD 3.5”HDD ねぎって合計２４万円
3.5”HDD 3.5”HDD
※専用の収納ラックが必要
PS
１ラック１２０Core ４８０万円
１CPU１６GB １Core約３GB
１Core1.5MBCache

30

Google模倣サーバー（４）
AMD PhenomII系１CPU ６Core
2.5”
2.5” 2.5”
2.5” 2.5”
2.5” 2.5”
2.5”
HDD HDD HDD HDD 筐体・電源 ×１４万円
SATA ２.５“HDD ×４３万円
PS マザー ×１２万円

メモリ
CPU ×1 ２万円
2.5”
2.5” 2.5”
2.5” 2.5”
2.5” 2.5”
2.5”
ねぎって合計２１万円
HDD HDD HDD HDD
※専用の収納ラックが必要
PS
１ラック６KVA ３０台搭載可能
１ラック１８０Core ６３０万円
１Core1.5MBCache

31

積上げサーバー試作機
AMD PhenomII系１CPU ６Core
筐体・電源 ×１ 1.5万円
SATA ２.５“HDD ×６４万円
マザー ×１２万円
×1 ２万円
ねぎって合計２１万円

※５台ぐらい積上げできる
0.7ｍ×0.5ｍ２列５段２KVA
１０台搭載可能
１組６０Core ２１０万円

１Core1.5MBCache
32

NEC激安サーバー（１）

33

NEC激安サーバー（２）

34

NEC激安サーバー（３）
Intel Celelon系１CPU 1Core
捨てる
筐体・電源 ×１ 1.5万円
マザー ×１含む
CPU換装 COre2Quad 2.5万円
SATA ２.５“HDD ×４３万円
メモリ512MB ×１捨てる
メモリ４GBECC ×２４万円
ねぎって合計１１万円
Express５８００/１１０Ge
１ラック４４Core １１０万円
時々さらに特価になる！
BIOS書換で Coe2Quad搭載可能１CPU８GB １Core約２GB
１Core1MBCache

35

HP激安サーバー（１）
AMD Opetron系１CPU ２Core
筐体・電源 ×１２万円
SATA ３.５“HDD ×１含む
512MBメモリ ×1 捨てる
2.5”HDD ×４２万円
ねぎって合計８万円

１ラック２０Core ８０万円
１CPU８GB １Core約４GB
１Core？MBCache
ML115 G5 36

HP激安サーバー（２）

37

HP激安サーバー（３）
AMD Opetron系１CPU ２Core
筐体・電源 ×１２万円
SATA ３.５“HDD ×１含む
512MBメモリ ×1 捨てる
2.5”HDD ×４２万円
CPU PhenomII？×１ 2万円
ねぎって合計１０万円

１ラック２０Core １００万円
１CPU８GB １Core約４GB
１Core1.5MBCache
ML115 G5 BIOS書換 38

まとめ１０台のコスト
筐体ブレード 7550 7550 5600 NEC ARM G模倣積上げ HP激安
HP激安
(1) (2) 省電力（２） PhenomII 改造機

全コア数 480 320 80 120
120 20 20 120
120 60 20

全メモリ 320 2560 2560 120 80 80 480 160 80
GB GB GB GB GB GB GB GB GB

１CPUのメモリ
CPUのメモリ 16GB 64GB 256 6GB 8GB 8GB 24GB
24GB 16GB 8GB
GB

１Coreのメモリ
Coreのメモリ 330MB 3.5GB 14GB 1GB 4GB 4GB 4GB 1GB 4GB

全ストレージ 800GB 1,800 1,800 2,400 20 10 120 30TB 2,5
2,500
SSD GB GB GB TB TB TB GB

CPUの
１CPUの 160GB 460GB 460GB 120GB 2TB 1TB 6TB 3TB 250MB
ストレージ

SSD 3.5”
3.5” 3.5”
3.5” 2.5”
2.5” 3.5”
3.5” 2.5”
2.5” 3.5”
3.5” 2.5”
2.5” 3.5”
3.5”
SAS SAS SAS SATA SATA SATA SATA SATA

全電力 10 12 9 2 1 0.3 2.5 1 1
KVA KVA KVA KVA KVA KVA KVA KVA KVA

トータルコスト 1000 3000 1800 1400 120 250 800 210 100
万円万円万円万円万円万円万円万円万円

39

ご静聴ありがとうございました。

株式会社 LXスタイル
杉田正
Mail： sugi@LXS.jp
Twitter: sugipooh
http://LXS.jp
40

いったいなんぼなら.Pdf

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie いったいなんぼなら.Pdf

Ähnlich wie いったいなんぼなら.Pdf (20)

Mehr von Tadashi Sugita

Mehr von Tadashi Sugita (9)

Kürzlich hochgeladen

Kürzlich hochgeladen (10)

いったいなんぼなら.Pdf