これから儲かる技術はデータセンターから（公開用）
•
3 gefällt mir•3,269 views
DataCenter Cooling 30KVA1Rack Read the future
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (13)
Ähnlich wie これから儲かる技術はデータセンターから（公開用）
Ähnlich wie これから儲かる技術はデータセンターから（公開用） (20)
Mehr von Tadashi Sugita
これから儲かる技術はデータセンターから（公開用）
- 9. データセンターは何カ所ある？ これから儲かる技術はデータセンターから 9 ⽇本 650箇所 ⽶国 4,000箇所？ 中国 9,000箇所 データセンターは⾜りているか？ 中国では⼈⼝⽐から、まだ不⾜とか、、
- 13. 時代の要求が変化してきた ⾼密度ラックの必要性 •1ラック 2~4KVA から 6KVA 12KVA 20KVA 30KVAと 1ラック電気容量要求が⼤きくなってきている。 • スパコンデータセンターに近づくクラウドデータ センター •低いPUE（PUE=1.2以下）も要求される。 13
- 14. 14 DELL EMC オールインワン仮想基盤アプライアンス VxRail 稼働率を60%としても 電源10KVA 冷却能⼒は 1ラック6KWが欲しい 電源10KVA 空調6KW 欲しい
- 15. 機械学習専⽤機 NVIDIA DGX-1 これから儲かる技術はデータセンターから 15 3,200W 引⽤先：http://www.hpctech.co.jp/catalog/NVIDIA_DGX-1_Volta.pdf
- 16. ほんまか！ 1台で5.5KW • Computex Taipei 2017 で展⽰ • ＠３Uで、たった12Uで22KW（＞＜） • 古いデータセンターなら、 僅か1台で 1ラック電⼒制限を超える • 吸気温度25℃ 排気温度50℃設計 温度傾斜25℃ 16 2重反転ファンが４基装備されていた。 撮影：杉⽥ これから儲かる技術はデータセンターから 撮影：杉⽥
- 18. 18 10KVA 1m3/sec ⾵速1m/sec ブレードサーバ 8ブレード1筐体8段実装 12cm⾓DCファン@3台ｘ８＝24台稼働/１Rack 最低速@60CFMとして１筐体180CFM 8段1,440CFMが必須⾵量 1,440CFM＝2,450m3/h＝0.68m3/sec ラック断⾯積を1m2とすると ⾵速0.68m/sec以上必要 ⾵量設計⽬安として約2倍 10KVA 1m3/sec ⾵速1m/secが良い 引⽤先：⼭洋電気 DCファン https://products.sanyodenki.com/contents/hp0009/list.php?CNo=9#size_40 サーバー内蔵ファンは この⾵量で変速する 2004年5⽉から10年以上 現在まで稼働。 PUE=1.3を実現 空冷 ⾵量を管理 して省エネ化 キャッピ ング PUE=1.３ これから儲かる技術はデータセンターから
- 20. 20 サーバによる安定稼働対策 ⾵量が不⾜するデータセン ターにて、⾼密度化が可能。 しかし、未だ未だ 未対策サーバは使われている。 対策品：静圧⼒が⼤きい2重反転ファン 引⽤先：https://www.sanyodenki.com/archive/document/product/cooling/catalog_E_pdf/San_Ace_40CRB56_E.pdf NEC Express5800/E120ｄ−M(8C/E5-2450L) N8100-1904Y 対策された⾼密度サーバー 2U4ノード HCIに良く使われている。 これから儲かる技術はデータセンターから サーバ視点から⾒た 熱⼒学の法則遵守 ④ 重要 PUEは下がるが消費電⼒は減らない
- 22. 22 必要⾵量検討 ラック背⾯ファン 引⽤先：⼭洋電気 DCファン https://products.sanyodenki.com/contents/hp0009/list.php?CNo=9#size_40 80mm⾓ 1列3台24段＝72台/1Rack ⼭洋電気資料から＠0.9〜1.5m3/min（30〜40CFM） よって ラック当たり72台で 約70m3/min＝4,200m3/h （約2,500CFM） ※ラック消費電⼒によりラック背後ファンを制御する技術は Facebookが特許を持っています。 引⽤先：http://archive.datacenterdynamics.com/focus/ archive/2012/10/google-pictures-data-center-beauty これから儲かる技術はデータセンターから PUE=1.16
- 31. 31 n 許容荷重（静荷重） 1200kg n 耐震荷重（地震波） ●兵庫県南部地震波１２５％（１０００ｇａｌ） 1000kg ●ＮＥＢＳ Ｚｏｎｅ４（１６１７ｇａｌ） 500kg リアフレーム搭載荷重 マウントフレーム搭載荷重 +50kg マウントフレーム搭載荷重 耐震性能試験風景 ご注意 代表機種（ＦＣＳ１２０－７２０Ｅ）の当社搭載条件による試験結果です。 機種・仕様・搭載条件（重心の位置）・設置環境などにより搭載可能質量が異なります。 ※1．許容荷重とは、時間的に変化しない一定の荷重に耐えられる搭載可能質量。 ※2．耐震荷重とは、地震波に耐えられる搭載可能質量。 ※1 ※2 ●ＮＥＢＳ Ｚｏｎｅ３（１１０８ｇａｌ） 耐震強度 特殊鋼フレームと厚板鋼コーナーを強固に接合。 サーバの高密度実装による積載荷重の増大に適応。 特殊鋼フレーム 厚板鋼コーナー マウントフレーム コーナー部接合図 ⼤電⼒対策 ⼤きな荷重に耐えるラック これから儲かる技術はデータセンターから
- 32. • ⼤型データセンター（10MW）でDC建設費130億円としても 節電コストで建物コストが償却出来る • 新築だと、構造を最初から最適化出来る。 • 現在⼤⼝電気代は13円。将来上昇する傾向として15円で計算 32 PUE=1.1を実現する間接外気冷却システム 10MWDC 年間電気代 １KWｈ＝13円 PUE=1.5 15,000KWh*0.5(稼働率）*24h*365Day*15 9億8600万円/年 PUE=1.1 11,000KWh*0.5(稼働率）*24h*365Day*15 7億2300万円/年 年差額 2億6300万円 50年 131億5000万円 これから儲かる技術はデータセンターから
- 33. 33 間接外気冷却 外気導⼊の⽋点を無くす ⾵量を確保するには、外気導⼊が適し、さらなる省エネが可能だが、 外気導⼊すると、「ホコリ」「腐⾷性ガス」「湿度」が侵⼊する。 ホコリ： 対策可能 腐⾷性ガス：吸気⾵量を制御 すれば可能 湿度： ⾼価な除湿機が必要 運⽤コストも⾼い →省エネにならない
- 34. 34 倉敷チロロネットデータセンター 12KVA/1Rack x10 x2列を3組 空冷-⽔冷（間接外気）、外気導⼊併⽤ 地下⽔を利⽤した熱処理 経済産業省 クラウド補助⾦を得て建設されました。 コールドアイル 床⾯積を拡張 ⾵速を抑えている サーバー熱を井⼾ ⽔を使い”捨てる” 空冷ー⽔冷、外気導⼊ 天候により⾃動切り替え 引⽤先：https://www.chiroro.co.jp/datacenter/ からフューチャーファシリティーズCFD解析図 建築と空調設備 の⼀体設計 ③ これから儲かる技術はデータセンターから
- 35. 35 冷却コイル⾵量計算 ① ② 冷却コイル コールド アイル ホット アイル ホット アイル ① ① ① ① ① ① ① ① ① ① ① ① ① ① ① ① ① ① ① 必要な⾵量は消費電⼒に⽐例する 冷却コイル内 ⾵損 ホットアイル ⾵損 サーバー内 ⾵損 EC遠⼼ファンΦ400機が適合 気圧を制御、低速稼働し低騒⾳ 引⽤先：http://www.ebmpapst.jp/pdf/RadiPac_US_18_12_201502_J.pdf
- 36. 36 NEDO事業/再⽣可能エネルギー熱利⽤技術開発/その他 再⽣可能エネルギー熱利⽤トータルシステムの⾼効率化・ 規格化/都市除排雪を利⽤した雪⼭貯蔵による⾼効率熱 供給システムの研究開発 ラック上部に⽔冷コイル40KW/1枚 循環ファンは無し、サーバーファンを利⽤ コイルへは融雪⽔を利⽤ PUE = 約 1.05 ⽔冷コイル（熱交換器）の能⼒は、通過する ”⾵量”で決まる。 温度制御は、⽔冷コイルを流れる雪⼭からの 冷⽔⽔量で⾏う。 ⽔冷コイル通過⾵量は、 サーバー内蔵ファンだけ 空冷ー⽔冷 雪冷熱を使う実証開発 引⽤先：NEDO成果報告 都市除排雪を利⽤した雪⼭貯蔵による⾼効率熱供給システムの研究開発から フューチャーファシリティーズによるCFD解析図 サーバ視点から⾒た 熱⼒学の法則遵守 ④ 重要 搬送動⼒の極⼩化⑥ これから儲かる技術はデータセンターから 建築と空調設備 の⼀体設計 ③
- 39. 39 間接外気冷却機 ムンタースOasis ⽇本での第1号採⽤ 東京⼤学ヒトゲノムセンター ⽔冷コイルとチリングを⼀体化したシステム https://supcom.hgc.jp/japanese/cooling_performance.html オーストラリア 2011年 5年間の販売実績は1,000台を越えている。 運転切替 最良値 PUE=1.1 以下 これから儲かる技術はデータセンターから
- 40. 40 多層ビルにて 間接外気気化冷却における ⾼密度ラック配置 １フロア 4ゾーン 360KW x4=1440KW を 40m x 40m =1,600ｍ2で 実現6KVA ALL 1,000 ラック超え 暖気の上昇気流を利⽤し ⽔冷より搬送動⼒が省エネに なる。 直接外気導⼊併⽤でさらに 省エネ 作図：杉⽥ 運転切替 最良値 PUE=1.1以 下 サーバ視点から⾒た 熱⼒学の法則遵守 ④ 重要 これから儲かる技術はデータセンターから 建築と空調設備 の⼀体設計 ③ 運転切替 外気導⼊ PUE=1.07 以下
- 41. 41 間接外気冷却機 シュナイダーAPC グローバルな最新動向 Victor Avelar⽒(Director, DC Science Center, Schneider)にてご紹介 ロシア最⼤のデータセンター DataPro.ruは2階建て サーバー室に熱交換器が無い 屋上へ上昇気流を使って搬送動⼒も低減 3MW級でPUE=1.1 http://datapro.ru/en/aviamotornaya/condition
- 44. 44 30KVA/1Rack DCデザイン（３） 40Rack 間接外気冷却システムと リアドアとの2重ループ冷却 これから儲かる技術はデータセンターから 内蔵ファン静圧が 低い１U機を禁⽌ して、リアドアとの 冷却2重ループとして 「ラック通過⾵速」 を低く出来る。 引⽤先： http://www.chilleddoor.com/files/uploads/2016/10/ MOT_chilledDoorHR_11-2016_REVnoflap.pdf リアドア サーバ視点から⾒た 熱⼒学の法則遵守 ④ 重要 作図：杉⽥ ⾵量と⾵速（1m/s）、気圧を考慮した たまご型 電気容量1.5MW 空調容量1.2MW ※産総研では有償でノウハウを提供しています。
- 45. どこでも • ここまでの技術を理解 • 年齢が若い → データセンターに関する企業でWelcome これから儲かる技術はデータセンターから 45
- 46. どこでも • ここまでの技術を理解 • 年齢が若い • サーバー管理ツールが使える →MSP → データセンターに関する企業でWelcome これから儲かる技術はデータセンターから 46
- 47. どこでも • ここまでの技術を理解 • 年齢が若い • サーバー管理ツールが使える • 英語が出来る → お給料がたくさんもらえる これから儲かる技術はデータセンターから 47
- 48. ますますハードウエアリソースが必要 これから儲かる技術はデータセンターから 48 引⽤先：https://techable.jp/archives/66411 機械学習が様々な成果を 出している。 従来 不可能であったことが 多⼤なハードウエアリソースを 使い 可能 となってきた。 これらのハードウエアは 「データセンター」に置かれる。
- 49. ますますハードウエアリソースが必要 これから儲かる技術はデータセンターから 49 従来 WindowsやLAMP (Linux Apche MySQL PHP)を 使いこなすのが重要だった。 これからは、クラスタを 使いこなすのが普通になる。 その時のコントローラは k8s Google Borgは、K8sの先祖 引⽤先：https://www.slideshare.net/ktateish/google-borg
- 50. 膨大なリソースを管理するツールk8s これから儲かる技術はデータセンターから 50 引⽤先：https://aws.amazon.com/jp/blogs/news/amazon-elastic-container-service-for-kubernetes/ GCP、Azureでは使えた。とうとうAWSでもサポート → Kubernetesがデファクトへ
- 51. 膨大なリソースを管理するツールk8s これから儲かる技術はデータセンターから 51 引⽤先：https://japan.zdnet.com/article/35111629/ マイクロソフト、Azure向けオープンソースの新Kubernetesツール発表 Microsoftは⽶国時間12⽉6⽇、⽶オースティンで開催された「KubeCon」で、 Kubernetesユーザー向けにAzureで利⽤できる新たな製品やサービスを発表した。 まず、Kubernetesでサーバレスコンテナを管理するためのコネクタ 「Virtual Kubelet」がリリースされた。同社は7⽉に、秒単位での課⾦が可能な、 仮想マシンの管理を必要としないサーバレスコンテナランタイムである 「Azure Container Instances」（ACI）を導⼊したが、Virtual Kubeletは KubernetesのクラスタとACIや同様の機能を持つランタイムを連携できる ようにするものだ。
- 52. これから儲かる技術はデータセンターから 52 引⽤先ブログ：https://blog.scooletz.com/2017/11/30/azure-functions-processing-2-billions-items-per-day-1/ サーバーレスで、⼀⽇ 20 億件を処理する ぼそ GCPが使いこなせるなら GCPでしょ・・・
- 54. これから儲かる技術はデータセンターから 54 引⽤先：https://japan.zdnet.com/article/35111333/ データは⽯油 ソフトのようにデータをオープンに̶ The Linux Foundationが新フレームワーク CDLAライセンスは、共有に値する貴重なデータ資産を持つ企業や組織、 コミュニティーのニーズを想定して起草された。その狙いは、オープン データセットの提供者と利⽤者が、提供されるデータを統⼀的な⽅法で 積極的に利⽤かつ⽀援し、同時にその共有の条件を明確にしてリスクを 軽減できるようにすることだ。 データセンター
- 55. これから儲かる技術はデータセンターから 55 引⽤先：https://japan.zdnet.com/article/35111333/ Dell EMCは⽶国時間11⽉30⽇、 第14世代「Dell EMC PowerEdge」サーバを 採⽤するとともに各種コンフィギュレーション 能⼒を強化した、ハイパーコンバージドインフラ （HCI）製品の新たなラインアップを発表した。 GPUにおけるNVIDIAとの連携の結果、ハイパーコンバージドシステムを利⽤した、 ⼈⼯知能（AI）分野のユースケースも増え始めていると付け加えるとともに、 「ヘルスケア分野での画像処理も増えてきている」と述べている。
- 57. 英語の勉強が⼤事。 とうとうYouTubeに「⾃動翻訳字幕」も登場 ⽇本語だけでのアクセス可能世界は拡がった。 これから儲かる技術はデータセンターから 57 デンソーの成迫さんは英語で プレゼンしている。 それを 英語字幕 付きに出来る。 そして、それを⽇本語に翻訳
- 58. どこでも • ここまでの技術を理解 • 年齢が若い • サーバー管理ツールが使える • 英語が出来る • 未来が読める 複雑系とか 事業開発セオリー打率20%以下とか グラフつながりとか → お給料がたくさんもらえる？ これから儲かる技術はデータセンターから 58 未来
- 63. たくさんの情報が容易にゲット出来る時代。 ”機械学習”という新しい技術が出てきた変節期。 価値ある情報と役に⽴たない情報を 区別して、儲けて下さい。 ご静聴ありがとうございました（ｍ＿ｍ）。 杉⽥ 正 Facebook ID : sugipooh これから儲かる技術はデータセンターから 63