Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Nächste SlideShare
Smfを用いたvyatta構成管理システムの開発(orc2012)
Weiter
Herunterladen, um offline zu lesen und im Vollbildmodus anzuzeigen.

4

Teilen

Herunterladen, um offline zu lesen

Interop 2013 ORC ULTRA200 Project

Herunterladen, um offline zu lesen

ULTRA project is R&D project for developing very powerful IP traffic engineering system for astronomy data. In Interop Tokyo 2013 ORC, ULTRA project announced the 2nd generation IP router system, "Renjyaku". It has over 100Gbps IP forwarding capability with 7.9usec low latency forwarding architecture.
This system is based on Intel SandyBridge-E micro architecture and offloaded TCP/IP stack on Linux kernel to 10GbE NIC.

Ähnliche Bücher

Kostenlos mit einer 30-tägigen Testversion von Scribd

Alle anzeigen

Ähnliche Hörbücher

Kostenlos mit einer 30-tägigen Testversion von Scribd

Alle anzeigen

Interop 2013 ORC ULTRA200 Project

  1. 1. ULTRA200~PC世界最速を目指す~大江@国立天文台ORC2013ULTRA200 1今年も東陽テクニカ様・IXIA様のご協力に深く感謝いたします.
  2. 2. 天体望遠鏡とデジタル化の今高感度CCD -100℃に冷却合計約8億7000万画素観測した天体のデジタルデータ巨大なデジタルカメラすばる望遠鏡のあたしい目HSC: Hyper-Suprime-Camすばる望遠鏡ORC2013ULTRA200 2天文台でなんでネットワークなんよ?
  3. 3. 観測データを各所へ伝送・アーカイブ•マウナケア山頂(米国ハワイ)のすばる望遠鏡からの観測データは,各所でアーカイブされ,後に公開されます.• 貴重な観測結果を各所に伝送(地理的に分散)し,アーカイブ• 望遠鏡を利用する研究者が天体・観測方法を定め観測する• アーカイブされた観測データを世界中の研究者が異なる視点で再活用• アーカイブを利用した天文観測という分野ネットの活用が天文学を支えています.すばる望遠鏡マウナケア山頂4200mHilo オフィス(Base facility)三鷹本部米国ハワイ島観測結果をIPで送信観測結果をIPで送信1次アーカイブ2次アーカイブインターネットなどで公開研究者(観測者)世界中の研究者日本国東京 全世界約6400kmORC2013ULTRA200 3
  4. 4. ULTRA計画の背景4• 天文学を支えるハイパフォーマンスなネットワークシステムへの要求– 天文学専用スパコンシステム(岩手・東京)• 500Tflops 演算ノード (岩手)• ストレージノード(東京)– VLBI観測システム(東京・岩手・沖縄・等)• 観測ノード(各所)• 解析ノード(東京)今,演算・ストレージ・IPネットワークを効率よく連携させる仕組みが自然科学の発展には必要不可欠必要計算ノードストレージORC2013ULTRA200
  5. 5. コストの観点から見る開発ゾーンコスト性能カスタムASIC(PC +) FPGA(PC +) FPGA on NICこの領域がULTRA計画の開発ゾーン5ORC2013ULTRA200PC+NIC 40Gbps FPGAフルカスタムチップ20GbpsNIC + FPGAPC + NIC
  6. 6. ORC2012「大沢」•大沢の成果正確な計測器により,ネハレムアーキテクチャにて,高性能なNICをソフトウェアチューニングを実施することで,1サーバで• 100Gbpsのコンテンツ送信性能• 40Gbps程度のL3フォワーディング性能を有することをを客観的に示した.ORC2013ULTRA200 6100Gbps達成
  7. 7. ORC2012燃え尽きました・・どうしたら高性能になる?•PCの性能を搾りきる限界をORC2012で体験• 燃え尽きました• 壁にぶち当たる•FPGAのアシスト構成• 開発コストが厳しい• Arista 7124FX FPGA BOX• Xilinx Kintex 7•PCをさらに絞り出す• Intel DPDK ポーリングベースの信号処理• 開発キット処理遅延が大きい• ORCにはそぐわない点ORC2013ULTRA200 7
  8. 8. FGPAなど高価なハードウェアならでわの領域安価なPCで踏み込める領域ORC2012の検証8低遅延性能広帯域ORC2013ULTRA200
  9. 9. FGPAなど高価なハードウェアならでわの領域安価なPCで踏み込める領域ORC2012の検証9低遅延性能広帯域2012 ULTRA40 大沢45Gbps / 12msec2011 PCルータ20Gbps ?msecORC2013ULTRA200
  10. 10. FGPAなど高価なハードウェアならでわの領域安価なPCで踏み込める領域PC + NIC(Offload NIC)の性能向上方向性?ORC2012の検証10低遅延性能広帯域2012 ULTRA40 大沢45Gbps / 12msec2011 PCルータ20Gbps ?msecORC2013ULTRA200
  11. 11. FGPAなど高価なハードウェアならでわの領域安価なPCで踏み込める領域PC + NIC(Offload NIC)の性能向上方向性?ORC2012の検証11低遅延性能広帯域2012 ULTRA40 大沢45Gbps / 12msec2011 PCルータ20Gbps ?msecORC2013 ULTRA200での挑戦すべき方向性非常識ですが風穴をあけてみたいORC2013ULTRA200
  12. 12. 遅延:アプリケーションを悩ますボトルネック•広帯域化におけるPCルータやサーバの課題• 10/40Gbpsを生かしきる広帯域かつ低遅延の両立が必要不可欠• ORC2012では,帯域が大きかったが遅延は12msecと悪かった• どうみても「一発屋」技術目標:低遅延を達成することがシステムパフォーマンスを高める•ターゲット• 10μsecオーダーを目標に設計• Intel DPDK / FPGA / FPGA on NIC などなど• 1μSec以下の領域• FPGA,ASICやカスタムチップORC2013ULTRA200 12
  13. 13. 今できる.遅延を削り込むアプローチ•NIC側のオフロードエンジンの有効利用• PCI-E3.0端境期のSandy-Bridge世代をオーバクロックして,NICへアプリケーションをオフロードしなおしました.• システムの安定化• 低遅延と広帯域の両立への挑戦ORC2013ULTRA200 13
  14. 14. 無駄にプロジェクトの場つなぎとしてやってきた低遅延・広帯域L3ルータ「連雀」(Renzyaku)•低遅延にこだわりつつも,無駄に漢を感じさせるスペック• 無駄に一夜限りの速度にこだわる「SandyBridgeE オーバクロック」• 無駄にポート数を稼いだ10GbE実装「12 x 10GbE SFP+ 」• 無駄にメモリーが搭載「96GB」• 無駄に稼働に2回路必要な大容量電源を搭載「2400W」•机上設計のみで開発したので,出たとこ勝負でもってきました.ORC2013ULTRA200 14
  15. 15. ORC2013 連雀の構成ORC2013ULTRA200 152x10GbE NIC x 6冷却効率アップのためファンを全交換Sandybridge-E をオーバクロック基本性能の向上冷却能力向上(エアーフロー,空冷クーリングユニットを全交換)NICの認識安定性の改良(udev最適化とBIOSのパラメータ調整)安定性を重視したメモリーおよび,CPUのオーバークロックHyperThreading なし
  16. 16. ORC2013 連雀の構成•Linux Kernel (CentOS 6.4)• Kernel TCP/IPスタック機能相当をNICへオフロード• Receiver Side Scalingにより,各CPUへの割り込みを分散• IRQのバランス機能をカット• RX待ち時間を0,バッファリングも最小• CPU がC1Eステートに入るのを禁止• CPU SPEED制御をカット•UserLand• SELinux / IptableなしORC2013ULTRA200 16
  17. 17. 100Gbps 環境で検証 Splient / IXIA 計測器で計測ORC2013ULTRA200 17
  18. 18. 連雀の性能評価:低遅延を達成ORC2013ULTRA200 18遅延時間7μsec~ 18usecを安定して達成PCI-E 若番Slotが極めて安定[μsec]
  19. 19. 低遅延かつ100Gbpsを達成フルメッシュパターンでトラフィック計測• 送信側ORC2013ULTRA200 19• 受信側ロスなし
  20. 20. オーバークロックが与える低遅延化•CPUベースクロックをクロックアップすることにより,メモリー速度がアップ• 低遅延化に貢献することが分かる• CPU倍率を上げても低遅延化には効果がない.ORC2013ULTRA200 20CPUベースクロックBCLK 101CPUベースクロックBCLK 104
  21. 21. ORC2012 からORC2013への進化ORC2012 大沢 ORC2013 連雀アーキテクチャ Nehalem Sandy-bridge-E 3.1GHzoverclock帯域(L3フォワーディング)42Gbps 110Gbps越え遅延 12msec 7.9μsecORC2013ULTRA200 21場つなぎ世代として開発されたんですが,連雀の功績は大きいPCの創意工夫を重ねれば,新しい世界に突入できることを実証
  22. 22. ULTRA-Xに向けて,さらなる検証•ORCは,正確な計測器で客観的にデータがとれる貴重な機会•今後の開発目標を立てる上で,• オーバークロックによる低遅延化への効果を検証• さらに広帯域を稼ぐにはどうしたらよいか?ORC2013ULTRA200 22
  23. 23. オーバクロックによる遅延の検証ORC2013ULTRA200 23カラ割して,液体金属に交換,オーバクロック化Corei7-4770K3.5GHz 8.6μs3.7GHz 5.9μs4GHz 7.6μs4.5GHz 15μsもはやルータ開発じゃないオレオスペック@秋葉原へゴー
  24. 24. ORC2013でのULTRA200の結論•オーバークロック・カーネル・ユーザーランドチューニングと性能の相関関係を明確化• クロックアップにより低遅延性能アップ• メモリーオーバクロック• CPU倍率オーバクロックは性能に影響しない•伸びしろはあるとみました.• 高性能なHaswell マイクロアーキテクチャM/B (2013.7~)• NICベンダーからのPCI-E3.0カード Full 40GbE (2013.9~)まだ絞り出す余裕がでてくると考えています.•帯域面については,次世代のNICが今年度登場• PCI-E3.0 40Gbps フルスペック NIC•今後もPC/FPGA技術に注力して,ULTRA400へバージョンアップ• 来年は,L3で倍, 200Gbps伝送かつ低遅延を達成したい.ORC2013ULTRA200 24
  • SeiyaShibata

    Jul. 15, 2015
  • kyokuheki

    Nov. 17, 2014
  • terumba

    Apr. 20, 2014
  • YuukiKunitake

    Oct. 23, 2013

ULTRA project is R&D project for developing very powerful IP traffic engineering system for astronomy data. In Interop Tokyo 2013 ORC, ULTRA project announced the 2nd generation IP router system, "Renjyaku". It has over 100Gbps IP forwarding capability with 7.9usec low latency forwarding architecture. This system is based on Intel SandyBridge-E micro architecture and offloaded TCP/IP stack on Linux kernel to 10GbE NIC.

Aufrufe

Aufrufe insgesamt

1.072

Auf Slideshare

0

Aus Einbettungen

0

Anzahl der Einbettungen

25

Befehle

Downloads

11

Geteilt

0

Kommentare

0

Likes

4

×