Suche senden
Hochladen
IPDPS & HPDC 報告
•
1 gefällt mir
•
665 views
Junya Arai
Folgen
平成28年7月4日に開かれたビッグデータ基盤研究会 (BDI) での発表に使用したスライドです。
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 23
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
Takashi Okawa
[基調講演] DLL_RealtimeAI
[基調講演] DLL_RealtimeAI
Deep Learning Lab(ディープラーニング・ラボ)
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Preferred Networks
「数字を見せろ」から「コードを見せろ」へ 〜過程の透明性を確保したデータ可視化を目指す〜
「数字を見せろ」から「コードを見せろ」へ 〜過程の透明性を確保したデータ可視化を目指す〜
Keiichiro Ono
「モダンな」可視化アプリケーション開発とはどのようなものか?
「モダンな」可視化アプリケーション開発とはどのようなものか?
Keiichiro Ono
San Diego Japan Bio Forum: ライフサイエンス向けデータ可視化技術の現状
San Diego Japan Bio Forum: ライフサイエンス向けデータ可視化技術の現状
Keiichiro Ono
研究を加速するChainerファミリー
研究を加速するChainerファミリー
Deep Learning Lab(ディープラーニング・ラボ)
FPGAX2019
FPGAX2019
Hiroki Nakahara
Empfohlen
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
Takashi Okawa
[基調講演] DLL_RealtimeAI
[基調講演] DLL_RealtimeAI
Deep Learning Lab(ディープラーニング・ラボ)
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Preferred Networks
「数字を見せろ」から「コードを見せろ」へ 〜過程の透明性を確保したデータ可視化を目指す〜
「数字を見せろ」から「コードを見せろ」へ 〜過程の透明性を確保したデータ可視化を目指す〜
Keiichiro Ono
「モダンな」可視化アプリケーション開発とはどのようなものか?
「モダンな」可視化アプリケーション開発とはどのようなものか?
Keiichiro Ono
San Diego Japan Bio Forum: ライフサイエンス向けデータ可視化技術の現状
San Diego Japan Bio Forum: ライフサイエンス向けデータ可視化技術の現状
Keiichiro Ono
研究を加速するChainerファミリー
研究を加速するChainerファミリー
Deep Learning Lab(ディープラーニング・ラボ)
FPGAX2019
FPGAX2019
Hiroki Nakahara
PCCC21:東京大学情報基盤センター 「『計算・データ・学習』融合によるスーパーコンピューティングの革新、そして東大センターのこれから」
PCCC21:東京大学情報基盤センター 「『計算・データ・学習』融合によるスーパーコンピューティングの革新、そして東大センターのこれから」
PC Cluster Consortium
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
Dell TechCenter Japan
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
DNA Data Bank of Japan center
第1回 配信講義 計算科学技術特論A (2021)
第1回 配信講義 計算科学技術特論A (2021)
RCCSRENKEI
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
Hironori Washizaki
ビッグデータ時代のアカデミッククラウド
ビッグデータ時代のアカデミッククラウド
Masaharu Munetomo
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Hadoop / Spark Conference Japan
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Shohei Hido
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
Hitoshi Sato
Cytoscapeの現状とCyberinfrastructure
Cytoscapeの現状とCyberinfrastructure
Keiichiro Ono
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
Insight Technology, Inc.
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
Preferred Networks
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
20120822_dstn技術交流会_DataSpider接続先技術動向
20120822_dstn技術交流会_DataSpider接続先技術動向
dstn
高性能データ処理プラットフォーム (Talk on July Tech Festa 2015)
高性能データ処理プラットフォーム (Talk on July Tech Festa 2015)
Yu Liu
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
Hiroaki Shiokawa
Hadoop/AI基盤における考慮点、PoCの進め方、基盤構成例
Hadoop/AI基盤における考慮点、PoCの進め方、基盤構成例
日本ヒューレット・パッカード株式会社
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
Kazunori Sato
YOU は何して VLDB2020 Tokyo へ? (グラフ編)
YOU は何して VLDB2020 Tokyo へ? (グラフ編)
Junya Arai
Scalable Cooperative File Caching with RDMA-Based Directory Management
Scalable Cooperative File Caching with RDMA-Based Directory Management
Junya Arai
Weitere ähnliche Inhalte
Ähnlich wie IPDPS & HPDC 報告
PCCC21:東京大学情報基盤センター 「『計算・データ・学習』融合によるスーパーコンピューティングの革新、そして東大センターのこれから」
PCCC21:東京大学情報基盤センター 「『計算・データ・学習』融合によるスーパーコンピューティングの革新、そして東大センターのこれから」
PC Cluster Consortium
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
Dell TechCenter Japan
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
DNA Data Bank of Japan center
第1回 配信講義 計算科学技術特論A (2021)
第1回 配信講義 計算科学技術特論A (2021)
RCCSRENKEI
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
Hironori Washizaki
ビッグデータ時代のアカデミッククラウド
ビッグデータ時代のアカデミッククラウド
Masaharu Munetomo
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Hadoop / Spark Conference Japan
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Shohei Hido
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
Hitoshi Sato
Cytoscapeの現状とCyberinfrastructure
Cytoscapeの現状とCyberinfrastructure
Keiichiro Ono
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
Insight Technology, Inc.
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
Preferred Networks
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
20120822_dstn技術交流会_DataSpider接続先技術動向
20120822_dstn技術交流会_DataSpider接続先技術動向
dstn
高性能データ処理プラットフォーム (Talk on July Tech Festa 2015)
高性能データ処理プラットフォーム (Talk on July Tech Festa 2015)
Yu Liu
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
Hiroaki Shiokawa
Hadoop/AI基盤における考慮点、PoCの進め方、基盤構成例
Hadoop/AI基盤における考慮点、PoCの進め方、基盤構成例
日本ヒューレット・パッカード株式会社
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
Kazunori Sato
Ähnlich wie IPDPS & HPDC 報告
(20)
PCCC21:東京大学情報基盤センター 「『計算・データ・学習』融合によるスーパーコンピューティングの革新、そして東大センターのこれから」
PCCC21:東京大学情報基盤センター 「『計算・データ・学習』融合によるスーパーコンピューティングの革新、そして東大センターのこれから」
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
【講演資料】ビッグデータ時代の経営を支えるビジネスアナリティクスソリューション
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
第1回 配信講義 計算科学技術特論A (2021)
第1回 配信講義 計算科学技術特論A (2021)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
ビッグデータ時代のアカデミッククラウド
ビッグデータ時代のアカデミッククラウド
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
Cytoscapeの現状とCyberinfrastructure
Cytoscapeの現状とCyberinfrastructure
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ! by 株式会社日立製作所 村上順一
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
20120822_dstn技術交流会_DataSpider接続先技術動向
20120822_dstn技術交流会_DataSpider接続先技術動向
高性能データ処理プラットフォーム (Talk on July Tech Festa 2015)
高性能データ処理プラットフォーム (Talk on July Tech Festa 2015)
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
Hadoop/AI基盤における考慮点、PoCの進め方、基盤構成例
Hadoop/AI基盤における考慮点、PoCの進め方、基盤構成例
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
Mehr von Junya Arai
YOU は何して VLDB2020 Tokyo へ? (グラフ編)
YOU は何して VLDB2020 Tokyo へ? (グラフ編)
Junya Arai
Scalable Cooperative File Caching with RDMA-Based Directory Management
Scalable Cooperative File Caching with RDMA-Based Directory Management
Junya Arai
第3回システム系輪講会:IPDPS'17 の機械学習系論文
第3回システム系輪講会:IPDPS'17 の機械学習系論文
Junya Arai
Rabbit Order: Just-in-time Reordering for Fast Graph Analysis
Rabbit Order: Just-in-time Reordering for Fast Graph Analysis
Junya Arai
WWW2014 勉強会 新井担当分
WWW2014 勉強会 新井担当分
Junya Arai
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Junya Arai
Mehr von Junya Arai
(6)
YOU は何して VLDB2020 Tokyo へ? (グラフ編)
YOU は何して VLDB2020 Tokyo へ? (グラフ編)
Scalable Cooperative File Caching with RDMA-Based Directory Management
Scalable Cooperative File Caching with RDMA-Based Directory Management
第3回システム系輪講会:IPDPS'17 の機械学習系論文
第3回システム系輪講会:IPDPS'17 の機械学習系論文
Rabbit Order: Just-in-time Reordering for Fast Graph Analysis
Rabbit Order: Just-in-time Reordering for Fast Graph Analysis
WWW2014 勉強会 新井担当分
WWW2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
ICDE2014 勉強会 新井担当分
Kürzlich hochgeladen
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
Kürzlich hochgeladen
(9)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
IPDPS & HPDC 報告
1.
Copyright© 2016 NTT
Corp. All Rights Reserved. IPDPS & HPDC 報告 新井 淳也 日本電信電話株式会社 ビッグデータ基盤研究会 (BDI) 平成28年7月4日
2.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 2 自己紹介 新井 淳也(アライ ジュンヤ) 日本電信電話(株)ソフトウェアイノベーションセンタ 所属 興味:並列分散処理 頂点順序の最適化による高速なグラフ処理 • 昨年8月の BDI や IPDPS’16 等にて発表 リモート DMA による「京」上の分散ファイルキャッシュ • 修論(東大 石川裕研究室 ’13) Haskell プログラムの自動並列化 • 卒論(東大 米澤明憲研究室 ’11) 趣味:神社巡り, 旅行
3.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 3 最近の研究 Rabbit Order: Just-in-time Parallel Reordering for Fast Graph Analysis J. Arai (NTT) et al. IPDPS’16. グラフ処理の前に頂点を並び替えることで, メモリアクセスの局所性を向上させる手法の提案 頂点の順序を 最適化 Graph Algorithms セッションの様子→ • アクセスされるデータの場所がバラバラ • 同じデータの再利用が少ない キャッシュを活用できない! • アクセスされるデータが密集 • データの再利用が多い キャッシュを活用できる!
4.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 4 2週連続で国際会議に参加してきました IPDPS@シカゴ HPDC@京都
5.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 5 IPDPS’16 概要 並列分散処理・高性能計算 (HPC) 分野の一流国際会議 SC (Supercomputing) と IPDPS が HPC 分野で最も重要な会議 正式名:30th IEEE International Parallel and Distributed Processing Symposium 開催地:Hyatt Regency Chicago, シカゴ, 米国 開催日:5/23~27(23, 27 はワークショップ) 論文数:114 (採択率 23%, 1 round) 参加者:約650名 ほとんどが大学や研究機関の研究者 日本からの参加組織: 筑波大, 東大, 京大, 東工大, 名大, 成蹊大, 九州工大, 理研, NTT (合計12名*1) 会場外観 *1) 発表プログラムの確認と日本人参加者からの伝聞による算出
6.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 6 IPDPS’16 写真
7.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 7 HPDC’16 概要 並列分散処理・HPC 分野の一流国際会議 IPDPS と比べ小規模ながら質は高い 正式名:25th ACM International Symposium on High Performance Distributed Computing 開催地:京都市国際交流会館, 京都, 日本 開催日:5/31~6/4(5/31, 6/1 はワークショップ) 論文数:20 full + 9 short (採択率 15.5%, 2 rounds) さらにポスター発表28件 参加者:約150名 ほとんどが大学や研究機関の研究者 日本からの参加組織: 東工大, 理研, 産総研, 京大, 東大, 北大, 九大, お茶大, …… (概ね人数順) ざっと見たところ日本人は参加者の約3割 会場外観 シングルトラックなので 全ての発表を聴ける
8.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 8 HPDC’16 写真
9.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 9 HPC の研究分野 IPDPS における4区分 (HPDC のフォーカスも含む) アルゴリズム:数値計算, シミュレーション, 機械学習, リソース管理, 通信 アプリケーション:計算科学 (自然科学シミュレーション等), ビッグデータ, クラウド アーキテクチャ:プロセッサ, メモリ, インタコネクト, ストレージ, 省電力, 耐故障 ソフトウェア:プログラミング言語, ミドルウェア, OS, リソース管理 ほとんどの論文が分散 or アクセラレータ (GPU, Xeon Phi) 関連 CPUによる共有メモリ型並列処理の論文は少数派 実験では HPC クラスタ (スパコン) がよく用いられる 大規模 (数十~十万ノード) 低遅延・広帯域のインタコネクト (InfiniBand, Gemini, Tofu, ...) 遅いファイルアクセス (ノード毎のローカルディスクと比べて) • 全ノード共有の並列ファイルシステム (Lustre 等) を使用するため
10.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 10 スポンサー http://www.ipdps.org/ipdps2016/2016_partners_exhibitors.html より引用 http://www.hpdc.org/2016/sponsorship/ より引用 IPDPS HPDC イリノイ州にあるBI企業
11.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 11 国別論文件数(第一著者の所属で判定) 両会議とも同じ傾向:米が圧倒的多数, 2位は同数で中独 USA 70 China 8 Germany 8 6 3 3 2 Japan 2 2 211111111 USA China Germany France India Switzerland Italy Japan Singapore Spain Austria Brazil Canada Greece Ireland Netherlands Saudi Arabia Sweden IPDPS 114件 USA 22 China 2 Germany 2 1 1 USA China Germany India Switzerland HPDC 28件 理研とNTT
12.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 12 ワークショップ(青字はビッグデータ関連) IPDPS 1. Heterogeneity in Computing Workshop (HCW) 2. Reconfigurable Architectures Workshop (RAW) 3. Workshop on High-Level Parallel Programming Models & Supportive Environments (HIPS) 4. Workshop on High Performance Computational Biology (HiCOMB) 5. Advances in Parallel and Distributed Computational Models (APDCM) 6. Accelerators and Hybrid Exascale Systems (ASHES) 7. Parallel Computing and Optimization (PCO) 8. Graph Algorithms Building Blocks (GABB) 9. NSF/TCPP Workshop on Parallel and Distributed Computing Education (EduPar) 10. High Performance Data Analysis and Visualization (HPDAV) 11. Variability in Parallel and Distributed Systems (VarSys) 12. High-Performance, Power-Aware Computing (HPPAC) 13. Workshop on Parallel and Distributed Scientific and Engineering Computing (PDSEC) 14. Dependable Parallel, Distributed and Network-Centric Systems (DPDNS) 15. Large-Scale Parallel Processing (LSPP) 16. Parallel and Distributed Computing for Large Scale Machine Learning and Big Data Analytics (ParLearning) 17. Workshop on Job Scheduling Strategies for Parallel Processing (JSSPP) 18. International Workshop on Automatic Performance Tuning (iWAPT) 19. Chapel Implementers and Users Workshop (CHIUW) 20. High-Performance Big Data Computing (HPBDC) 21. Monitoring and Analysis for High Performance Computing Systems Plus Applications (HPCMASPA) 22. Emerging Parallel and Distributed Runtime Systems and Middleware (IPDRM) 23. Parallel and Distributed Processing for Computational Social Systems (ParSocial) HPDC 1. Workshop on Fault-Tolerance for HPC at Extreme Scale (FTXS) 2. High Performance Graph Processing (HPGP) 3. Software Engineering Methods for Parallel and High Performance Applications (SEM4HPC) 4. Seventh International Workshop on Data-Intensive Distributed Computing (DIDC) 5. 6th International Workshop on Runtime and Operating Systems for Supercomputers (ROSS) 6. 7th Workshop on Scientific Cloud Computing (ScienceCloud) 多い
13.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 13 基調講演 IPDPS 1. 破壊的な技術とは何か, どうしたら生み出せるのか Disruptive Research and Innovation (Kai Li, Princeton U.) 2. HPC における今後のメモリ技術の方向性 Memory, Storage and Processing in Future Parallel and Distributed Processing Systems (Thomas Pawlowski, Micron) 3. 宇宙論研究のためのポータブルなソフトウェアの開発 Unlocking the Mysteries of the Universe with Supercomputers (Katrin Heitmann, Argonne National Lab.) HPDC 1. ムーアの法則の終焉という「第6の波」への対応 Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.) 2. 今後のスーパーコンピュータの発展の方向性と研究課題 With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee) 3. 将来の計算機に必要なメモリの抽象化, NVM の活用 Implications of Heterogeneous Memories in Next Generation Server Systems (Ada Gavrilovska, Georgia Tech.)
14.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 14 基調講演 IPDPS 1. 破壊的な技術とは何か, どうしたら生み出せるのか Disruptive Research and Innovation (Kai Li, Princeton U.) 2. HPC における今後のメモリ技術の方向性 Memory, Storage and Processing in Future Parallel and Distributed Processing Systems (Thomas Pawlowski, Micron) 3. 宇宙論研究のためのポータブルなソフトウェアの開発 Unlocking the Mysteries of the Universe with Supercomputers (Katrin Heitmann, Argonne National Lab.) HPDC 1. ムーアの法則の終焉という「第6の波」への対応 Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.) 2. 今後のスーパーコンピュータの発展の方向性と研究課題 With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee) 3. 将来の計算機に必要なメモリの抽象化, NVM の活用 Implications of Heterogeneous Memories in Next Generation Server Systems (Ada Gavrilovska, Georgia Tech.) 「ムーアの法則」の終焉 に関連する話題が頻出
15.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 15 基調講演まとめ: 「ムーアの法則」の終焉 ムーアの法則:プロセッサの集積密度は約2年で倍増する 性能向上と省電力化が同時に進行 (デナードスケーリング) 物理学的制約と経済的制約によってムーアの法則は終わる トランジスタ数∝消費電力 に近づく (コア数2倍なら電力も倍) 集積度向上のためのコストが高騰し, 利益に対して割に合わなくなる 2020年半ばには計算機の性能向上が止まる (かも?) これまでの世界:FLOPS は勝手に上昇する • ただし並列化はソフトウェア側でうまくやる必要がある ムーアの法則終焉後の世界:FLOPS も増えない • 消費電力の制約で性能を上げられなくなる
16.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 16 基調講演まとめ: 「ムーアの法則」終焉への対策 (ハード) • 計算用途向けに特殊化したアーキテクチャ 広義には GPU や FPGA も 組込みでは Digital Signal Processor (DSP) などで以前からやっている • NVM や, HMC, HBM など低消費電力なメモリ • 3次元積層 (縦方向への回路の積み重ね) など高度な半導体技術 • 計算ノード間光インタコネクト • 脳を模したプロセッサ (IBM TrueNorth, SpiNNaker 等) • 量子計算
17.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 17 基調講演まとめ: 「ムーアの法則」終焉への対策 (ソフト) • データ移動を減らすアルゴリズム設計 演算よりもメモリアクセスのほうが多くの電力を消費する • 複雑なハードを効率的に扱えるシステムやプログラミングモデル 深くなるメモリ階層や多様なアクセラレータの活用 64-bit multiply add Read 64 bits from cache Move 64 bits across chip Execute and instruction Read 64 bits from DRAM HPDC Keynote 2 (by Jack Dongarra) より
18.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 18 セッション構成 (青字はビッグデータ関連) IPDPS 1. Graph Algorithms 2. Software Environments and Tools 3. Network Architecture 4. Application Optimization 5. Linear Algebra & Solvers 6. Fault Tolerance & Resilience 7. Modeling and Evaluation 8. Graph Applications 9. Cloud Resource Allocation 10. Memory Management 11. Scheduling and Resource Management 12. Scientific Applications (1) 13. Clustering & Partitioning 14. Accelerated Computing 15. Memory Hieracrchy 16. Optimization Techniques 17. Communication Efficiency & Avoidance Algorithms 18. Distributed Algorithms 19. I/O and Storage 20. Scientific Applications (2) 21. Numerical Algorithms 22. Graphs and Tensors 23. Runtime Systems 24. GPUs 25. Scheduling 26. System Software 27. Security & Fault Tolerance 28. Data Streaming HPDC 1. High Performance Networks 2. Parallel and Fault Tolerant algorithms 3. Big Data Processing and I/O 4. Systems, networks, and architectures for high-end computing 5. Cloud and resource management 6. Massively Multicore Systems 7. Graph Algorithms 8. Potpourri グラフが目立つが, 疎行列演算や SGD 等は数値計算系のセッションにも含まれる
19.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 19 論文タイトルのワードクラウド Parallel 23 Memory 16 Algorithm 16 Graph 12 Distributed 12 Data 12 出現回数上位5つ Aware 5 System 4 Performance 4 Memory 4 Graph 4 Distributed 4 出現回数上位5つ 全体のワード数が 少ないので浮上 IPDPS HPDC Distributed- /Shared- Memory 注目されている
20.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 20 グラフ関連研究の傾向 多数の採択 (全体の約15%), 併催ワークショップなど関心が高い Graph Algorithms Building Blocks (GABB) ― IPDPS 併催 High Performance Graph Processing (HPGP) ― HPDC 併催 アルゴリズムから実験・実測まで広範 • Subgraph counting アルゴリズムとその分散実装 [Chakaravarthy+ IPDPS’16], • MPI と OpenMP による簡潔な分散グラフ処理の実装 [Slota+ IPDPS’16] など HPC では単純な問題 (PageRank や BFS) の高速化が多い印象だが, IPDPS は 多彩な問題を扱う傾向にある (subgraph counting, 極大マッチ, 彩色, ...) ワークショップでは実世界のタスクを意識した研究が多い 特に動的グラフの管理と分析は GABB での発表の半数を占めた • 実世界のグラフ (ソーシャルネットワークや Web グラフ) は時間経過で変化する • HPGP でも IBM ワトソン研の鈴村氏より動的グラフの重要性が強調された 会議本体よりも問題設定が DB 分野に近い印象
21.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 21 そのほかビッグデータ関連の発表 Spark 高速化 • 透過的に GPU を利用可能にするライブラリ [Grossman+ HPDC’16], • 動的なメモリ割当て最適化 [Xu+ IPDPS’16] など 機械学習研究者に HPC クラスタの高い計算能力を提供したい Hadoop MapReduce に関する論文はゼロ (Spark に移行?) 機械学習 (ML) • マルチコア・メニーコアでの CNN 高速化 [Zlateski+ IPDPS’16 best paper], • 確率的勾配降下法 (SGD) の高速化 [Sallinen+ IPDPS’16] 世の中は AI ブームだが, 論文数は意外と少ない印象 ML を用いたスケジューリング [Ukidave+ IPDPS’16], エラー予測 [Vishnu+ IPDPS’16] も DB 感のあるもの • RDMA と SSD を用いた Key-Value Store [Shankar+ IPDPS’16]
22.
新井 淳也, “IPDPS
& HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 22 まとめ IPDPS と HPDC について俯瞰した どちらも HPC 分野で重要な国際会議 ムーアの法則の終焉について基調講演をまとめた 消費電力問題を解決するためハードウェアとソフトウェア両面の取組みが必要 ビッグデータ関連の研究動向について紹介した グラフは依然注目を集めており, 機械学習に対しても足回りとして関係している
Jetzt herunterladen