Suche senden
Hochladen
Reading drill
•
2 gefällt mir
•
1,061 views
Kai Sasaki
Folgen
About Apache Drill
Weniger lesen
Mehr lesen
Software
Melden
Teilen
Melden
Teilen
1 von 28
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Masahiro Satake
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
Apache NiFiと他プロダクトのつなぎ方
Apache NiFiと他プロダクトのつなぎ方
Sotaro Kimura
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
Glueの開発環境(zeppelin)をrancherで作ってみる
Glueの開発環境(zeppelin)をrancherで作ってみる
cloudfish
Apache Sparkやってみたところ
Apache Sparkやってみたところ
Tatsunori Nishikori
Empfohlen
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Elasticsearch 2014/04/21 勉強会資料 「Couchbase と Elasticsearch が手を結んだら」
Masahiro Satake
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
Apache NiFiと他プロダクトのつなぎ方
Apache NiFiと他プロダクトのつなぎ方
Sotaro Kimura
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
Glueの開発環境(zeppelin)をrancherで作ってみる
Glueの開発環境(zeppelin)をrancherで作ってみる
cloudfish
Apache Sparkやってみたところ
Apache Sparkやってみたところ
Tatsunori Nishikori
Elasticsearch at Makuake
Elasticsearch at Makuake
Yoshiaki Yoshida
Spark MLlib code reading ~optimization~
Spark MLlib code reading ~optimization~
Kai Sasaki
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Firestoreを勉強してみた
Firestoreを勉強してみた
ishikawa akira
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Katsushi Yamashita
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
グラフタイプデータの可視化ツールーTom Sawyer
グラフタイプデータの可視化ツールーTom Sawyer
Changhwan Lee
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
ktaro_w
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
Cassandra - Kylo/Nifi
Cassandra - Kylo/Nifi
Mao Ito
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Shinichi YAMASHITA
Android study part3
Android study part3
shinya sakemoto
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Ryuji Tamagawa
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
Kai Sasaki
Treasure Data Overview
Treasure Data Overview
treasuredata
Embuk internals
Embuk internals
Sadayuki Furuhashi
図でわかるHDFS Erasure Coding
図でわかるHDFS Erasure Coding
Kai Sasaki
Prestogres, ODBC & JDBC connectivity for Presto
Prestogres, ODBC & JDBC connectivity for Presto
Sadayuki Furuhashi
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
Takumi Sakamoto
Weitere ähnliche Inhalte
Was ist angesagt?
Elasticsearch at Makuake
Elasticsearch at Makuake
Yoshiaki Yoshida
Spark MLlib code reading ~optimization~
Spark MLlib code reading ~optimization~
Kai Sasaki
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Firestoreを勉強してみた
Firestoreを勉強してみた
ishikawa akira
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Katsushi Yamashita
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
グラフタイプデータの可視化ツールーTom Sawyer
グラフタイプデータの可視化ツールーTom Sawyer
Changhwan Lee
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
ktaro_w
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
Cassandra - Kylo/Nifi
Cassandra - Kylo/Nifi
Mao Ito
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Shinichi YAMASHITA
Android study part3
Android study part3
shinya sakemoto
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Ryuji Tamagawa
Was ist angesagt?
(16)
Elasticsearch at Makuake
Elasticsearch at Makuake
Spark MLlib code reading ~optimization~
Spark MLlib code reading ~optimization~
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Firestoreを勉強してみた
Firestoreを勉強してみた
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
グラフタイプデータの可視化ツールーTom Sawyer
グラフタイプデータの可視化ツールーTom Sawyer
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
データベースの使い分けを考える
データベースの使い分けを考える
Cassandra - Kylo/Nifi
Cassandra - Kylo/Nifi
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Android study part3
Android study part3
ゾウ使いへの第一歩
ゾウ使いへの第一歩
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Andere mochten auch
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
Kai Sasaki
Treasure Data Overview
Treasure Data Overview
treasuredata
Embuk internals
Embuk internals
Sadayuki Furuhashi
図でわかるHDFS Erasure Coding
図でわかるHDFS Erasure Coding
Kai Sasaki
Prestogres, ODBC & JDBC connectivity for Presto
Prestogres, ODBC & JDBC connectivity for Presto
Sadayuki Furuhashi
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
Takumi Sakamoto
Embulk makes Japan visible
Embulk makes Japan visible
Kai Sasaki
Managing multi tenant resource toward Hive 2.0
Managing multi tenant resource toward Hive 2.0
Kai Sasaki
Fighting Against Chaotically Separated Values with Embulk
Fighting Against Chaotically Separated Values with Embulk
Sadayuki Furuhashi
Embulk - 進化するバルクデータローダ
Embulk - 進化するバルクデータローダ
Sadayuki Furuhashi
Understanding Presto - Presto meetup @ Tokyo #1
Understanding Presto - Presto meetup @ Tokyo #1
Sadayuki Furuhashi
Plugin-based software design with Ruby and RubyGems
Plugin-based software design with Ruby and RubyGems
Sadayuki Furuhashi
How to ensure Presto scalability in multi use case
How to ensure Presto scalability in multi use case
Kai Sasaki
Fluentd at Bay Area Kubernetes Meetup
Fluentd at Bay Area Kubernetes Meetup
Sadayuki Furuhashi
Logging for Production Systems in The Container Era
Logging for Production Systems in The Container Era
Sadayuki Furuhashi
DigdagはなぜYAMLなのか?
DigdagはなぜYAMLなのか?
Sadayuki Furuhashi
Maintainable cloud architecture_of_hadoop
Maintainable cloud architecture_of_hadoop
Kai Sasaki
What's Amazon Athena? - re:Growth 2016 Osaka
What's Amazon Athena? - re:Growth 2016 Osaka
Ganota Ichida
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
Sadayuki Furuhashi
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Sadayuki Furuhashi
Andere mochten auch
(20)
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
HyperLogLogを用いた、異なり数に基づく 省リソースなk-meansの k決定アルゴリズムの提案
Treasure Data Overview
Treasure Data Overview
Embuk internals
Embuk internals
図でわかるHDFS Erasure Coding
図でわかるHDFS Erasure Coding
Prestogres, ODBC & JDBC connectivity for Presto
Prestogres, ODBC & JDBC connectivity for Presto
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
Embulk makes Japan visible
Embulk makes Japan visible
Managing multi tenant resource toward Hive 2.0
Managing multi tenant resource toward Hive 2.0
Fighting Against Chaotically Separated Values with Embulk
Fighting Against Chaotically Separated Values with Embulk
Embulk - 進化するバルクデータローダ
Embulk - 進化するバルクデータローダ
Understanding Presto - Presto meetup @ Tokyo #1
Understanding Presto - Presto meetup @ Tokyo #1
Plugin-based software design with Ruby and RubyGems
Plugin-based software design with Ruby and RubyGems
How to ensure Presto scalability in multi use case
How to ensure Presto scalability in multi use case
Fluentd at Bay Area Kubernetes Meetup
Fluentd at Bay Area Kubernetes Meetup
Logging for Production Systems in The Container Era
Logging for Production Systems in The Container Era
DigdagはなぜYAMLなのか?
DigdagはなぜYAMLなのか?
Maintainable cloud architecture_of_hadoop
Maintainable cloud architecture_of_hadoop
What's Amazon Athena? - re:Growth 2016 Osaka
What's Amazon Athena? - re:Growth 2016 Osaka
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Ähnlich wie Reading drill
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
Cloudera Japan
Drupalを活用した Linked Open Dataの実践的試行環境の構築
Drupalを活用した Linked Open Dataの実践的試行環境の構築
Takanori Hayashi
Databricks の始め方
Databricks の始め方
Ryoma Nagata
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
Cloudera Japan
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
SQLアンチパターン メンター用資料
SQLアンチパターン メンター用資料
Hironori Miura
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Shinichi YAMASHITA
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Kuninobu SaSaki
Spark Summit 2014 の報告と最近の取り組みについて
Spark Summit 2014 の報告と最近の取り組みについて
Recruit Technologies
Hadoop 基礎
Hadoop 基礎
hideaki honda
Big Data も Oracle SQL で参照できるって知ってました?
Big Data も Oracle SQL で参照できるって知ってました?
美佳子 清水
OSSとクラウドによるコンピューティングモデルの変化
OSSとクラウドによるコンピューティングモデルの変化
Nobuyori Takahashi
「お手軽な機械学習サービス」で、ルーティンワークに立ち向かおう!
「お手軽な機械学習サービス」で、ルーティンワークに立ち向かおう!
a know
Drupal勉強会@さっぽろ/おたる ご紹介
Drupal勉強会@さっぽろ/おたる ご紹介
Kenji Shirane
Hiveハンズオン
Hiveハンズオン
Satoshi Noto
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
D8でコンテンツをレイアウトする手法について
D8でコンテンツをレイアウトする手法について
Kenji Shirane
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Ryoma Nagata
Overview of Scala ~ Hacker Tackle
Overview of Scala ~ Hacker Tackle
Daisuke Kasuya
Rから利用するオープンデータAPI
Rから利用するオープンデータAPI
s3works
Ähnlich wie Reading drill
(20)
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
Drupalを活用した Linked Open Dataの実践的試行環境の構築
Drupalを活用した Linked Open Dataの実践的試行環境の構築
Databricks の始め方
Databricks の始め方
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
SQLアンチパターン メンター用資料
SQLアンチパターン メンター用資料
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Cloudera World Tokyo 2014 LTセッション「マイクロソフトとHadoop」
Spark Summit 2014 の報告と最近の取り組みについて
Spark Summit 2014 の報告と最近の取り組みについて
Hadoop 基礎
Hadoop 基礎
Big Data も Oracle SQL で参照できるって知ってました?
Big Data も Oracle SQL で参照できるって知ってました?
OSSとクラウドによるコンピューティングモデルの変化
OSSとクラウドによるコンピューティングモデルの変化
「お手軽な機械学習サービス」で、ルーティンワークに立ち向かおう!
「お手軽な機械学習サービス」で、ルーティンワークに立ち向かおう!
Drupal勉強会@さっぽろ/おたる ご紹介
Drupal勉強会@さっぽろ/おたる ご紹介
Hiveハンズオン
Hiveハンズオン
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
D8でコンテンツをレイアウトする手法について
D8でコンテンツをレイアウトする手法について
20190517 Spark+AI Summit2019最新レポート
20190517 Spark+AI Summit2019最新レポート
Overview of Scala ~ Hacker Tackle
Overview of Scala ~ Hacker Tackle
Rから利用するオープンデータAPI
Rから利用するオープンデータAPI
Mehr von Kai Sasaki
Graviton 2で実現する コスト効率のよいCDP基盤
Graviton 2で実現する コスト効率のよいCDP基盤
Kai Sasaki
Infrastructure for auto scaling distributed system
Infrastructure for auto scaling distributed system
Kai Sasaki
Continuous Optimization for Distributed BigData Analysis
Continuous Optimization for Distributed BigData Analysis
Kai Sasaki
Recent Changes and Challenges for Future Presto
Recent Changes and Challenges for Future Presto
Kai Sasaki
Real World Storage in Treasure Data
Real World Storage in Treasure Data
Kai Sasaki
20180522 infra autoscaling_system
20180522 infra autoscaling_system
Kai Sasaki
User Defined Partitioning on PlazmaDB
User Defined Partitioning on PlazmaDB
Kai Sasaki
Deep dive into deeplearn.js
Deep dive into deeplearn.js
Kai Sasaki
Optimizing Presto Connector on Cloud Storage
Optimizing Presto Connector on Cloud Storage
Kai Sasaki
Presto updates to 0.178
Presto updates to 0.178
Kai Sasaki
How I tried MADE
How I tried MADE
Kai Sasaki
Reading kernel org
Reading kernel org
Kai Sasaki
Kernel ext4
Kernel ext4
Kai Sasaki
Kernel bootstrap
Kernel bootstrap
Kai Sasaki
Kernel resource
Kernel resource
Kai Sasaki
Kernel overview
Kernel overview
Kai Sasaki
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
Pattern match with case class
Pattern match with case class
Kai Sasaki
Drawing word2vec
Drawing word2vec
Kai Sasaki
Deeplearning with node
Deeplearning with node
Kai Sasaki
Mehr von Kai Sasaki
(20)
Graviton 2で実現する コスト効率のよいCDP基盤
Graviton 2で実現する コスト効率のよいCDP基盤
Infrastructure for auto scaling distributed system
Infrastructure for auto scaling distributed system
Continuous Optimization for Distributed BigData Analysis
Continuous Optimization for Distributed BigData Analysis
Recent Changes and Challenges for Future Presto
Recent Changes and Challenges for Future Presto
Real World Storage in Treasure Data
Real World Storage in Treasure Data
20180522 infra autoscaling_system
20180522 infra autoscaling_system
User Defined Partitioning on PlazmaDB
User Defined Partitioning on PlazmaDB
Deep dive into deeplearn.js
Deep dive into deeplearn.js
Optimizing Presto Connector on Cloud Storage
Optimizing Presto Connector on Cloud Storage
Presto updates to 0.178
Presto updates to 0.178
How I tried MADE
How I tried MADE
Reading kernel org
Reading kernel org
Kernel ext4
Kernel ext4
Kernel bootstrap
Kernel bootstrap
Kernel resource
Kernel resource
Kernel overview
Kernel overview
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Pattern match with case class
Pattern match with case class
Drawing word2vec
Drawing word2vec
Deeplearning with node
Deeplearning with node
Reading drill
1.
Drillを読んでみよう Kai Sasaki(@Lewuathe)
2.
自己紹介 • 佐々木 海(@Lewuathe) •
Hadoop, Stormなどの開発、運用 • Spark MLLibの開発も手伝ってます • Big DataとDeep Learningをつなげるのが夢
3.
Apache Drill • MapRが中心となって開発している分散SQLエンジン •
GoogleのDremel論文がもとになっている • 同種のソフトウェアとしては以下が有名 • Impala (http://impala.io/) • Phoenix (http://phoenix.apache.org/) • Presto (https://prestodb.io/)
4.
今日のお話 • Drillの元論文を読んでみよう • Drillのドキュメントを読んでみよう •
Drillのソースコードを読んでみよう • まとめ
5.
Dremel • Googleの社内で利用されているアドホッククエリ のためのリアルタイム分析プラットフォーム • BigQueryのバックエンド •
論文は公開されている • “Dremel: Interactive Analysis of Web-Scale Datasets"
6.
Dremelの貢献 • ネストされたデータに対するColumnar Storage
Format • 木構造のNode群によるクエリ実行とAggregation • 数千規模のノードでのスケール
7.
Columnar Storage Format http://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/36632.pdf
8.
Columnar Storage Format http://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/36632.pdf
9.
Columnar Storage Format http://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/36632.pdf instantiate
10.
Columnar Storage Format http://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/36632.pdf CSF r:
Repetition Level d: Definition LebelsDefinition Level
11.
Columnar Storage Format http://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/36632.pdf CSF r:
Repetition Level d: Definition Lebels Loss Less Definition Level
12.
ドキュメントを読んでみよう Agility 構築利用が容易。ITチームの力を必要としない Flexibility 半構造化データ、ネストされたデータに対応 Familiarity ANSI SQLのスキルセットが使える。JDBC/ODBC経由での既 存のBIツールも利用可能。
13.
Agility Embedded Mode serviceがコマンドライン動作時に起動。試しに簡単に使うこ とができる。 Distributed Mode Productionでの動作モード。クラスタ上にDrillbitサービスを起 動する。ZooKeeperサーバも必要。
14.
Agility Distributed Mode用のCookbookを用意 https://supermarket.chef.io/cookbooks/drill
15.
Flexibility • Data Sourceへの接続はPluginから提供される
16.
Flexibility • Data Sourceへの接続はPluginから提供される
17.
Familiarity ! 異なるJSONファイルに対してのjoin操作
18.
ソースを読んでみよう • SQLLine RDBMSと接続するためのコンソールユーティリティ • Optiq JDBCサーバ、SQLパーサなどを含むフレームワーク" •
Drillbit 各サーバに配置されるDrillクラスタを構成するノードサービス クエリプランの構築、実行などを担う
19.
SQLLine 1. クエリを発行 Optiq DrillClient Drillbit Drillbit
Drillbit Drillbit Drillbit
20.
SQLLine 1. クエリを発行 Optiq DrillClient Drillbit Drillbit
Drillbit Drillbit Drillbit 2. JDBC接続でパース
21.
SQLLine 1. クエリを発行 Optiq DrillClient Drillbit Drillbit
Drillbit Drillbit Drillbit 2. JDBC接続でパース 3. Logical Planを渡す
22.
SQLLine 1. クエリを発行 Optiq DrillClient Drillbit Drillbit
Drillbit Drillbit Drillbit 2. JDBC接続でパース 3. Logical Planを渡す 4. ProtocolBufferでPlanを送信
23.
SQLLine 1. クエリを発行 Optiq DrillClient Drillbit Drillbit
Drillbit Drillbit Drillbit Foreman 2. JDBC接続でパース 3. Logical Planを渡す 4. ProtocolBufferでPlanを送信 5. クエリ実行を管理するForemanが起動
24.
SQLLine 1. クエリを発行 Optiq DrillClient Drillbit Drillbit
Drillbit Drillbit Drillbit Foreman 2. JDBC接続でパース 3. Logical Planを渡す 4. ProtocolBufferでPlanを送信 5. クエリ実行を管理するForemanが起動 6. Planのfragmentをばらまく
25.
特徴 • JDBC, ODBCが使えるどんなツールからもSQL を発行できる •
クエリの受付に関してSPOFがない • Fragmentを分散できればできるほどスループット があがる
26.
Contributionのアイデア SQL Functions Add, AVG,
ConvertなどのSQL上で利用できる関数群 exec/java-exec/src/main/java/org/apache/drill/exec/expr/fn/impl New File Format XML, Apache Avro, Thrift" New Data Source Apache Solr, Elastic Search, MySQL, HTTP URL New Query Language Pig Latin, HiveQL
27.
まとめ • DrillはSelf-Drivenな分散SQLエンジン • データソースとしての選択が柔軟に行える •
一般的なSQLのスキルセットが使える • 各コンポーネントが疎結合なため拡張性が高い
28.
ありがとうございました
Jetzt herunterladen