Suche senden
Hochladen
Apache drillを業務利用してみる(までの道のり)
•
6 gefällt mir
•
2,688 views
Keigo Suda
Folgen
第2回Tokyo Apache Drill Meetup LT
Weniger lesen
Mehr lesen
Ingenieurwesen
Melden
Teilen
Melden
Teilen
1 von 31
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
基幹業務もHadoop(EMR)で!!のその後
基幹業務もHadoop(EMR)で!!のその後
Keigo Suda
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
Keigo Suda
Sparkを用いたビッグデータ解析 〜 前編 〜
Sparkを用いたビッグデータ解析 〜 前編 〜
x1 ichi
Jjug ccc
Jjug ccc
Tanaka Yuichi
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
Yahoo! JAPANでのHadoop利用について
Yahoo! JAPANでのHadoop利用について
Yahoo!デベロッパーネットワーク
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
Empfohlen
基幹業務もHadoop(EMR)で!!のその後
基幹業務もHadoop(EMR)で!!のその後
Keigo Suda
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
基幹業務もHadoopで!! -ローソンにおける店舗発注業務へのHadoop + Hive導入と その取り組みについて-
Keigo Suda
Sparkを用いたビッグデータ解析 〜 前編 〜
Sparkを用いたビッグデータ解析 〜 前編 〜
x1 ichi
Jjug ccc
Jjug ccc
Tanaka Yuichi
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
Yahoo! JAPANでのHadoop利用について
Yahoo! JAPANでのHadoop利用について
Yahoo!デベロッパーネットワーク
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
Spark勉強会_ibm_20151014-公開版
Spark勉強会_ibm_20151014-公開版
Atsushi Tsuchiya
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
cyberagent
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
The Japan DataScientist Society
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Tanaka Yuichi
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Katsunori Kanda
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
Tanaka Yuichi
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
はやわかりHadoop
はやわかりHadoop
Shinpei Ohtani
Quick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + α
Takeshi Yamamuro
Big Data University Tokyo Meetup #6 (mlwith_spark) 配布資料
Big Data University Tokyo Meetup #6 (mlwith_spark) 配布資料
Atsushi Tsuchiya
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Kazutaka Tomita
Watson summit 2016_j2_5
Watson summit 2016_j2_5
Tanaka Yuichi
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
Tanaka Yuichi
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
s. kaijima
ゼロから始めるSparkSQL徹底活用!
ゼロから始めるSparkSQL徹底活用!
Nagato Kasaki
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Yukio Yoshida
スマートファクトリーを支えるIoTインフラをつくった話
スマートファクトリーを支えるIoTインフラをつくった話
Keigo Suda
Presto - Hadoop Conference Japan 2014
Presto - Hadoop Conference Japan 2014
Sadayuki Furuhashi
Weitere ähnliche Inhalte
Was ist angesagt?
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
Spark勉強会_ibm_20151014-公開版
Spark勉強会_ibm_20151014-公開版
Atsushi Tsuchiya
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
cyberagent
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
The Japan DataScientist Society
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Tanaka Yuichi
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Katsunori Kanda
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
Tanaka Yuichi
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
はやわかりHadoop
はやわかりHadoop
Shinpei Ohtani
Quick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + α
Takeshi Yamamuro
Big Data University Tokyo Meetup #6 (mlwith_spark) 配布資料
Big Data University Tokyo Meetup #6 (mlwith_spark) 配布資料
Atsushi Tsuchiya
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Kazutaka Tomita
Watson summit 2016_j2_5
Watson summit 2016_j2_5
Tanaka Yuichi
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
Tanaka Yuichi
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
s. kaijima
ゼロから始めるSparkSQL徹底活用!
ゼロから始めるSparkSQL徹底活用!
Nagato Kasaki
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Yukio Yoshida
Was ist angesagt?
(20)
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
Spark勉強会_ibm_20151014-公開版
Spark勉強会_ibm_20151014-公開版
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
データ分析に必要なスキルをつけるためのツール~Jupyter notebook、r連携、機械学習からsparkまで~
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
はやわかりHadoop
はやわかりHadoop
Quick Overview of Upcoming Spark 3.0 + α
Quick Overview of Upcoming Spark 3.0 + α
Big Data University Tokyo Meetup #6 (mlwith_spark) 配布資料
Big Data University Tokyo Meetup #6 (mlwith_spark) 配布資料
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Watson summit 2016_j2_5
Watson summit 2016_j2_5
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
dots. 7/7 DSWBハンズオン資料
dots. 7/7 DSWBハンズオン資料
ゼロから始めるSparkSQL徹底活用!
ゼロから始めるSparkSQL徹底活用!
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Andere mochten auch
スマートファクトリーを支えるIoTインフラをつくった話
スマートファクトリーを支えるIoTインフラをつくった話
Keigo Suda
Presto - Hadoop Conference Japan 2014
Presto - Hadoop Conference Japan 2014
Sadayuki Furuhashi
Hadoopを業務で使ってみた
Hadoopを業務で使ってみた
Tatsuya Sasaki
Lt 私の○○遍歴教えるね これまで愛したキーボードたち
Lt 私の○○遍歴教えるね これまで愛したキーボードたち
Keigo Suda
Maintainable cloud architecture_of_hadoop
Maintainable cloud architecture_of_hadoop
Kai Sasaki
MongoDBの監視
MongoDBの監視
Tetsutaro Watanabe
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
HBase と Drill - 緩い型付けの SQL がいかに NoSQL に適しているか
HBase と Drill - 緩い型付けの SQL がいかに NoSQL に適しているか
MapR Technologies Japan
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
MapR Technologies Japan
Apache Drill を利用した実データの分析
Apache Drill を利用した実データの分析
MapR Technologies Japan
マルチテナント化に向けたHadoopの最新セキュリティ事情 #hcj2014
マルチテナント化に向けたHadoopの最新セキュリティ事情 #hcj2014
Cloudera Japan
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
MapR Technologies Japan
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan
Presto in Treasure Data
Presto in Treasure Data
Mitsunori Komatsu
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
Yu Ishikawa
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Web Services Japan
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11
MapR Technologies Japan
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Makoto SHIMURA
Andere mochten auch
(20)
スマートファクトリーを支えるIoTインフラをつくった話
スマートファクトリーを支えるIoTインフラをつくった話
Presto - Hadoop Conference Japan 2014
Presto - Hadoop Conference Japan 2014
Hadoopを業務で使ってみた
Hadoopを業務で使ってみた
Lt 私の○○遍歴教えるね これまで愛したキーボードたち
Lt 私の○○遍歴教えるね これまで愛したキーボードたち
Maintainable cloud architecture_of_hadoop
Maintainable cloud architecture_of_hadoop
MongoDBの監視
MongoDBの監視
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
HBase と Drill - 緩い型付けの SQL がいかに NoSQL に適しているか
HBase と Drill - 緩い型付けの SQL がいかに NoSQL に適しているか
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill を利用した実データの分析
Apache Drill を利用した実データの分析
マルチテナント化に向けたHadoopの最新セキュリティ事情 #hcj2014
マルチテナント化に向けたHadoopの最新セキュリティ事情 #hcj2014
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
Apache Drill でたしなむ セルフサービスデータ探索 - 2014/11/06 Cloudera World Tokyo 2014 LTセッション
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Presto in Treasure Data
Presto in Treasure Data
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Ähnlich wie Apache drillを業務利用してみる(までの道のり)
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
Takashi Aoe
Hue Notebook
Hue Notebook
Tatsuo Kawasaki
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
Hadoop / Spark Conference Japan
Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase 2016 Oracle セッション資料)
Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase 2016 Oracle セッション資料)
オラクルエンジニア通信
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Shinichi YAMASHITA
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
Hadoopの標準GUI HUEの最新情報
Hadoopの標準GUI HUEの最新情報
Cloudera Japan
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
DataWorks Summit/Hadoop Summit
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
Kimihiko Kitase
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
Yahoo!デベロッパーネットワーク
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Hidekazu Ikeda
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
NTT DATA OSS Professional Services
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
yuji suzuki
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
Recruit Technologies
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップ
Koichiro Sumi
Ähnlich wie Apache drillを業務利用してみる(までの道のり)
(20)
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
Hue Notebook
Hue Notebook
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase 2016 Oracle セッション資料)
Oracle Cloudで始める、DBエンジニアのためのHadoop超入門(db tech showcase 2016 Oracle セッション資料)
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Hadoopの標準GUI HUEの最新情報
Hadoopの標準GUI HUEの最新情報
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Hadoopことはじめ
Hadoopことはじめ
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップ
Apache drillを業務利用してみる(までの道のり)
1.
Apache Drillを 業務利用してみる (までの道のり) 2015/11/12 Tokyo Apache
Drill Meetup Future Architect,Inc. Keigo Suda
2.
今回のLTで伝えたいこと 『SQL on Hadoop』って聞いたことあるなー 導入を検討しているが実際どんなものなのか知りたい方 こんな方向け プロダクト選定を通じて思ったところ 導入にあたってSQL
on Hadoopを触ってみてどうだったか
3.
自己紹介 須田桂伍(スダケイゴ) 株式会社フューチャーアーキテクト
インフラよりのDev 基幹業務領域でのHadoop利用(最近はもっぱらEMR+Hive) 最近はQiita記事に技術ネタ投稿してます (でもHadoopネタないボソッ)
4.
お話すること SQL on Hadoopの基礎(かるーく) 選定にあたってのポイント 今後のアクション 導入の経緯
5.
SQL on Hadoopの基礎
6.
ググってみると最近だとこんなにいっぱい!!
7.
そして何かとHiveが犠牲にされている もうやめて!Hiveのライフはゼロよ!
8.
データソース SQL on Hadoop SQL 各種フォーマットのファイル 最近のSQL
on Hadoopの進化がすごい あらゆるデータストアにSQLでアクセスできる!
9.
導入の経緯
10.
導入の背景 業務DB (RDBMS) アーカイブDB (RDBMS) 過去データ 最新データ 過去データ 過去データ 業務DB (RDBMS) Hadoopクラスタ 過去データ 最新データ 過去データ 過去データ 過去データ 過去データ 過去データ 過去データ データレイクとしてデータの一元管理 + 過去データの抽出が必要 抽出業務 抽出業務 アドホッククエリ
アドホッククエリ HDFS リプレース これまで これから
11.
それ、SQL on Hadoopで!!
12.
本当に大丈夫なの?
13.
選定にあたってポイント
14.
操作性 今回の選定にあたって特に重視したポイント 業務移行の容易さ 既存プログラムの改修コストをおさえたい特殊な文法はあんまり書きたくない システム運用性 SQL on Hadoopレイヤはシンプルにしたい
15.
操作性 業務移行の容易さ 特殊な文法はあんまり書きたくない システム運用性 SQL on
Hadoopレイヤはシンプルにしたい 既存プログラムの改修コストをおさえたい 今回の選定にあたって特に重視したポイント
16.
ANSI準拠SQLが利用可能・・・だと!? 多くのSQL on Hadoopの謳い文句
17.
で、実際どれぐらいANSI準拠なの?
18.
やってみた
19.
候補は君だ!!(なかなかマイナーな選択?) そもそもHiveQLだし 今回は対象外・・・ 当時はまだちょっと不安が あったので机上でパス
20.
簡単にHAWQの説明 最近OSS化されました! PostgreSQLと同じ文法が利用可能
操作性はほぼRDB!ってかポスグレ! (実は結構なダークホースなのでは・・・)
21.
実施してみた結果 利用可否の検証項目 Drill (検証当時は1.0) HAWQ (検証い当時は1.3) SELECT文によるデータ抽出 • CSVファイル上の空文字「″″」は空文字として扱われるみたい
PostgreSQLと 基本同じSELECT分での関数利用 • TO_CHARで日付型を変換する場合、日付の部分を「DD」ではなく小文字 で「dd」にする必要があった ORDER BY によるデータソート • SELECT * で検索した場合、ORDER BYは1しか指定できない UNION(ALL)によるクエリの結合 • UNIONはサポートしていないので、UNION ALLとDISTINCTを使用して対 応する →バージョン1.1でUNIONに対応! CTASによるテーブル作成 • DROP TABLEがサポートされていないため作成したテーブルを削除するには HDFS上のファイルを直接削除する。 →バージョン1.2でDROP TABLEに対応! 等価結合を使用した検索 • できる 外部結合を使用した検索 • できる 集合関数 • できる 重複削除(DISTINCT)の利用 • できる GROUP BY、HAVINGを利用した検索 • GROUP BY句でCASE文を使用した場合、NULLを返すとエラーになるため、 CASE文で空文字を返すように変更する(GROUP BY CASE WHEN TOUROKUDATE IS NULL THEN ’’) WINDOW関数の利用 • 現在のバージョンでサポートされていないが、バージョン1.1で下記が対応となる 予定。(DRILL-3200) →1.1で対応! 1.2でさらに追加! その他 • 日本語を扱う際はDrillのデフォルトキャラクタセットをUTF-16LEに設定
22.
実際触ってみて分かった特徴 ってかもうポスグレ! バージョン1.2で一人前になった感じ 標準SQLでの記述はほぼカバーできている(と思う)
23.
操作性 業務移行の容易さ 既存プログラムを極力改修しない特殊な文法はあんまり書きたくない システム運用性 SQL on
Hadoopレイヤはシンプルにしたい 今回の選定にあたって特に重視したポイント
24.
アプリレイヤーからみたスキーマレス スキーマレス=柔軟な検索が可能
25.
下回り視点で考えてみると・・・ スレーブ スレーブ スレーブ DB スタンバイ用のプロセスのことも考えないとな… 構成要素(プロセス)もシンプルになりそう! ただでさえHadoopって構成する台数もプロセス数も多いから… スレーブ
スレーブ スレーブ 実行プロセス 実行プロセス 実行プロセス実行プロセス 実行プロセス 実行プロセス マスタ マスタプロセス メタデータ マスタレス!! CTASやVIEWで スキーマの固定も可能!!
26.
選定の結果 今回はApache Drillを選択!! 標準SQLが結構ちゃんと使える(ようになった) マスタレスだから比較的障害ポイントが少ない 完全OSS(当時はHAWQが商用だった) 将来性!!!!!!!!! CTAS,VIEWで固定スキーマとしても操作できる柔軟性
27.
でもちょっと不満も・・・ YARNによるリソース管理が部分的・・・ YARN HWリソース CPU CPU CPU
CPU CPU CPU クエリによってはクラスタのCPUリソースを 大量消費してしまうかも・・・ →ユーザ側の意図せぬクエリがクラスタ リソースを食いつぶしてしまうおそれ YARN管理対象 のアプリケーション もっとCPUリソース使いたい・・・
28.
意外と大きな差がつくと思ったポイント いろいろ情報を見てるとオンメモリで処理しきれなかった際の挙動が極端 DrillとHAWQはその点安定して処理できていた印象(途中に落ちない) ディスク メモリ SQL 大きなデータの結合処理も両者とも安定してこなせていた
29.
今後のアクション
30.
今後の検討課題 いざエンドユーザが使ってみてどうか… パフォチュー・・・
認証認可どうしようか・・・(GRANT分などのオブジェクト単位での制御ができない) 俺たちの戦いはこれからだ!! また機会があれば「実践編」をお話しできたらと思います!
31.
ありがとうございました!!
Jetzt herunterladen