Suche senden
Hochladen
elasticsearch-hadoopをつかってごにょごにょしてみる
•
9 gefällt mir
•
15,161 views
Katsushi Yamashita
Folgen
Technologie
Bildung
Melden
Teilen
Melden
Teilen
1 von 21
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
Yuki Morishita
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
Hibino Hisashi
Log management with ELK
Log management with ELK
Geert Pante
第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
Amazon Web Services Japan
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
NTT DATA Technology & Innovation
FIWARE Big Data Ecosystem : Cygnus and STH Comet
FIWARE Big Data Ecosystem : Cygnus and STH Comet
fisuda
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
週末趣味のAWS VPC Traffic Mirroring
週末趣味のAWS VPC Traffic Mirroring
Namba Kazuo
Empfohlen
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
サンプルアプリケーションで学ぶApache Cassandraを使ったJavaアプリケーションの作り方
Yuki Morishita
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
Hibino Hisashi
Log management with ELK
Log management with ELK
Geert Pante
第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
Amazon Web Services Japan
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
NTT DATA Technology & Innovation
FIWARE Big Data Ecosystem : Cygnus and STH Comet
FIWARE Big Data Ecosystem : Cygnus and STH Comet
fisuda
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
週末趣味のAWS VPC Traffic Mirroring
週末趣味のAWS VPC Traffic Mirroring
Namba Kazuo
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
情報アクセス技術のためのテストコレクション作成
情報アクセス技術のためのテストコレクション作成
kt.mako
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Preferred Networks
WiredTigerを詳しく説明
WiredTigerを詳しく説明
Tetsutaro Watanabe
Datastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
Yuki Morishita
LIFULL HOME'SでのSolrの構成と運用の変遷
LIFULL HOME'SでのSolrの構成と運用の変遷
LIFULL Co., Ltd.
AWS で Presto を徹底的に使いこなすワザ
AWS で Presto を徹底的に使いこなすワザ
Noritaka Sekiyama
(SDD415) NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine |...
(SDD415) NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine |...
Amazon Web Services
コンテナ時代のOpenStack
コンテナ時代のOpenStack
Akira Yoshiyama
今さらだけどMySQLとライセンス
今さらだけどMySQLとライセンス
Hidenori Ishii
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Hibino Hisashi
NGSIv1 を知っている開発者向けの NGSIv2 の概要 (Orion 2.3.0対応)
NGSIv1 を知っている開発者向けの NGSIv2 の概要 (Orion 2.3.0対応)
fisuda
DynamoDBによるソーシャルゲーム実装 How To
DynamoDBによるソーシャルゲーム実装 How To
伊藤 祐策
SQL勉強会 初級編
SQL勉強会 初級編
Kazuma Hidaka
Azure Web PubSub Serviceを触ってみた
Azure Web PubSub Serviceを触ってみた
DevTakas
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Holden Karau
Clean architectures with fast api pycones
Clean architectures with fast api pycones
Alvaro Del Castillo
Istioサービスメッシュ入門
Istioサービスメッシュ入門
Yoichi Kawasaki
ロードバランスへの長い道
ロードバランスへの長い道
Jun Kato
黄色い象と共に生きる
黄色い象と共に生きる
Kazuhiro Ota
1,000,000 foot view of Hadoop-like parallel data processing systems
1,000,000 foot view of Hadoop-like parallel data processing systems
Hiroyuki Yamada
Weitere ähnliche Inhalte
Was ist angesagt?
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
情報アクセス技術のためのテストコレクション作成
情報アクセス技術のためのテストコレクション作成
kt.mako
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Preferred Networks
WiredTigerを詳しく説明
WiredTigerを詳しく説明
Tetsutaro Watanabe
Datastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
Yuki Morishita
LIFULL HOME'SでのSolrの構成と運用の変遷
LIFULL HOME'SでのSolrの構成と運用の変遷
LIFULL Co., Ltd.
AWS で Presto を徹底的に使いこなすワザ
AWS で Presto を徹底的に使いこなすワザ
Noritaka Sekiyama
(SDD415) NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine |...
(SDD415) NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine |...
Amazon Web Services
コンテナ時代のOpenStack
コンテナ時代のOpenStack
Akira Yoshiyama
今さらだけどMySQLとライセンス
今さらだけどMySQLとライセンス
Hidenori Ishii
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Hibino Hisashi
NGSIv1 を知っている開発者向けの NGSIv2 の概要 (Orion 2.3.0対応)
NGSIv1 を知っている開発者向けの NGSIv2 の概要 (Orion 2.3.0対応)
fisuda
DynamoDBによるソーシャルゲーム実装 How To
DynamoDBによるソーシャルゲーム実装 How To
伊藤 祐策
SQL勉強会 初級編
SQL勉強会 初級編
Kazuma Hidaka
Azure Web PubSub Serviceを触ってみた
Azure Web PubSub Serviceを触ってみた
DevTakas
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Holden Karau
Clean architectures with fast api pycones
Clean architectures with fast api pycones
Alvaro Del Castillo
Istioサービスメッシュ入門
Istioサービスメッシュ入門
Yoichi Kawasaki
ロードバランスへの長い道
ロードバランスへの長い道
Jun Kato
Was ist angesagt?
(20)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
情報アクセス技術のためのテストコレクション作成
情報アクセス技術のためのテストコレクション作成
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
WiredTigerを詳しく説明
WiredTigerを詳しく説明
Datastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
LIFULL HOME'SでのSolrの構成と運用の変遷
LIFULL HOME'SでのSolrの構成と運用の変遷
AWS で Presto を徹底的に使いこなすワザ
AWS で Presto を徹底的に使いこなすワザ
(SDD415) NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine |...
(SDD415) NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine |...
コンテナ時代のOpenStack
コンテナ時代のOpenStack
今さらだけどMySQLとライセンス
今さらだけどMySQLとライセンス
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
NGSIv1 を知っている開発者向けの NGSIv2 の概要 (Orion 2.3.0対応)
NGSIv1 を知っている開発者向けの NGSIv2 の概要 (Orion 2.3.0対応)
DynamoDBによるソーシャルゲーム実装 How To
DynamoDBによるソーシャルゲーム実装 How To
SQL勉強会 初級編
SQL勉強会 初級編
Azure Web PubSub Serviceを触ってみた
Azure Web PubSub Serviceを触ってみた
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Clean architectures with fast api pycones
Clean architectures with fast api pycones
Istioサービスメッシュ入門
Istioサービスメッシュ入門
ロードバランスへの長い道
ロードバランスへの長い道
Ähnlich wie elasticsearch-hadoopをつかってごにょごにょしてみる
黄色い象と共に生きる
黄色い象と共に生きる
Kazuhiro Ota
1,000,000 foot view of Hadoop-like parallel data processing systems
1,000,000 foot view of Hadoop-like parallel data processing systems
Hiroyuki Yamada
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
Ojag naha vol13
Ojag naha vol13
Seiei Higa
Ojag naha vol13
Ojag naha vol13
hanachin
趣味でのCosmos DBとの付き合い方
趣味でのCosmos DBとの付き合い方
Koichi Ota
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
Takashi Aoe
Hiveハンズオン
Hiveハンズオン
Satoshi Noto
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
グラフデータベース入門
グラフデータベース入門
Masaya Dake
Hadoop事始め
Hadoop事始め
You&I
VPSやめてHerokuに移行したお話
VPSやめてHerokuに移行したお話
Hiroyuki Hayashi
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
Reading drill
Reading drill
Kai Sasaki
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
Shinsuke Sugaya
HBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
HBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
Michio Katano
Ähnlich wie elasticsearch-hadoopをつかってごにょごにょしてみる
(20)
黄色い象と共に生きる
黄色い象と共に生きる
1,000,000 foot view of Hadoop-like parallel data processing systems
1,000,000 foot view of Hadoop-like parallel data processing systems
Hadoopことはじめ
Hadoopことはじめ
Ojag naha vol13
Ojag naha vol13
Ojag naha vol13
Ojag naha vol13
趣味でのCosmos DBとの付き合い方
趣味でのCosmos DBとの付き合い方
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
Hiveハンズオン
Hiveハンズオン
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
ゾウ使いへの第一歩
ゾウ使いへの第一歩
グラフデータベース入門
グラフデータベース入門
Hadoop事始め
Hadoop事始め
VPSやめてHerokuに移行したお話
VPSやめてHerokuに移行したお話
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Reading drill
Reading drill
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
HBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
HBase×Impalaで作るアドテク「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
Mehr von Katsushi Yamashita
CROSS 2015 全文検索群雄割拠
CROSS 2015 全文検索群雄割拠
Katsushi Yamashita
「データ解析のための統計モデリング入門」読書会 最終回 クロージング
「データ解析のための統計モデリング入門」読書会 最終回 クロージング
Katsushi Yamashita
#みどりぼん 11章「空間構造のある階層ベイズモデル」後半
#みどりぼん 11章「空間構造のある階層ベイズモデル」後半
Katsushi Yamashita
第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング
Katsushi Yamashita
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Katsushi Yamashita
はじパタ 10章 クラスタリング 前半
はじパタ 10章 クラスタリング 前半
Katsushi Yamashita
Mehr von Katsushi Yamashita
(6)
CROSS 2015 全文検索群雄割拠
CROSS 2015 全文検索群雄割拠
「データ解析のための統計モデリング入門」読書会 最終回 クロージング
「データ解析のための統計モデリング入門」読書会 最終回 クロージング
#みどりぼん 11章「空間構造のある階層ベイズモデル」後半
#みどりぼん 11章「空間構造のある階層ベイズモデル」後半
第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
はじパタ 10章 クラスタリング 前半
はじパタ 10章 クラスタリング 前半
Kürzlich hochgeladen
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Kürzlich hochgeladen
(10)
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
elasticsearch-hadoopをつかってごにょごにょしてみる
1.
elasticsearch-‐hadoopを 使ってごにょごにょ してみる @yamakatu 第4回
Elas-csearch勉強会 2014/4/21
2.
おまえだれよ • @yamakatu
• 仕事:検索方面 • 自称フルスタックイクメンエンジニア • 開発、インフラ、機械学習、統計、検索、育児 • gihyo.jp連載「Mahoutで体感する機械学習の実践」 • 合い言葉は「読まずに、はてブだけして」
3.
シナリオ:ある日の偉い人 うちのECサイトの検索どうに かして。 あ、ついでになんかすごそう だから、ビッグデータ的な分 析とかしたい。てへぺろ
4.
どうしよう • 検索:Elas-csearch
• 集計、分析:Kibanaは可視化できるけど、たいした集計 はできないから、、、Hiveあたり行っとく? • 懸念 • Elas-csearchもHadoopも別にサーバを用意しなければならな い
5.
インフラエンジニア(白目
6.
予算は?
7.
じゃあ、どうする?アイフルー • Elas-csearchとHadoopそれぞれにデータ置く必要ないん じゃね?
• できるのか、、、俺たちにそんなことが、、、 • そう、elas-csearch-‐hadoopならね!!!
8.
What’s elasticsearch-‐hadoop •
HadoopからElas-csearchをストレージとして利用する • 何ができるの? 1. MapReduce ➡ Elas-csearch にread/write 2. Hive ➡ Elas-csearch にread/write 3. Pig ➡ Elas-csearch にread/write • 何が幸せ?たとえば、 • SQLが書ける程度の非エンジニアでもHiveでElas-csearchの データでごにょごにょできる • Elas-csearchの検索結果をMapReduceでごにょごにょしやす い • 既存資産(ex. MapReduceで実装したライブラリ)の流用 • とかとか
9.
でも使うの大変なんでしょ う?
10.
MapReduceでread(旧API ver.) •
Elas-csearchの接続先やクエリをconfに設定 • レスオンスのドキュメント1件で1Mapタスク(変えれ る?) • 追記 • 正しくは、Mapタスク数イコールPrimary Shardの数です。 • サンプル JobConf conf = new JobConf(Main.class); conf.set(“es.nodes”, “localhost:9200”); //host:port conf.set(“es.resource”, “flight/2007”); //index/type conf.set("es.query", "?q=*"); //query conf.setInputFormat(EsInputFormat.class); //input元としてES
11.
MapReduceでwrite(旧API ver.) •
MapReduceの出力をJsonで用意すれば、Elas-csearchに対 するjsonに ・サンプル JobConf conf = new JobConf(Main.class); conf.setSpecula-veExecu-on(false); conf.set(“es.nodes”, “localhost:9200”); //host:port conf.set("es.resource", "test/user"); //index/type conf.setOutputFormat(EsOutputFormat.class); //output先にES を指定 conf.set("es.input.json", "yes");
12.
Hive(read) • テーブル作成
CREATE EXTERNAL TABLE flight ( month int, uniquecarrier string, … ) STORED BY 'org.elas-csearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES( 'es.resource' = 'flight/2007', 'es.host' = ’localhost', 'es.port' = '9200' ); • 後はSelectするだけ
13.
Hive(write) • テーブル作成
• (ry • insertするだけ
14.
Pig
15.
でも、おそいんでしょう?
16.
評価 • データ
• DATA Expo ’09から2007年のアメリカの航空客データ • 約750万件 • Hive • 飛行距離の平均値と標準偏差を求めてみる
17.
評価 • 比較対象
1. 普通にHadoopを利用 • tasktracker(datanode同居) x3 2. Hadoop と Elas-csearch を別ノードで構築 • tasktracker x3, Elas-csearch x3 • シャード6つ、レプリカ2つずつ 3. Hadoop と Elas-csearch を同一ノードで構築 • (tasktracker + Elas-csearch) x3 • シャード6つ、レプリカ2つずつ • スペック • すべてEC2 m3.xlarge • 4vCPU, 13ECU, RAM 15GB • Elas-csearch • op-mize済み • ウォームアップ済み
18.
結果 1. 普通にHadoopを利用
• tasktracker(datanode同居) x3 • 約60ms 2. HadoopとElas-csearch を別ノードで構築 • tasktracker x3, Elas-csearch x3 • 約600ms 3. HadoopとElas-csearch を同一ノードで構築 • (tasktracker + Elas-csearch) x3 • 約520ms • 遅い、、、なんか見落としがあるのかもしれん(キリ
19.
まとめ • elas-csearch-‐hadoopを使うとHadoopのストレージとして Elas-csearchが使える
• 便利 • 簡単に使える • だたし速くはない • ただし本当は、やれば出来る子なのかもしれない
20.
ご静聴ありがとうございまし た
21.
追記 • 評価で利用したHiveクエリ
• select avg(distance), stddev(distance) from flight • 評価は各3回計測。ほぼ同じ。 • elas-csearch-‐hadoopを利用するために、elas-csearch-‐ hadoop.jarをパスに通す必要があります • MapReduce • hqp://www.elas-csearch.org/guide/en/elas-csearch/hadoop/ current/mapreduce.html#_installa-on • Hive • hqp://www.elas-csearch.org/guide/en/elas-csearch/hadoop/ current/hive.html#_installa-on_3
Jetzt herunterladen