Suche senden
Hochladen
自宅でHive愛を育む方法 〜Raspberry Pi編〜
•
4 gefällt mir
•
5,208 views
Yukinori Suda
Folgen
Technologie
Melden
Teilen
Melden
Teilen
1 von 18
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
⾃宅で Hive 愛を育むための⼿順(Raspberry Pi 編)
⾃宅で Hive 愛を育むための⼿順(Raspberry Pi 編)
Yukinori Suda
Hadoop operation chaper 4
Hadoop operation chaper 4
Yukinori Suda
Hadoopの標準GUI HUEの最新情報
Hadoopの標準GUI HUEの最新情報
Cloudera Japan
HiveとImpalaのおいしいとこ取り
HiveとImpalaのおいしいとこ取り
Yukinori Suda
Hadoopエコシステムを駆使したこれからのWebアクセス解析サービス
Hadoopエコシステムを駆使したこれからのWebアクセス解析サービス
Yukinori Suda
Cloudera Impalaをサービスに組み込むときに苦労した話
Cloudera Impalaをサービスに組み込むときに苦労した話
Yukinori Suda
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
Empfohlen
⾃宅で Hive 愛を育むための⼿順(Raspberry Pi 編)
⾃宅で Hive 愛を育むための⼿順(Raspberry Pi 編)
Yukinori Suda
Hadoop operation chaper 4
Hadoop operation chaper 4
Yukinori Suda
Hadoopの標準GUI HUEの最新情報
Hadoopの標準GUI HUEの最新情報
Cloudera Japan
HiveとImpalaのおいしいとこ取り
HiveとImpalaのおいしいとこ取り
Yukinori Suda
Hadoopエコシステムを駆使したこれからのWebアクセス解析サービス
Hadoopエコシステムを駆使したこれからのWebアクセス解析サービス
Yukinori Suda
Cloudera Impalaをサービスに組み込むときに苦労した話
Cloudera Impalaをサービスに組み込むときに苦労した話
Yukinori Suda
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
AmazonElasticBeanstalk
AmazonElasticBeanstalk
Taisuke Oe
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Shinichi YAMASHITA
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
cyberagent
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Yahoo!デベロッパーネットワーク
ひしめき合うOpen PaaSを徹底解剖! PaaSの今と未来
ひしめき合うOpen PaaSを徹底解剖! PaaSの今と未来
Kazuto Kusama
Hadoop scr第7回 hw2011フィードバック
Hadoop scr第7回 hw2011フィードバック
AdvancedTechNight
Go言語ハンズオン資料flagパッケージを使ってみる
Go言語ハンズオン資料flagパッケージを使ってみる
yoshito funayose
PHPにおけるI/O多重化とyield
PHPにおけるI/O多重化とyield
Yahoo!デベロッパーネットワーク
Apache drillを業務利用してみる(までの道のり)
Apache drillを業務利用してみる(までの道のり)
Keigo Suda
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2
Yifeng Jiang
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Cloudera Japan
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
Aerospike deep dive migration
Aerospike deep dive migration
Makoto Uehara
大規模HDFS & ErasureCoding#yjdsw3
大規模HDFS & ErasureCoding#yjdsw3
Yahoo!デベロッパーネットワーク
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
ビビッド・パワポ・オペレーションβ ~エンジニアのための、ゆるふわパワポ術~(qpstudy 2013.01 LT)
ビビッド・パワポ・オペレーションβ ~エンジニアのための、ゆるふわパワポ術~(qpstudy 2013.01 LT)
Masahito Zembutsu
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
NTT DATA OSS Professional Services
スタートアップ向け!1人日でできるサービスの高速化方法と成果
スタートアップ向け!1人日でできるサービスの高速化方法と成果
Koichiro Sumi
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップ
Koichiro Sumi
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Weitere ähnliche Inhalte
Ähnlich wie 自宅でHive愛を育む方法 〜Raspberry Pi編〜
AmazonElasticBeanstalk
AmazonElasticBeanstalk
Taisuke Oe
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Shinichi YAMASHITA
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
cyberagent
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Yahoo!デベロッパーネットワーク
ひしめき合うOpen PaaSを徹底解剖! PaaSの今と未来
ひしめき合うOpen PaaSを徹底解剖! PaaSの今と未来
Kazuto Kusama
Hadoop scr第7回 hw2011フィードバック
Hadoop scr第7回 hw2011フィードバック
AdvancedTechNight
Go言語ハンズオン資料flagパッケージを使ってみる
Go言語ハンズオン資料flagパッケージを使ってみる
yoshito funayose
PHPにおけるI/O多重化とyield
PHPにおけるI/O多重化とyield
Yahoo!デベロッパーネットワーク
Apache drillを業務利用してみる(までの道のり)
Apache drillを業務利用してみる(までの道のり)
Keigo Suda
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2
Yifeng Jiang
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Cloudera Japan
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
Aerospike deep dive migration
Aerospike deep dive migration
Makoto Uehara
大規模HDFS & ErasureCoding#yjdsw3
大規模HDFS & ErasureCoding#yjdsw3
Yahoo!デベロッパーネットワーク
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
ビビッド・パワポ・オペレーションβ ~エンジニアのための、ゆるふわパワポ術~(qpstudy 2013.01 LT)
ビビッド・パワポ・オペレーションβ ~エンジニアのための、ゆるふわパワポ術~(qpstudy 2013.01 LT)
Masahito Zembutsu
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
NTT DATA OSS Professional Services
スタートアップ向け!1人日でできるサービスの高速化方法と成果
スタートアップ向け!1人日でできるサービスの高速化方法と成果
Koichiro Sumi
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップ
Koichiro Sumi
Ähnlich wie 自宅でHive愛を育む方法 〜Raspberry Pi編〜
(20)
AmazonElasticBeanstalk
AmazonElasticBeanstalk
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
ひしめき合うOpen PaaSを徹底解剖! PaaSの今と未来
ひしめき合うOpen PaaSを徹底解剖! PaaSの今と未来
Hadoop scr第7回 hw2011フィードバック
Hadoop scr第7回 hw2011フィードバック
Go言語ハンズオン資料flagパッケージを使ってみる
Go言語ハンズオン資料flagパッケージを使ってみる
PHPにおけるI/O多重化とyield
PHPにおけるI/O多重化とyield
Apache drillを業務利用してみる(までの道のり)
Apache drillを業務利用してみる(までの道のり)
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
Hadoop Trends & Hadoop on EC2
Hadoop Trends & Hadoop on EC2
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Hadoopことはじめ
Hadoopことはじめ
Aerospike deep dive migration
Aerospike deep dive migration
大規模HDFS & ErasureCoding#yjdsw3
大規模HDFS & ErasureCoding#yjdsw3
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
ビビッド・パワポ・オペレーションβ ~エンジニアのための、ゆるふわパワポ術~(qpstudy 2013.01 LT)
ビビッド・パワポ・オペレーションβ ~エンジニアのための、ゆるふわパワポ術~(qpstudy 2013.01 LT)
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
スタートアップ向け!1人日でできるサービスの高速化方法と成果
スタートアップ向け!1人日でできるサービスの高速化方法と成果
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップ
Kürzlich hochgeladen
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Kürzlich hochgeladen
(9)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
自宅でHive愛を育む方法 〜Raspberry Pi編〜
1.
自宅でHive愛を育む方法 Raspberry Pi編 2013年年12⽉月23⽇日 株式会社セラン R&D戦略略室 須⽥田幸憲 Copyright
© CELLANT Corp. All Rights Reserved. 1 http://www.cellant.jp/
2.
はじめに v 本スライドは、Hadoop Advent Calendar
2013 の23⽇日⽬目の記事です。 l http://qiita.com/advent-‐‑‒calendar/2013/hadoop v Hiveserver2への移⾏行行について記事を書こうと思っ ていましたが、⼤大⼈人の事情により移⾏行行⾃自体を断念念し ました(涙 Copyright © CELLANT Corp. All Rights Reserved. 2 http://www.cellant.jp/
3.
⾃自⼰己紹介 v 須⽥田幸憲(@sudabon) v 株式会社セラン R&D戦略略室 室⻑⾧長 v 経歴 l
1997〜~2004 NEC 中央研究所 / ネットワークの研究 l 2005〜~2006 BIGLOBE / BtoBサービスの開発 <snip> l 2012/8〜~ 現職 v Hadoop歴:約1年年 v 好きなHadoopエコシステム:Hive Copyright © CELLANT Corp. All Rights Reserved. 3 http://www.cellant.jp/
4.
ハイブの⼤大好物はラズベリーパイ? Copyright © CELLANT
Corp. All Rights Reserved. 4 http://www.cellant.jp/
5.
Raspberry Piの概要 v Raspberry Pi財団によって英国で開発されたARM プロセッサを搭載したシングルボードコンピュータ v コンピュータ科学の教育を促進することを⽬目的とし て開発された v 25⽶米ドルのモデルAと35⽶米ドルのモデルBの2つの バージョンがリリースされている Copyright
© CELLANT Corp. All Rights Reserved. 5 http://www.cellant.jp/
6.
Raspberry Piのハードウェアスペック Model A Model
B 価格 $25 $35 SoC Broadcom BCM2835 (CPU, GPU, DSP, SDRAM) CPU 700 MHz / ARM1176JZF-‐‑‒S コア (ARM11 ファミリ) GPU Broadcom VideoCore IV, OpenGL ES 2.0 (24 GFLOPS) 1080p 30fps H.264/MPEG-‐‑‒4 AVC High Profile デコーダー, MPEG-‐‑‒2, VC-‐‑‒1 メモリ (SDRAM) 256MB (GPU共有) 512MB (GPU共有) USB 2.0 ポート 1 2(統合USBハブ) ネットワーク なし 10/100 Mbps イーサネット (RJ45) 低レベル周辺機器 8 × GPIO, UART, I²C, SPIと2つのチップセレクト, +3.3 V, +5 V, 接地 Copyright © CELLANT Corp. All Rights Reserved. 6 http://www.cellant.jp/
7.
Raspberry Piのボード構成 Copyright ©
CELLANT Corp. All Rights Reserved. 7 http://www.cellant.jp/
8.
Raspberry Piの配線マップ Copyright ©
CELLANT Corp. All Rights Reserved. 8 http://www.cellant.jp/
9.
Raspberry Piのピン出⼒力力 Copyright ©
CELLANT Corp. All Rights Reserved. 9 http://www.cellant.jp/
10.
クラスタの構築に使⽤用した機器類 v クラスタ⽤用 l Raspberry Pi(Model
B)×2 l SDカード(16GB)×2 l Ethernetケーブル×2 l 100Mbps SW Hub×1 v 設定⽤用 l HDMIケーブル l 液晶TV l USBキーボード l USBマウス Copyright © CELLANT Corp. All Rights Reserved. 10 http://www.cellant.jp/
11.
クラスタ環境 TaskTracker JobTracker Hiveserver DataNode HiveMetastore SecondaryNameNode TaskTracker NameNode DataNode Copyright © CELLANT
Corp. All Rights Reserved. 11 http://www.cellant.jp/
12.
Hiveを動作させるための⼿手順 v 全体の流流れ 1. 2. 3. 4. 5. 6. 7. OS(Raspberian)のインストール及び設定 ハードウェアのチューニング OS(Raspberian)のチューニング パーティションの拡張 Java のインストール Hadoop のインストール/設定 Hive
のインストール/設定 v 詳細は下記をご参照ください。 l ⾃自宅宅でHive愛を育むための⼿手順(Raspberry Pi編) http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi Copyright © CELLANT Corp. All Rights Reserved. 12 http://www.cellant.jp/
13.
恒例例のHiveBenchによる性能評価 v 評価環境 l Hadoopのバージョンは1.2.1 l Hiveのバージョンは0.12.0 l
HiveBenchの10万分の1のスケール • 10000⾏行行の”uservisits”テーブル • 1200⾏行行の”rankings”テーブル l ⾮非圧縮のSequenceFile v 評価内容 l いつものSELECTクエリ(JOIN有り) l ジョブレイテンシを測定(1回のみ!) v 詳細は下記をご参照ください l http://www.slideshare.net/sudabon/how-‐‑‒toworkhiveonraspberrypi/16 Copyright © CELLANT Corp. All Rights Reserved. 13 http://www.cellant.jp/
14.
性能評価結果 v 驚いたことに(失礼!)、正常にクエリ処理理が完了了!! v 10万分の1のスケールとはいえ、想定外の低レイテンシ!! MapReduce
Jobs Launched: Job 0: Map: 2 Reduce: 1 Cumulative CPU: 138.59 sec HDFS Read: 2027641 HDFS Write: 11399 SUCCESS Job 1: Map: 1 Reduce: 1 Cumulative CPU: 25.65 sec HDFS Read: 11863 HDFS Write: 10119 SUCCESS Job 2: Map: 1 Reduce: 1 Cumulative CPU: 25.39 sec HDFS Read: 10583 HDFS Write: 30 SUCCESS Total MapReduce CPU Time Spent: 3 minutes 9 seconds 630 msec OK 64.109.226.120 0.9987925 37.0 Time taken: 991.129 seconds, Fetched: 1 row(s) Copyright © CELLANT Corp. All Rights Reserved. 14 http://www.cellant.jp/
15.
まとめ v Raspberry Pi上でHadoopクラスタが動作することは、既に 報告されている ⇒
Hiveも動作するだろうとは思っていた v Raspberry Piのハードウェアが低スペックなので、あらゆる 作業に時間がかかるのが難点 ⇒ Hive愛があれば、気にならない v メモリが512MBでも、クエリが失敗しない ⇒ Hiveが愛おしくてしょうがない Copyright © CELLANT Corp. All Rights Reserved. 15 http://www.cellant.jp/
16.
今後の予定 v スレーブ⽤用のRaspberry Piを増設し、クラスタを スケールアップ v さらにHive愛を育成します Copyright ©
CELLANT Corp. All Rights Reserved. 16 http://www.cellant.jp/
17.
最後に v 明⽇日のHadoop Advent Calendarは、 Hive愛がハンパないモリスさん(@tagomoris) です。 v 乞うご期待! Copyright
© CELLANT Corp. All Rights Reserved. 17 http://www.cellant.jp/
18.
最後までお付き合いいただきまして、ありがとうございました。 ⾃自宅宅でHive愛を育む際のご参考になれば幸甚です。 Copyright © CELLANT
Corp. All Rights Reserved. 18 http://www.cellant.jp/
Jetzt herunterladen