Suche senden
Hochladen
Hadoop Streamingを使って お好きな言語でMap☆Reduce!
•
Als PPTX, PDF herunterladen
•
2 gefällt mir
•
1,786 views
Masaya Taji
Folgen
SW LT大会 発表時の資料です。 Hadoopを敬遠している方にオススメしたいHadoop Streamingの紹介程度のゆるい資料です。
Weniger lesen
Mehr lesen
Software
Melden
Teilen
Melden
Teilen
1 von 46
Jetzt herunterladen
Empfohlen
第51回NDS PostgreSQLのデータ型 #nds51
第51回NDS PostgreSQLのデータ型 #nds51
civicpg
Macで快適にプログラミング
Macで快適にプログラミング
Yusuke Sakurai
第52回なんてかんたんなJavaEE
第52回なんてかんたんなJavaEE
civicpg
本当にあった怖い話 「Hadoopで炎上しかけた話」
本当にあった怖い話 「Hadoopで炎上しかけた話」
Yukino Ikegami
Phpのはなし
Phpのはなし
Serverworks Co.,Ltd.
20120527yesod
20120527yesod
Seizan Shimazaki
20101211 #
20101211 #
Yasutaka Hamada
あまり知られていない静岡の言語戦争の歴史
あまり知られていない静岡の言語戦争の歴史
Kazufumi Ohkawa
Empfohlen
第51回NDS PostgreSQLのデータ型 #nds51
第51回NDS PostgreSQLのデータ型 #nds51
civicpg
Macで快適にプログラミング
Macで快適にプログラミング
Yusuke Sakurai
第52回なんてかんたんなJavaEE
第52回なんてかんたんなJavaEE
civicpg
本当にあった怖い話 「Hadoopで炎上しかけた話」
本当にあった怖い話 「Hadoopで炎上しかけた話」
Yukino Ikegami
Phpのはなし
Phpのはなし
Serverworks Co.,Ltd.
20120527yesod
20120527yesod
Seizan Shimazaki
20101211 #
20101211 #
Yasutaka Hamada
あまり知られていない静岡の言語戦争の歴史
あまり知られていない静岡の言語戦争の歴史
Kazufumi Ohkawa
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Shinichi YAMASHITA
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Shinichi YAMASHITA
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
1,000,000 foot view of Hadoop-like parallel data processing systems
1,000,000 foot view of Hadoop-like parallel data processing systems
Hiroyuki Yamada
世界一簡単なHadoopの話
世界一簡単なHadoopの話
Koichi Shimazaki
VPSやめてHerokuに移行したお話
VPSやめてHerokuに移行したお話
Hiroyuki Hayashi
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
ownCloudについて
ownCloudについて
Shinya Saita
PHPプログラミングのIPv6対応の実際
PHPプログラミングのIPv6対応の実際
Tetsuji Koyama
Apache Cassandra 入門編
Apache Cassandra 入門編
Kazutaka Tomita
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
FluentdやNorikraを使った データ集約基盤への取り組み紹介
FluentdやNorikraを使った データ集約基盤への取り組み紹介
Recruit Technologies
Real World PHP in pixiv
Real World PHP in pixiv
Kenta USAMI
WebエンジニアがXR業界へ転職した話
WebエンジニアがXR業界へ転職した話
Hiroshi Masuda
Hadoop事始め
Hadoop事始め
You&I
プログラミング同好会とすごい合同勉強会
プログラミング同好会とすごい合同勉強会
nemumu
職場で使用しているOSSの開発に参加してみた!
職場で使用しているOSSの開発に参加してみた!
infinite_loop
Pandas / Dask / Vaex
Pandas / Dask / Vaex
hide ogawa
Weitere ähnliche Inhalte
Ähnlich wie Hadoop Streamingを使って お好きな言語でMap☆Reduce!
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Shinichi YAMASHITA
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Shinichi YAMASHITA
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
You&I
1,000,000 foot view of Hadoop-like parallel data processing systems
1,000,000 foot view of Hadoop-like parallel data processing systems
Hiroyuki Yamada
世界一簡単なHadoopの話
世界一簡単なHadoopの話
Koichi Shimazaki
VPSやめてHerokuに移行したお話
VPSやめてHerokuに移行したお話
Hiroyuki Hayashi
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
ownCloudについて
ownCloudについて
Shinya Saita
PHPプログラミングのIPv6対応の実際
PHPプログラミングのIPv6対応の実際
Tetsuji Koyama
Apache Cassandra 入門編
Apache Cassandra 入門編
Kazutaka Tomita
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
FluentdやNorikraを使った データ集約基盤への取り組み紹介
FluentdやNorikraを使った データ集約基盤への取り組み紹介
Recruit Technologies
Real World PHP in pixiv
Real World PHP in pixiv
Kenta USAMI
WebエンジニアがXR業界へ転職した話
WebエンジニアがXR業界へ転職した話
Hiroshi Masuda
Hadoop事始め
Hadoop事始め
You&I
プログラミング同好会とすごい合同勉強会
プログラミング同好会とすごい合同勉強会
nemumu
職場で使用しているOSSの開発に参加してみた!
職場で使用しているOSSの開発に参加してみた!
infinite_loop
Pandas / Dask / Vaex
Pandas / Dask / Vaex
hide ogawa
Ähnlich wie Hadoop Streamingを使って お好きな言語でMap☆Reduce!
(20)
OSC2014 Tokyo/Spring Hadoop
OSC2014 Tokyo/Spring Hadoop
Hadoop - OSC2013 .Enterprise
Hadoop - OSC2013 .Enterprise
Hadoopことはじめ
Hadoopことはじめ
第1回Hadoop関西勉強会参加レポート
第1回Hadoop関西勉強会参加レポート
1,000,000 foot view of Hadoop-like parallel data processing systems
1,000,000 foot view of Hadoop-like parallel data processing systems
世界一簡単なHadoopの話
世界一簡単なHadoopの話
VPSやめてHerokuに移行したお話
VPSやめてHerokuに移行したお話
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
ゾウ使いへの第一歩
ゾウ使いへの第一歩
ownCloudについて
ownCloudについて
PHPプログラミングのIPv6対応の実際
PHPプログラミングのIPv6対応の実際
Apache Cassandra 入門編
Apache Cassandra 入門編
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
FluentdやNorikraを使った データ集約基盤への取り組み紹介
FluentdやNorikraを使った データ集約基盤への取り組み紹介
Real World PHP in pixiv
Real World PHP in pixiv
WebエンジニアがXR業界へ転職した話
WebエンジニアがXR業界へ転職した話
Hadoop事始め
Hadoop事始め
プログラミング同好会とすごい合同勉強会
プログラミング同好会とすごい合同勉強会
職場で使用しているOSSの開発に参加してみた!
職場で使用しているOSSの開発に参加してみた!
Pandas / Dask / Vaex
Pandas / Dask / Vaex
Hadoop Streamingを使って お好きな言語でMap☆Reduce!
1.
Hadoop Streamingを使って お好きな言語で Map☆Reduce! 田地 将也 2016/05/19
LT資料
2.
• 氏名:田地 将也(@otajisan) •
所属:某中小SIer -> 某Web企業 • 役職:エンジニア兼スクラムマスター • 趣味:酒、バンド、スノボー、モンハン • よく使う言語:PHP, Perl, JavaScript • 「アジャイルひよこくらぶ」というコミュニティの幹事メンバーやってます • 最近ハマっていること!:スクラムによる現場改善、 Python x Hadoop Streaming x Deep Learning 自己紹介
3.
皆さん、 Hadoop使ってますか?
4.
Hadoopとは? • Hadoopはデータを複数のサーバに分散し、 並列して処理するミドルウェア • 要は、1台で捌き切れないような大量のデータを、 並列バッチ処理で効率よく捌けるソリューション
5.
Hadoopって • なんか難しそう • なんとなく敬遠 •
Javaかよ! みたいな
6.
そんなあなたに
7.
Hadoop Streaming!
8.
Hadoop Streamingとは? • HadoopのMap/Reduce処理は 基本的にJavaで書く •
Hadoopに標準で組み込まれている 「Hadoop Streaming」という機能を使うと、 Unixの標準入出力を受け付けることができる
9.
つまり、 好きな言語で Map/Reduceを書ける!
10.
本LTでは、 Hadoop Streamingは 色んな言語でMap/Reduce書けるよ、 という様子をご紹介し、 Hadoop コワクナイヨ-
という感覚を持って いただけることを目的とします。
11.
今回取り扱う サンプル(Hello World) について
12.
HadoopのHello World • 「ワードカウント」が Hadoopでのハロワにあたります
13.
WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd 入力ファイルたち
14.
WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle ごにょごにょ
15.
WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb
3 ccc 2 ddd 2
16.
WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb
3 ccc 2 ddd 2 ワードの出現回数を カウントする
17.
WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb
3 ccc 2 ddd 2 この、Map / Reduce処理を担う、「 Mapper」と「Reducer」を 色々な言語で書くことができます!
18.
書いてみた
19.
python
20.
WordCountMapper.py
21.
WordCountMapper.py ここで標準入力を 受け付けて
22.
WordCountMapper.py ここで標準入力を 受け付けて 該当行の文字列 (例えばaaa) と、 1という数値を出力する
23.
WordCountReducer.py
24.
WordCountReducer.py ここでMapperからの入力を 受け付けて
25.
WordCountReducer.py ここでMapperからの入力を 受け付けて 渡ってきた key: aaa value:
1 といった文字列を、 key毎にvalueを加算する
26.
実行
27.
コマンドが長〜いので シェルとか作るといいです
28.
作成したMapper/Reducerは このへんに指定
29.
結果 ファイルが出力されて
30.
結果 中身を見ると
31.
結果 正常にワードカウント されました!
32.
php
33.
WordCountMapper.php
34.
WordCountMapper.php ここで標準入力を 受け付けて
35.
WordCountMapper.php ここで標準入力を 受け付けて 該当行を出力
36.
WordCountReducer.php
37.
WordCountReducer.php ここでMapperからの入力を 受け付けて
38.
WordCountReducer.php ここでMapperからの入力を 受け付けて 渡ってきた文字列毎に 単語数を加算
39.
結果は一緒なので割愛
40.
perl
41.
WordCountMapper.pl もはやMapperなんか要らん!
42.
-mapperに/bin/catを 指定すればおk
43.
WordCountReducer.pl
44.
WordCountReducer.pl ここでMapperからの入力を 受け付けて
45.
WordCountReducer.pl ここでMapperからの入力を 受け付けて 渡ってきた文字列毎に 単語数を加算
46.
まとめ • Hadoop Streamingを使えば、 色んな言語でMap/Reduceを書ける (jsとかもできるらしい) •
お好きな言語で快適なHadoopライフを!
Jetzt herunterladen