Suche senden
Hochladen
Hadoopをemr経由で利用する方法
•
Als KEY, PDF herunterladen
•
6 gefällt mir
•
15,204 views
Tatsuya Sasaki
Folgen
2010/9/30の頓智・さんとの勉強会で使ったスライドです
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 33
Jetzt herunterladen
Empfohlen
Tecnicatura Superior en Administración General
Tecnicatura Superior en Administración General
Horacio J. Deprati
からあげエンジニアについて
からあげエンジニアについて
Tatsuya Sasaki
クックパッドでのemr利用事例
クックパッドでのemr利用事例
Tatsuya Sasaki
からあげとビーチと私
からあげとビーチと私
Tatsuya Sasaki
メタプログラミングでDSLを書こう
メタプログラミングでDSLを書こう
Tatsuya Sasaki
NoSQLデータベースが登場した背景と特徴
NoSQLデータベースが登場した背景と特徴
Tatsuya Sasaki
961万人の食卓を支えるデータ解析
961万人の食卓を支えるデータ解析
Tatsuya Sasaki
COOKPADでのHadoop利用
COOKPADでのHadoop利用
Tatsuya Sasaki
Empfohlen
Tecnicatura Superior en Administración General
Tecnicatura Superior en Administración General
Horacio J. Deprati
からあげエンジニアについて
からあげエンジニアについて
Tatsuya Sasaki
クックパッドでのemr利用事例
クックパッドでのemr利用事例
Tatsuya Sasaki
からあげとビーチと私
からあげとビーチと私
Tatsuya Sasaki
メタプログラミングでDSLを書こう
メタプログラミングでDSLを書こう
Tatsuya Sasaki
NoSQLデータベースが登場した背景と特徴
NoSQLデータベースが登場した背景と特徴
Tatsuya Sasaki
961万人の食卓を支えるデータ解析
961万人の食卓を支えるデータ解析
Tatsuya Sasaki
COOKPADでのHadoop利用
COOKPADでのHadoop利用
Tatsuya Sasaki
マーケティングのためのHadoop利用
マーケティングのためのHadoop利用
Tatsuya Sasaki
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
Tatsuya Sasaki
800万人の"食べたい"をHadoopで分散処理
800万人の"食べたい"をHadoopで分散処理
Tatsuya Sasaki
Hadoopを業務で使ってみた
Hadoopを業務で使ってみた
Tatsuya Sasaki
Hadoopを業務で使ってみました
Hadoopを業務で使ってみました
Tatsuya Sasaki
YUI
YUI
Tatsuya Sasaki
Weitere ähnliche Inhalte
Mehr von Tatsuya Sasaki
マーケティングのためのHadoop利用
マーケティングのためのHadoop利用
Tatsuya Sasaki
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
Tatsuya Sasaki
800万人の"食べたい"をHadoopで分散処理
800万人の"食べたい"をHadoopで分散処理
Tatsuya Sasaki
Hadoopを業務で使ってみた
Hadoopを業務で使ってみた
Tatsuya Sasaki
Hadoopを業務で使ってみました
Hadoopを業務で使ってみました
Tatsuya Sasaki
YUI
YUI
Tatsuya Sasaki
Mehr von Tatsuya Sasaki
(6)
マーケティングのためのHadoop利用
マーケティングのためのHadoop利用
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
800万人の"食べたい"をHadoopで分散処理
800万人の"食べたい"をHadoopで分散処理
Hadoopを業務で使ってみた
Hadoopを業務で使ってみた
Hadoopを業務で使ってみました
Hadoopを業務で使ってみました
YUI
YUI
Hadoopをemr経由で利用する方法
1.
Elastic MapReduce Hadoop EMR
2.
•
(@sasata299) • NoSQL • • http://blog.livedoor.jp/sasata299/
3.
Hadoop
4.
etc…
5.
•
• EC2 Hadoop & S3 • Cloudera (CDH1) • • Hadoop Streaming (Ruby ) •
6.
•
• ( ) • • master ssh • Hadoop (HADOOP-6254) • S3 cpu • S3 → …
7.
SocketTimeoutException
8.
9.
HADOOP-6254 Elastic MapReduce
!! https://issues.apache.org/jira/browse/HADOOP-6254
10.
HADOOP-6254 Cloudera (CDH2)
!! http://archive.cloudera.com/cdh/2/hadoop-0.20.1+169.88.releasenotes.html
11.
12.
Elastic Mapreduce
(EMR)
13.
• EC2, S3 • • •
GUI( )
14.
• EC2, S3
→ • → • → • GUI( ) →CUI •
15.
• EC2, S3
→ • → • → • GUI( ) →CUI •
16.
EMR CDH2
AMI (Amazon Machine UP Image) EMR CDH2
17.
EMR CDH2
AMI (Amazon Machine UP Image) EMR CDH2
18.
EMR
!! (eHarmony)
19.
…
20.
21.
22.
EMR
BootStrap Action Step (Hadoop Job) Job Flow ( )
23.
EMR
BootStrap Action Step (Hadoop Job) Job Flow ( )
24.
EMR
BootStrap Action Step (Hadoop Job) Job Flow ( )
25.
EMR
BootStrap Action Step (Hadoop Job) Job Flow ( )
26.
(
) elastic-mapreduce --create # --num-instances 10 # master:1 , slave:9 --bootstrap-action s3n://xxx/hoge.sh # --alive #
27.
(
) elastic-mapreduce --create # --num-instances 10 # master:1 , slave:9 --bootstrap-action s3n://xxx/hoge.sh # --alive # Created job flow j-8IXS98OW1WEE ID
28.
(
) elastic-mapreduce --stream # Hadoop streaming --input, --output, --mapper, --reducer # --cache s3n://xxx/fuga.rb # --jobconf xxx=yyy # --jobflow j-xxxxx # ID
29.
(
) elastic-mapreduce --stream # Hadoop streaming --input, --output, --mapper, --reducer # --cache s3n://xxx/fuga.rb # --jobconf xxx=yyy # --jobflow j-xxxxx # ID
30.
•
• • • --alive • AMI • Cloudera AMI • BootStrap Action
31.
• •
mapred.child.java.opts • Java • Streaming • • • ElasticMapReduce-master 5100
32.
•
EMR Hadoop • EMR • • --alive
Hinweis der Redaktion
Jetzt herunterladen