Suche senden
Hochladen
初めてのAws elastic map reduce
•
2 gefällt mir
•
1,703 views
Ryuji Tamagawa
Folgen
Melden
Teilen
Melden
Teilen
1 von 10
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Dbsheet資料
Dbsheet資料
shohei tabata
20130622 JAWS-UG大阪 ストレージ編(EBS/S3/Glacier)
20130622 JAWS-UG大阪 ストレージ編(EBS/S3/Glacier)
真吾 吉田
第8回JAWSUG大阪 JAWSUG大阪 連携サービス(SNS,SQS,SES)
第8回JAWSUG大阪 JAWSUG大阪 連携サービス(SNS,SQS,SES)
Takuro Sasaki
20130622 JAWS-UG大阪 AWSの共有責任モデル〜クラウドってセキュリティ大丈夫なの?と聞かれたら〜
20130622 JAWS-UG大阪 AWSの共有責任モデル〜クラウドってセキュリティ大丈夫なの?と聞かれたら〜
真吾 吉田
20171012 found IT #9 PySparkの勘所
20171012 found IT #9 PySparkの勘所
Ryuji Tamagawa
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
Ryuji Tamagawa
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
PySparkの勘所(20170630 sapporo db analytics showcase)
PySparkの勘所(20170630 sapporo db analytics showcase)
Ryuji Tamagawa
Empfohlen
Dbsheet資料
Dbsheet資料
shohei tabata
20130622 JAWS-UG大阪 ストレージ編(EBS/S3/Glacier)
20130622 JAWS-UG大阪 ストレージ編(EBS/S3/Glacier)
真吾 吉田
第8回JAWSUG大阪 JAWSUG大阪 連携サービス(SNS,SQS,SES)
第8回JAWSUG大阪 JAWSUG大阪 連携サービス(SNS,SQS,SES)
Takuro Sasaki
20130622 JAWS-UG大阪 AWSの共有責任モデル〜クラウドってセキュリティ大丈夫なの?と聞かれたら〜
20130622 JAWS-UG大阪 AWSの共有責任モデル〜クラウドってセキュリティ大丈夫なの?と聞かれたら〜
真吾 吉田
20171012 found IT #9 PySparkの勘所
20171012 found IT #9 PySparkの勘所
Ryuji Tamagawa
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
20170927 pydata tokyo データサイエンスな皆様に送る分散処理の基礎の基礎、そしてPySparkの勘所
Ryuji Tamagawa
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
PySparkの勘所(20170630 sapporo db analytics showcase)
PySparkの勘所(20170630 sapporo db analytics showcase)
Ryuji Tamagawa
20170210 sapporotechbar7
20170210 sapporotechbar7
Ryuji Tamagawa
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
Ryuji Tamagawa
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
Ryuji Tamagawa
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
Ryuji Tamagawa
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Ryuji Tamagawa
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Ryuji Tamagawa
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Ryuji Tamagawa
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Ryuji Tamagawa
Google Big Query
Google Big Query
Ryuji Tamagawa
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
Ryuji Tamagawa
You might be paying too much for BigQuery
You might be paying too much for BigQuery
Ryuji Tamagawa
Google BigQueryについて 紹介と推測
Google BigQueryについて 紹介と推測
Ryuji Tamagawa
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
Ryuji Tamagawa
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Ryuji Tamagawa
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Ryuji Tamagawa
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
Ryuji Tamagawa
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
Ryuji Tamagawa
Invitation to mongo db @ Rakuten TechTalk
Invitation to mongo db @ Rakuten TechTalk
Ryuji Tamagawa
Weitere ähnliche Inhalte
Mehr von Ryuji Tamagawa
20170210 sapporotechbar7
20170210 sapporotechbar7
Ryuji Tamagawa
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
Ryuji Tamagawa
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
Ryuji Tamagawa
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
Ryuji Tamagawa
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Ryuji Tamagawa
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Ryuji Tamagawa
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Ryuji Tamagawa
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Ryuji Tamagawa
Google Big Query
Google Big Query
Ryuji Tamagawa
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
Ryuji Tamagawa
You might be paying too much for BigQuery
You might be paying too much for BigQuery
Ryuji Tamagawa
Google BigQueryについて 紹介と推測
Google BigQueryについて 紹介と推測
Ryuji Tamagawa
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
Ryuji Tamagawa
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Ryuji Tamagawa
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Ryuji Tamagawa
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
Ryuji Tamagawa
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
Ryuji Tamagawa
Invitation to mongo db @ Rakuten TechTalk
Invitation to mongo db @ Rakuten TechTalk
Ryuji Tamagawa
Mehr von Ryuji Tamagawa
(20)
20170210 sapporotechbar7
20170210 sapporotechbar7
20161215 python pandas-spark四方山話
20161215 python pandas-spark四方山話
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20161004 データ処理のプラットフォームとしてのpythonとpandas 東京
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
20151205 Japan.R SparkRとParquet
20151205 Japan.R SparkRとParquet
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Apache Sparkの紹介
Apache Sparkの紹介
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
ヘルシープログラマ・翻訳と実践
ヘルシープログラマ・翻訳と実践
Google Big Query
Google Big Query
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
You might be paying too much for BigQuery
You might be paying too much for BigQuery
Google BigQueryについて 紹介と推測
Google BigQueryについて 紹介と推測
lessons learned from talking at rakuten technology conference
lessons learned from talking at rakuten technology conference
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
丸の内MongoDB勉強会#20LT 2.8のストレージエンジン動かしてみました
Mongo dbを知ろう devlove関西
Mongo dbを知ろう devlove関西
Seleniumをもっと知るための本の話
Seleniumをもっと知るための本の話
データベース勉強会 In 広島 mongodb
データベース勉強会 In 広島 mongodb
Invitation to mongo db @ Rakuten TechTalk
Invitation to mongo db @ Rakuten TechTalk
初めてのAws elastic map reduce
1.
2013/6/21 JAWSUG-Osaka Amazon Elastic MapReduce玉川竜司 13年6月25日火曜日
2.
軽く自己紹介 Sky株式会社でいろいろやってます。 兼業翻訳やってます。 tamagawa_ryuji@twitter / RyujiTamagawa@FB 13年6月25日火曜日
3.
初心者向けのElastic MapReduce? そもそも無茶な話です 気づいたら無茶振りされてました・・・ 13年6月25日火曜日
4.
ビッグデータとHadoopエコシステム ✤ 始まりはGoogle ✤ スケールアップは限界に来つつあった ✤
たくさんマシンを並べて性能アップ = スケールアウト ✤ 大量のデータを処理して、ビジネス上の価値を取り出す 13年6月25日火曜日
5.
Hadoop/EMRの使いどころ ✤ I/O(特にランダムアクセス)が制約になるようなケース ✤ 多台数の処理(スケールアウト)が必要で、障害対策が いるケース ✤
構造化されていないデータをそのまま貯めておくケース 13年6月25日火曜日
6.
Elastic MapReduceってなに? ✤ 一言で言えば、AWS上でHadoopクラスタを構築し、使いたいソフ トを自動でインストーしてくれるサービス。 ✤
Hadoop, HBase, Hive, Pig, MapRがすぐに使える ✤ 基本の入出力はS3を使う。ノードは普通のEC2 ✤ 作業領域はEC2インスタンスのエフェメラルディスク ✤ スポットインスタンスを有効活用する機能がある ✤ 秋には本が出ます(英語)日本語訳が出せるかな? 13年6月25日火曜日
7.
エコシステム 分散ストレージ:HDFS (MapR) /
S3 データ処理フレームワーク:MapReduce 高速ランダムアクセス HBase SQLフロントエンド:Hive データ処理のツール:Pig エンドユーザーのプログラム 13年6月25日火曜日
8.
Elastic MapReduceのいいところ ✤運用が楽! ✤ Hadoopエコシステムは開発が活発 ✤
ちゃんと動く組み合わせを構築し、メン テナンスするのが非常に大変 13年6月25日火曜日
9.
ただし・・・ ✤ 200x年代は、物理メモリが一台あたり 数10GB程度だった ✤ 201x年代に入って、100GB以上の物理 メモリを持つマシンが使えるようにな ってきた ✤
スイートスポットが変わってきた。既 存のRDB技術の限界が引き上げられて いる 13年6月25日火曜日
10.
Questions? and to the
RedShift... 13年6月25日火曜日
Jetzt herunterladen