Weitere ähnliche Inhalte
Ähnlich wie Askusa on aws (20)
Mehr von Shingo Furuyama (7)
Askusa on aws
- 1. Asakusa on AWS 第9回 AWS User Group - Japan 東京勉強会 Shingo Furuyama @marblejenka
- 5. キャリア [2007/4~2010/6] SimplexTechnology, Inc. 金利デリバティブに関するシステム開発 Treasury Risk Managementに関するシステム開発 [2010/7~2011/2] Self Employee Hadoopの金融領域における利用についてのPoC EMRを基盤とするログ解析アプリケーションの開発 [2011/3~2011/9] UL Systems, Inc. Asakusa Framework/Hadoopインフラ検証・設定 分散処理のアプリケーションに関するPoC/開発 [2011/10~]Nautilus Technologies, Inc. 分散処理のアプリケーションに関するPoC/開発など 自己紹介 http://www.facebook.com/profile.php?id=1762939167&sk http://www.linkedin.com/in/shingofuruyama
- 10. Apache License, Version 2.0で公開されているOSS https://github.com/asakusafw/ http://asakusafw.s3.amazonaws.com/documents/0.2/develop/ja/html/index.html 業務処理をJavaをホスト言語とするDSLで記述し、JavaのコンパイラとAsakusaのMapReduceコンパイラでコンパイルし、バッチアプリケーションを生成する コンパイルされたバッチアプリケーションを制御する薄いラッパーを経由してHadoopのジョブを実行するため、Hadoopに対する追加のセットアップは不要 Asakusa Frameworkの概要
- 18. aws-toos HadoopのクラスタをEC2上に自動生成するツール Private IPで通信したいので、起動後に設定ファイルのwiringを行う 諸般の事情により未公開 AWSでのHadoop完全分散モードによる実行環境について 東京リージョンではClusterCompute Instanceにできないため、HadoopのShuffleフェーズの性能が問題になる 別にお試しならClusterComputeでなくてもよいが・・・ EMRが使えるべきだが、Hadoopのバージョンの違いがあり、動作しない Asakusa on EC2