第十七回Creators MeetUp 発表資料。

1. AWSとRUBYで作る
ビッグデータ解析の裏側
@srockstyle / Shohei Kobayashi
!
Twitter : https://twitter.com/srockstyle
Facebook : https://www.facebook.com/srockstyle
Github : https://github.com/srockstyle

2. 15 MINITE
収まるように
頑張ります

3. WHO ARE YOU?
「あんた誰や！？」

4. Shohei Kobayashi
Mind Palette.co.ltd.
Backend ServerSide Engineer
仕事はAWS,Ruby漬け
家ではPHP,Swift漬け

5. TODAY’S THEME
スマホアプリの
データ解析インフラについて

6. SNAPEEEって？
• 写真共有アプリから新しいメディアへ
と進化しているF1層の女性向けスマホ
アプリ。
• iOS版とAndroid版があるよ。
• この世に生を受けて四年目。
• 「カワイイを世界に届ける」がテーマ！

7. 日本からアジアへ アジアから世界へ
世界進出のために蓄積されるビッグデータ解析は不可欠
JAPAN
TAIWAN
CHINA
HONGKONG
SINGAPOLE
TAILAND
….AND MORE!

8. SNAPEEEのデータ解析基盤

9. データ解析周りの用語
• データウェアハウス：集めたデータを
入れておくところ
• データマート：解析結果をいれておく
ところ
• MapReduce：たくさんのコンピュータで
巨大なデータを解析するプログラミン
グモデル。

10. 見ての通りAWSばっかりだよ！
AWS万歳！ヽ(‘ ∇‘ )ノ
AWS万歳！ヽ(‘ ∇‘ )ノ
AWS万歳！ヽ(‘ ∇‘ )ノ

11. 解析基盤でAWSを選んだ理由

12. • 解析結果の格納・検索はRedshiftが超速い
• Hadoopクラスタとジョブの追加・構築・増
減がAPI経由で楽に可能
• API経由でログの送信・解析・収納まで可能

13. それでこうなった

14. AWSまみれ
AWS様々

15. 司令塔サーバの話
○こいつ

16. RUBY ON RAILS
AND
AWS-SDK FOR RUBY

17. なんでRUBYを選んだか？
• 書いてて楽しいから
• Java、PHPもみんな書けたけど、JavaとPHPは書いてて数ヶ月
で飽きたから（弊社エンジニア陣の主観
• Rails使っての開発効率の高さ！
• 全社でJavaからRubyへの移行を進めており、サーバ構築に
Chefの導入もあって言語の統一化を進めていきたかったから

18. ちょっと待った！
○あれっ……

19. Q:HADOOPってJAVAじゃね？
MAP REDUCEって
JAVA以外使えないんじゃ……

20. そんなあなたに！
HADOOP-STREAMING
がオススメ！

21. AWSで
HADOOP-STREAMING！
• AWS-SDKからJob-Flowスクリプト流し込めばHadoop-
Streamingでデータ解析が可能。
• S3上にログの設置→Job実行までをRails内のバッチ処
理で自動化。
• 標準入力/標準出力でHadoopとやりとりすればよい
のでMapper＆Reducerも全部Rubyスクリプト。

22. 流れ

23. JOB FLOW設定

24. 集計後データは……
• S3の結果ファイルをRedShiftへ投入
• ダウンロードしたファイルをRで解析
• RedShift上のデータを別バッチで再利用＆フ
ロントエンドでRailsのActive Recordで呼び出
してグラフ化！

25. おまけ

26. 弊社ではエンジニア募集中だよ！
Ruby、Rails、AWS、iOS、Android、グロースハック
そんなのに興味あるひとはぜひお声かけください
!
Twitterで@srockstyleまで！

27. RAILS GIRLも大歓迎！
F1層の女性向けアプリなので
女子のハートがわかるRails Girlも大募集です！
!
!
Twitterで@srockstyleまで！

28. ご清聴ありがとうございました！
「“カワイイ”を世界に」