ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT

ソーシャルゲームの
データ分析環境としてのAWS

2013-03-09 JAWS-UG三都物語
KLab株式会社開発制作本部データ分析グループ
越智修司

13年3月10日日曜日

自己紹介
•越智修司(神戸市長田区在住)

•開発制作本部データ分析グループ所属
• Felica/Edy,ガラケサイト,銀行アプリ,きせかえ
• アプリ・サービスのプロトタイピング
• 有名アーティスト・アイドルのファンクラブアプリ開発
• 最近はデータ解析
• python,Rなど

@ponpoko1968


はじめに

• この発表は個人の見解であり、所属す
る組織の公式見解ではありません。


作ったもの
「クリップリーダー」

電子書籍リーダー
iPad版
（85円）
• 自炊PDFに特化

• evernote連携

iPhone版 • 段組書籍
（無料）

「勤怠くん」

勤怠メールを素早く送信

KLabのソーシャルゲーム

21タイトル
44サイト
数千万PV/日/タイトル


データ分析グループ

横断的にデータの面倒を見る技術者集団


お知らせ

ブログ始めました
http://analysis.blog.jp.klab.com/

スタッフ募集中！！


データ分析グループの
提供するサービス
• Webサイト

• 各種データのグラフが閲覧できま
す

• 速報メール
• 前日のkpi速報値がメールで送信
されます。

• データのダウンローダ
ー
• 各種データのダウンロード機能


システム構成
コンテンツ側システム分析システム

Web
server
S3 Sales
Log RDS
Log Log 010010010001

Log 110011001110
010010010001
111110111111
110011001110
11 111110111111
11

Sales
EC2

MySQL
Contents
master
EMR


使っている要素技術
• Python
• 運用に用いる

• 豊富なライブラリ

• 可読性・保守性

•R
• 探索的な分析

工夫していること

• ログファイルのmsgpack化
• 一旦msgpack化することで検索・処理
時間を軽減

msgpack web site (msgpack.org) より


msgpack(2)

• EMR(Elastic Map-Reduce)で変換
• <app>.app.<Y-m-d>_hh.<dd>
• <dd>=hash(user_id) % 100
時刻 user_id URL(path) GET/POST param


使用例:PVベースのヒートマップ

0
1
2
3
4
5

• 全アクセスから
6
7
8
9
10

1/100をサンプリ
(0:23)

11
12
13
14
15
16
17
18
ング
19
20
21
22
23

Mon Tue Wed Thu Fri Sat Sun

(0:7)


課題
• ゲームの高度化・市場の成熟化
• 競争激化
• データ分析のニーズが高まる
• インタラクティブなデータ分析のニーズ
• さらなる高速処理
• データ分析用DB Redshiftを検討中

ご清聴ありがとうご
ざいました


ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (11)

Ähnlich wie ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT

Ähnlich wie ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT (20)

ソーシャルゲームのデータ分析基盤としてのAWS Jaws ug三都物語LT