this document is for #tokyowebmining held at 2011/04/10

1. Analysis of Big Data via
Hadoop
2011/04/10
#TokyoWebmining
s_iida

2. Agenda
• About me
• What’s Hadoop
• Data 形式
• Data 収集
• Data 集計
• 最後に
2

3. About me
• DataMining部@DeNA
– アフィリエイト広告
– データ解析 / ログ解析のための基盤作りなど
• 過去：数学で Ph.D.
– 複素微分幾何学、Topology
– ポスドク一年 (PD: 学術振興会研究員)
• 趣味：数学・ヨット・将棋
• @s_iida
3

4. はじめに
いかにして膨大な情報（アクセスログ）を
有効活用するか？
4

5. Solution
• 大規模データ分析基盤
– Hadoop, etc..
• 大規模データマイニング
– R, Mahout, etc..
今日は前者についてのお話
5

6. What’s Hadoop ?
• 大規模データを分散処理・管理するためのソフトウェア基盤
• GFS や MapReduce などのJavaによる実装
6

7. 分析に必要なデータ

8. Case: 例えば…
Casebook という架空SNSがあったとします…
写真投稿・日記投稿・コメント・
主要機能
友達申請・「まじで！」ボタン, etc..
名前・性別・年齢・自己紹介文
開示情報
友達数・恋人有無, etc..
8

9. いわゆる行動ログ
ユーザが何か「action」する毎に吐かれるログ
uid time Action Type hoge
100001 2011-03-01 20:30:11 comment *********
100031 2011-03-01 20:30:14 Post diary *********
100091 2011-03-01 20:30:16 Offer friend *********
100202 2011-03-01 20:30:17 Majide button *********
• どのユーザが何時、何をしたか、を記録.
9

10. ユーザ (status) 情報
uid がunique になっているテーブル
Registratio Friend
uid Birthday Sex type hasLover ******
n num
1990-02-
111111 2010-02-01
01
F 89 0 *****
1982-09-
222222 2011-01-02
30
M 0 1 *****
1973-04-
333333 2009-12-24
03
M 25000 0 *****
1988-11-
444444 2010-05-22
13
F 203 1 *****
• 大抵の集計はユーザ情報と行動ログを組み合わせる。
• 通常はDBに最新情報を保持している。
10

11. 例（集計軸）
• 男女別コメント数
• 年齢セグメント別写真投稿数
→行動ログと現在のステータス情報をuidでjoinして集計
• 今月・先月の友達100人以上の人のコメント投稿数
• 「恋人がいない→いる」変化時の写真投稿数変化
→過去のステータス情報を復元した上で集計する必要がある。
How ? 11

12. （その1）“変化ログ“を吐く
uid time Action Type hoge
******** *********** Add Friend →
1→2
1→2 2→1 1→0 0→1
time=******
• ある時点でのSnapshotを復元するには、その時点までの
ログをすべてなめる必要がある。
• 変化の前後で集計したい場合は最適
12

13. （その2） 非正規化
uid time Action Type Sex type age
1000222 ****** comment F 23
1022939 ****** comment M 35
• joinしたい行動ログにあらかじめ追加しておく。
• あらゆるステータス情報を追加するのは”無理”があるの
で、必要なものを吟味して追加。
13

14. （その3） 定期的snapshot
例えばdaily で 該当 table 丸ごとdumpしてHDFSに保存.
DB HDFS
• ログに比較すれば、容量は少ない（はず）
• 変化が激しいステータスには向かない.
14

15. ログをいかにして収集するか？

16. 何故ログ収集？
• Webサーバは複数。ログも分散している。
– 一箇所に集めないと集計出来ない（出来る場合もある）
• 集めるなんて scp するだけじゃん！
– ログが膨大だと、ネットワークへの負荷などに気を使う。
いかにしてログを一箇所に 安全に
いかにしてログを一箇所に「安全に」集めるか?
ログ めるか
16

17. HDFS (Hadoop Distributed File System)
• 小さなFileを大量に作成することは避けたい.
• Append(追記) の回数も出来るだけ減らしたい. 17

18. 安易な方法（その1）
logrotate + rsync (daily)
Web servers
Hadoop Cluster
Server A
node A
Server B
node B
Server C node C
……
…
……
Server D …… hogelog.20110311.gz
Server E
ログが収集されるまで時間がかかるので、直
近のログ集計が出来ない。
…
18

19. 安易な方法（その2）
１アクセス（1 ログ）ごとに送信
Web servers
Hadoop Cluster
Server A
2011-03-11 *****
node A
Server B
node B
Server C node C
…
Server D
2011-03-11 *****
Server E
小さなfile が大量に出来てしまて、（恐らく）大
…
変なことになる。 19

20. そこで…
中継サーバを設置。一旦fileをマージ。
Web servers
Server A Hadoop Cluster
中継 servers
node A
Server B
node B
Server C node C
…
…
Server D
それでも1アクセスごとにログを投げると、アク
Server E セス毎に「コネクション確立コスト」が…
20
…

21. さらに…
webサーバでqueue処理. ある程度まとめてbulkで投げる
Web servers Hadoop Cluster
中継 servers
Server A
node A
Server B node B
node C
…
Server C
…
Server D 2011-03-11 *****
2011-03-11 *****
2011-03-11 *****
Server E
……
21

22. まとめ（ログ収集）
• HDFSは小さなFileが“苦手”なので、ログを収集す
る過程で何度かに分けてマージする.
• 各webサーバで、中継サーバで、HDFS上で…
22

23. いかにしてログを集計するか？
いかにしてログを集計するか？
ログ するか

24. ログ集計
• ログが小さければ集計なんてナントでもなる。
– awk, perl, shell script, Excel…お好きなように。
• いかにして膨大な量のログを集計するか？
MapReduce
Pig, Hive…
24

25. Apache Pig
• MapReduceを行うためのDSL.
• 手続き型言語.
• JavaでMapReduceを実装するのに比較すれば遥
かに効率的.
• 対話的操作も可能 (Pig Latin).
• UDF (user-defined function) を自由に作成可能.
25

26. Pig script の例
2011-04-01の男女/年齢別UU/PV
Reducerの数を
の
指定出来る
指定出来る
26

27. 【あるある その1】
HDFS上にある大量のログのフォーマット変換
ほぼ同時に大量の「変換後ログ」が書き出されるが…
• HDFSにおける 書き出しは必然的にネットワークの負荷を伴う
（replication 数が1より大きい場合）
• 小分けにして変換するなど場合によっては工夫が必要。
27

28. 【あるある その2】
一ヶ月分のログの日付分割.
大量の size 0のファイルが生成されてしまう(何故でしょう ? )
• MultipleOutputFormat を使ったほうが良い。
• IF (SIZE(A)) STORE A; みたいな書き方が出来れば良いが
…。 28

29. 最後に
• 集計するところまでが、ある意味スタート地点。
• 集計結果から何を読み取るか、どう利用するか
（data mining) が重要。
• どのような分析をしたいか、そのためにどのような集
計が必要か、そのためにどのようなログが必要か、
と逆算することが大事。
• 「とりあえず適当なフォーマットでログを吐く」は止め
ましょう。
29

30. Thanks !!

31. Question ?