1. PHP と MySQL で
1-Click
MapReduce
(@ニコニコ超会議)
@yuya_takeyama

2. はじめに

3. 1-Click
無理でした！！！

4. PHP と MySQL で
1-Click
1カチャカチャカチャ...ッターン！
MapReduce
(@ニコニコ超会議)
@yuya_takeyama

5. N番煎じでお送りします
• MyMR on GitHub
https://github.com/yuya-takeyama/mymr
• PHP と MySQL でカジュアルに MapReduce する
http://blog.yuyat.jp/archives/1706
• もっとカジュアルに PHP と MySQL で MapReduce する
http://blog.yuyat.jp/archives/1853
• PHP と MySQL でカジュアルに MapReduce する
(スライド・Long Version)
http://www.slideshare.net/taketyan/php-mysql-mapreduce
• PHP と MySQL でカジュアルに MapReduce する
(スライド・Short Version)
http://www.slideshare.net/taketyan/php-mysql-
mapreduce-short-version

6. MapReduce とは
(word count による例)

7. MapReduce とは
データ処理のための
プログラミングモデル

8. 入力
処理の流れ ↓
Map
↓
Shuffle
↓
Reduce
↓
出力

9. Map
•入力データを受け取り
• 複数の Key/Value ペアを出力

10. •to be or not to be

11. •<"to", 1>
•<"be", 1>
•<"or", 1>
•<"not", 1>
•<"to", 1>
•<"be", 1>

12. Shuffle
•Map による Key/Value を
• Key ごとにまとめて出力

13. •<"to", 1>
•<"be", 1>
•<"or", 1>
•<"not", 1>
•<"to", 1>
•<"be", 1>

14. •<"be", [1, 1]>
•<"not", [1]>
•<"or", [1]>
•<"to", [1, 1]>

15. Reduce
•Shuffle による中間データを
• 集約して答えを出力

16. •<"be", [1, 1]>
•<"not", [1]>
•<"or", [1]>
•<"to", [1, 1]>

17. •<"be", 2>
•<"not", 1>
•<"or", 1>
•<"to", 2>

18. 複数の関数の
入出力を経て
最終的な答えを出力

19. ところで

20. MySQL で
MapReduce
したい!!!

21. それ
MySQL で
も1
カチ
ャカ
MapReduce チャ
...っ
ター
ン！
で
したい!!!

22. モチベーション
•
プログラミングモデルとしての
MapReduce を使いたい
• GROUP BY では難しい集計
•MySQL を入出力にしたい
• LL でサクッとやりたい

23. モチベーション
•
プログラミングモデルとしての
MapReduce を使いたい
• GROUP BY では難しい集計
•MySQL を入出力にしたい
PHP である必要はあまり無い
• LL でサクッとやりたい

24. モチベーション
•
もち プログラミングモデルとしての
ろん
1カ
MapReduce を使いたい
チャ
カチ
ャ...
• GROUP BY では難しい集計ッタ
ーン
！で
• MySQL を入出力にしたい
PHP である必要はあまり無い
• LL でサクッとやりたい

25. というわけで作りました

26. MyMR
https://github.com/yuya-takeyama/mymr
•MySQL を入出力とする
• PHP で Map/Reduce を書く
• カチャカチャ...ッターン！で実行

27. 実行までの流れ
•入出力に使う MySQL テーブルの用意
•PHP で Map 関数を書く
•PHP で Reduce 関数を書く
•mymr コマンドを実行する

28. 実行までの流れ
•入出力に使う MySQL テーブルの用意
•PHP で Map 関数を書く
•PHP で Reduce 関数を書く
•mymr コマンドを実行する
この辺がカチャカチャカチャ...

29. 実行までの流れ
•入出力に使う MySQL テーブルの用意
•PHP で Map 関数を書く
•PHP で Reduce 関数を書く
•mymr コマンドを実行する
この辺が...ッターン！

30. に よ る
yM R
M
文章中の
単語の数を数える例
(word count)

31. use MyMRBuilder;
Map/Reduce の定義
$builder = new Builder;
$builder->setInputTable('root@localhost/db/texts');
$builder->setOutputTable('root@localhost/db/word_counts');
$builder->setMapper(function ($record, $emitter) {
$words = preg_split('/s+/u', $record['text']);
foreach ($words as $word) {
$emitter->emit($word, 1);
}
});
$builder->setReducer(function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum);
});
return $builder;

32. use MyMRBuilder;
Map/Reduce の定義
$builder = new Builder;
$builder->setInputTable('root@localhost/db/texts');
$builder->setOutputTable('root@localhost/db/word_counts');
$builder->setMapper(function ($record, $emitter) {
$words = preg_split('/s+/u', $record['text']);
foreach ($words as $word) { 入出力テーブルの指定
$emitter->emit($word, 1);
}
});
$builder->setReducer(function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum);
});
return $builder;

33. use MyMRBuilder;
Map/Reduce の定義
$builder = new Builder;
$builder->setInputTable('root@localhost/db/texts');
$builder->setOutputTable('root@localhost/db/word_counts');
$builder->setMapper(function ($record, $emitter) {
$words = preg_split('/s+/u', $record['text']);
foreach ($words as $word) {
$emitter->emit($word, 1);
} この辺が Map
});
$builder->setReducer(function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum);
});
return $builder;

34. use MyMRBuilder;
Map/Reduce の定義
$builder = new Builder;
$builder->setInputTable('root@localhost/db/texts');
$builder->setOutputTable('root@localhost/db/word_counts');
$builder->setMapper(function ($record, $emitter) {
$words = preg_split('/s+/u', $record['text']);
foreach ($words as $word) {
$emitter->emit($word, 1);
}
});
$builder->setReducer(function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum); この辺が Reduce
});
return $builder;

35. 入力
•to be or not to be

36. Map
function ($record, $emitter) {
$words = preg_split('/s+/u',
$record['text']);
foreach ($words as $word) {
$emitter->emit($word, 1);
}
}

37. Map レコードを
連想配列として受け取る
function ($record, $emitter) {
$words = preg_split('/s+/u',
$record['text']);
foreach ($words as $word) {
$emitter->emit($word, 1);
}
}

38. Map
function ($record, $emitter) {
$words = preg_split('/s+/u',
$record['text']);
foreach ($words as $word) {
$emitter->emit($word, 1);
}
} text カラム内の
文字列をスペースで分割

39. Map
function ($record, $emitter) {
$words = preg_split('/s+/u',
$record['text']);
foreach ($words as $word) {
$emitter->emit($word, 1);
}
}
Key/Value のペアとして
中間テーブルに INSERT

40. +----+--------------------+
Map | id | text |
+----+--------------------+
| 1 | to be or not to be |
+----+--------------------+
↓ レコードを連想配列として Map へ ↓
+----+---------+-------+
| id | key | value |
+----+---------+-------+
| 1 | to | 1 |
| 2 | be | 1 |
| 3 | or | 1 |
| 4 | not | 1 |
| 5 | to | 1 |
| 6 | be | 1 |
+----+---------+-------+

41. +----+--------------------+
Map | id | text |
+----+--------------------+
| 1 | to be or not to be |
+----+--------------------+
↓ レコードを連想配列として Map へ ↓
+----+---------+-------+
| id | key | value |
+----+---------+-------+
| 1 | to | 1 |
| 2 | be | 1 |
| 3 | or | 1 |
| 4 | not
value には JSON で入れるので | 1 |
| 5 | to
構造化データも使用可能 | 1 |
| 6 | be | 1 |
+----+---------+-------+

42. +----+---------+-------+
| id | key | value |
Shuffle +----+---------+-------+
| 1 | to
| 2 | be
| 1
| 1
|
|
| 3 | or | 1 |
| 4 | not | 1 |
| 5 | to | 1 |
| 6 | be | 1 |
+----+---------+-------+
↓ キーで GROUP BY して ↓
SELECT ↓ 値は GROUP_CONCAT ↓
`key`, +---------+--------+
GROUP_CONCAT(`value`) | key | values |
FROM +---------+--------+
`中間テーブル` | be | 1,1 |
| not | 1 |
GROUP BY | or | 1 |
`key` | to | 1,1 |
+---------+--------+

43. Reduce
function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum);
}

44. Reduce
Key Value の配列
function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum);
}

45. Reduce
Value を全て足す
function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum);
}

46. Reduce
function ($key, $values) {
$sum = 0;
foreach ($values as $count) {
$sum += $count;
}
return array('count' => $sum);
}
返り値の連想配列を
レコードとして INSERT

47. +---------+--------+
| key | values |
Reduce +---------+--------+
| be | 1,1 |
| not | 1 |
| or | 1 |
| to | 1,1 |
+---------+--------+
↓ キーと値の配列を Reduce へ ↓
+----+---------+-------+
| id | key | count |
+----+---------+-------+
| 1 | be | 2 |
| 2 | not | 1 |
| 3 | or | 1 |
| 4 | to | 2 |
+----+---------+-------+

48. +---------+--------+
| key | values |
Reduce +---------+--------+
| be | 1,1 |
| not | 1 |
| or | 1 |
実際にはデリミタとして改行を使用| to | 1,1 |
+---------+--------+
改行区切りの JSON になる
↓ キーと値の配列を Reduce へ ↓
+----+---------+-------+
| id | key | count |
+----+---------+-------+
| 1 | be | 2 |
| 2 | not | 1 |
| 3 | or | 1 |
| 4 | to | 2 |
+----+---------+-------+

49. 今後の目標
•非同期 INSERT による並列化
• Hadoop へのシームレスな
移行方法の提供

50. 今後の野望
•V8 エンジンとかで
•ストレージエンジン API を
• カジュアルに叩いて
•MapReduce したい

51. 今後の野望
もち
• ろん エンジンとかで
V8 1
カチ
ャカ
• チャ
ストレージエンジン API を
...ッ
ター
• カジュアルに叩いて ン！
で
•MapReduce したい

52. ご清聴
ありがとう
ございました