Das Dokument behandelt das Design von Hadoop MapReduce-Programmen zur Verarbeitung großer Textdaten. Es wird ein Überblick über die grundlegenden Konzepte und Schritte zur Implementierung von MapReduce-Algorithmen gegeben. Die beschriebenen Designmuster und Abläufe sind darauf ausgelegt, die Effizienz bei der Datenverarbeitung zu steigern.

3. Hadoop MapReduce デザ
インパターン
——MapReduceによる大規
模テキストデータ処理
1 Jimmy Lin, Chris Dyer�著、神
林 飛志、野村 直之�監修、玉川
竜司�訳
2 2011年10月01日 発売予定
3 210ページ
4 定価2,940円

8. Shuffle &
barrier
job start/
shutdown
i i+1

9. 1
B E
5 1
4
A D G
3
3 2
4
C 5 F

10. 5 1
B E
5 1
3 4
A D G
3
3 2 5!4 min(6,4)
4 1
B E
C 5 F
5 1
i 3 4
A D G
3
3 2
4
3 2
C 5 F
i+1

13. a super step
http://en.wikipedia.org/wiki/Bulk_Synchronous_Parallel

14. .
.
.

15. a super step

19. a super step

23. 1
B E
5 1
4
A D G
3
3 2
4
C 5 F
initialize

24. +∞ B 1 +∞
E
5 1
0 +∞ 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
1

25. +∞ B 1 +∞
E
5 1
0 +∞ 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
1

26. +∞ B 1 +∞
E
5 1
0 +∞ 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
1

27. 5 1 +∞
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
1

28. 5 1 +∞
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
2

29. 5 1 +∞
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
2

30. 4 1 6
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
6 C 5 F 5
2

31. 4 1 6
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
6 C 5 F 5
3

32. 4 1 6
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
6 C 5 F 5
3

33. 4 1 5
B E
5 1
0 3 4 9
A D G
3
3 2
4
6 C 5 F 5
3

34. 4 1 5
B E
5 1
0 3 4 9
A D G
3
3 2
4
6 C 5 F 5
end

36. +∞ B 1 +∞
E
5 1
0 +∞ 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
1

37. +∞ B 1 +∞
E
5 1
0 +∞ 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
1

38. +∞ B 1 +∞
E
5 1
0 +∞ 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
1

39. 5 1 +∞
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
2

40. 5 1 +∞
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
+∞ C 5 F +∞
2

41. 4 1 6
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
6 C 5 F 5
3

42. 4 1 6
B E
5 1
0 3 4 +∞
A D G
3
3 2
4
6 C 5 F 5
3

43. 4 1 5
B E
5 1
0 3 4 9
A D G
3
3 2
4
6 C 5 F 5
4

44. 4 1 5
B E
5 1
0 3 4 9
A D G
3
3 2
4
6 C 5 F 5
4

45. 4 1 5
B E
5 1
0 3 4 9
A D G
3
3 2
4
6 C 5 F 5
5

46. 4 1 5
B E
5 1
0 3 4 9
A D G
3
3 2
4
6 C 5 F 5
5

47. 4 1 5
B E
5 1
0 3 4 9
A D G
3
3 2
4
6 C 5 F 5
end