3. 6 章 MapReduce の動作

7. MapReduce ジョブの実行遷移図 MapReduce プログラム JobClient JobTracker TaskTracker 子 Map タスク あるいは Redule タスク 共有ファイル システム （ HDFS 等） 1. ジョブの実行 2. 新規ジョブの取得 4. ジョブの投入 3. ジョブの リソースのコピー 5. ジョブの初期化 6. 入力スピリットの取得 8. ジョブのリソースの取得 9. 起動 10. 実行 7. ハートビート （タスクの返却） クライアント JVM クライアントノード Jobtracker ノード tasktracker ノード 子 JVM

14. ストリーミングとパイプ ストリーミング TaskTracker 子 Map タスク あるいは Redule タスク 9. 起動 実行 tasktracker ノード 子 JVM ストリーミング タスク 起動 出力キー / 値 入力キー / 値 標準入力 標準出力 TaskTracker 子 Map タスク あるいは Redule タスク 9. 起動 実行 tasktracker ノード 子 JVM C++map あるいは Reduce タスク ソケット 起動 出力キー / 値 パイプ

16. 6.1.5 進行状況とステータスの更新 MapReduce プログラム JobClient JobTracker TaskTracker 子 Map タスク あるいは Redule タスク 共有ファイル システム （ HDFS 等） getJob getJobStatus 9. 起動 ハートビート クライアント JVM クライアントノード Jobtracker ノード tasktracker ノード 子 JVM 進行状況あるいはカウンターの更新 statusUpdate

28. 6.4 シャッフルとソート map タスク reduce タスク map reduce 入力 スプリット メモリ内 バッファ コピーフェーズ ディスク上での マージ パーティション 取得 他の reduce へ 他の map から メモリとディスク上にデータが混在 マージ 出力 ソートフェーズ reduce フェーズ

32. 6.4.3 設定のチューニング [map] map の出力を reducer に提供するために使われる、 tasktracker ごとのワーカースレッド数。これはクラスタ単位の設定であり、ジョブ単位には設定することは出来ない。 40 int tasktracker.http.threads map の出力に使われる圧縮コーデック。 org.apache.hadoop.io.compress.DefaultCodec クラス名 mapred.map.outupt.compression.codec combiner を実行する（ combiner が指定されている場合）のに必要な最小限のスピルファイル数。 3 int min.num.spills.for.bombine map 出力のメモリバッファと、レコード境界インデックスの両方に適用される。ディスクにスピルを書き出し始めるかどうかの判定をするための利用率の閾値。 10 int io.sort.spill.percent io.sort.mb の中で、 map の出力のレコード境界を保存するために予約される比率。残りの領域は map の出力レコードのために使われる。 0.05 fload io.soft.record.percent map 出力のソートに使われるメモリバッファの量（単位はメガバイト） 100 int io.sort.mb 説明 デフォルト値 型 プロパティ名

33. 6.4.3 設定のチューニング [reduce] reduce の過程で、 map の出力を保持するために使われるバッファの、総ヒープサイズに対する比率。 reduce フェーズが開始されるためには、メモリ内にある map の出力サイズがこのサイズよりも大きくなければならない。デフォルトでは、 reduce の処理が出来る限りのメモリを使えるようにするため、すべての map の出力は reduce が開始される前にディスク上にマージされている。しかし reducer がそれほどメモリを使わない場合、この値を増やすことでディスクとのやりとりを最小限に抑えられることがある。 0.0 float mapred.job.reduce.input.buffer.percent map の出力をマージし、スピルとしてディスクに書き出すプロセスが開始される、 map 出力数の閾値。 0 以下の値を指定した場合、閾値がない物と見なされ、スピルの動作は mapred.job.shuffle.merge.percent でのみ管理される。 1000 int mapred.inmem.merge.threshold map の出力バッファ（ mapred.job.shuffle.input.buffer.percent で指定）に対する使用率の閾値。この値を超えると出力のディスクへのスピルへの書き出しが開始される。 0.66 float mapred.job.shuffle.merge.percent 総ヒープサイズに対する、シャッフルのコピーフェーズ間の map の出力バッファへの割り当て比率 0.70 float mapred.job.shuffle.input.burffer.percent このファイルをソートする際に同時にマージされる最大のストリーム数。 このプロパティは map でも使われる。 10 int io.sort.factor 1 つの map の出力を reduce が取得する際に、失敗したと判定するまでの時間（秒）。 reducer は、この時間内であれば、何回取得に失敗しても繰り返し転送をしてみることができる（その際には、指数関数的に間隔をあけていく） 300 int mapred.reduce.copy.backoff map の出力を reduce にコピーするために使われるスレッド数。 5 int maprd.reduce.parallel.copies 説明 デフォルト値 型 プロパティ名

39. 6.5.4 タスクの実行環境 true このタスクが map タスクかどうか boolean mapred.task.is.map 3 ジョブ内でのタスク ID int mapred.task.partition attempt_200811201130_0004_m_000003_0 タスク試行 ID （タスク ID とは別） String mapred.task.id task_200811201130_0004_m_000003 タスク ID String mapred.tip.id job_200811201130_0004 ジョブ ID （フォーマットの説明は「 5.5.2 ジョブの起動」のコラム「ジョブ、タスク、タスク試行 ID 」を参照） String mapred.job.id 例 説明 型 プロパティ名

43. ご清聴ありがとうございました。