Weitere ähnliche Inhalte
Ähnlich wie Hadoop MapReduce Task Scheduler Introduction (20)
Mehr von Hanborq Inc. (12)
Hadoop MapReduce Task Scheduler Introduction
- 2. MapReduce任务调度
• 配置:mapred.jobtracker.taskScheduler
• 插件式Task调度器
• 基类TaskScheduler
• JT收到TT的心跳时,使用调度器分配Task
2
- 3. Task调度器
调度器 介绍
JobQueueTaskScheduler 一个队列,FIFO,可以指定优先级
CapacityTaskScheduler(contrib目 多个队列,每个队列可以指定资源百分比,
录) FIFO,支持优先级。可以设定单个用户占用
队列资源的百分比上限
FairScheduler(contrib目录) 默认每个用户有单独的Job pool,缺省平均
分配资源,每个job可以配置优先级,每个
pool可以配置权值和最低资源保障,支持
Slot抢占。
LimitTasksPerJobTaskScheduler 基本功能和JobQueueTaskScheduler一样,可
以指定每个Job同时运行的Task数量上限
mapred.jobtracker.scheduler.maxRunningTasks
PerJob
3
- 5. FairScheduler配置
• 配置:mapred.fairscheduler.poolnameproperty
• Job的poolname由哪个JobConf参数来指定。
• 默认是user.name,按照用户分pool
• 也可以指定为mapred.job.queue.name
• 或者group.name
5
- 8. FairScheduler xml文件举例
• <?xml version="1.0"?>
<allocations>
<pool name="sample_pool">
<minMaps>5</minMaps>
<minReduces>5</minReduces>
<weight>2.0</weight>
</pool>
<user name="sample_user">
<maxRunningJobs>6</maxRunningJobs>
</user>
<userMaxJobsDefault>3</userMaxJobsDefault>
</allocations>
8