Introduction about Hadoop YARN. BTW: 这是我的每周讨论会上某次报告，内容不多。 从Google Docs导出再导入slideshare，格式有点不对，怎么首页就变形了？！

1. Hadoop 0.23 MRv2 分析
nourlcn{at}gmail.com
2012-05-25

2. 目录
• 背景
• YARN 模块组织
• 编程模型
• 事件处理流程
• 本地化问题
• 性能

3. 背景
Hadoop 0.23 的设计目标如下 :
可靠性
可用性
可扩展性 – 10000 节点 ,200000 core
向后兼容 – 更够保证用户程序不经过任何修改就可以运行在 0.23 上
热升级
可预见的时效性
资源利用率 – 不再区分 map/reduce 槽位 , 按照资源调度
支持其他编程模型 – 比如 MPI 可以运行在 0.23 上
支持有限的 , 生命周期较短的 service

4. YARN- 模块组织

5. YARN- 模块组织 -1
ResourceManager
管理和分配集群的资源 , 是集群的一个单点 , 通过 zookeeper 来保存状态以便 failover 。
RM 主要包含两个功能组件 :Applications Manager(AsM) 和 Resource Scheduler (RS):
•AsM 负责
o 接收 client 的作业提交请求
o 接收 AppMaster 请求 Container
o 处理 AM 的 fail;
•RS 负责在多个 application 之间分配资源 , 同样存在 queue,capacity 的限制 ,RS 调度的单位
是 Resource Container, 一个 Container 是 memory, cpu, disk, network 的组合 , 在 0.23.0 中
只支持 memory 。
Yarn 支 持 可 插 拔 的 调 度 器 , 在 0.23.0 中 支 持 FiFoScheduler 和 CapacityScheduler 。

6. YARN- 模块组织 -2
NodeManager
• 部署在每个节点上的 slave, 负责启动 container, 并
且监测进程组的资源使用情况。
• NodeManager 上可以搭载一些简单的 service, 比如
shuffle service 。

7. YARN- 模块组织 -3
ApplicationMaster
•每个 application 的 master, 负责和 ResourceManager 协商资源 , 将相
应的 Task 分配到合适的 Container 上执行 , 并监测 Task 的执行情况。
在和 RM 协商资源的时候 , 可以加上资源偏好 , 比如 MapReduceMaster
为了本地化会将 input-split 信息转化成对应的资源请求。
•ApplicationMaster
将其 history 文件持久化到 HDFS 上 , 并在 AM 出问
题的时候 , 回放 history 文件 , 进行断点重启。

8. 简单作业提交过程
1) 用户通过 JobClient 向 RM 提交作业
2) RM 为 AM 分配 Container, 并请求 NM 启动 AM
3) AM 启动后 , 向 RM 协商 Task 的资源
4) 获得资源后 ,AM 通知 NM 启动 Task
5) Task 启动后 , 向 AM 发送心跳 , 更新进度、状态和
出错信息

9. 编程模型
• 基于事件驱动
• 抽象出 service 、 event 、 dispatcher 等概念

10. ResourceManager 事件流图

11. 本地化问题
资源描述会加入 host/rack 信息 , 并且包含优先级信息 , 目前 0.23 支持 3
种优先 MAP,REDUCE,FAST-FAILMAP( 通过 shuffle 获知的 map 结果丢
失 , 重算 map), 一个典型的资源描述信息如下表 1 所示 :
AM 来负责向 yarn 申请资源 scheduler 可以理解的资源请求格式如下如上表。

12. 性能
测试选取了 3 个版本 Hadoop-v2, 社区 Hadoop 1.0.1 (0.20.205.1),
社区 Hadoop 0.23; 测试了 map 中间结果不开压缩和 map 中间
结果开 Lzo 和 Snappy 压缩两种情况 , 每个 case 跑 3 次。
[ 结果不便透露，此图省略 ]

13. 毕设问题
• 代码流程： submit 后跟踪不到代码
• 多个版本的代码共存（ Shuffle ）
• 调试问题

14. 谢谢 ~ ！