集群资源管理器——YARN
一、hadoop yarn 简介
Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。
二、YARN架构
1. ResourceManager
ResourceManager 类似Master节点，负责统揽全局。通常在独立的机器上，以后台进程的形式运行，它是整个集群资源的主要协调者和管理者。ResourceManager 负责给用户提交的所有应用程序分配资源，它根据应用程序优先级、队列容量、ACLs、数据位置等信息，做出决策，然后以共享的、安全的、多租户的方式制定分配策略，调度集群资源。
2. NodeManager
NodeManager 类似Slave节点，负责管理YARN 集群中的每个节点。主要负责该节点内所有容器的生命周期的管理，监视资源和跟踪节点健康。具体如下：
- 启动时向
ResourceManager注册并定时发送心跳消息，等待ResourceManager的指令； - 维护
Container的生命周期，监控Container的资源使用情况； - 管理任务运行时的相关依赖，根据
ApplicationMaster的需要，在启动Container之前将需要的程序及其依赖拷贝到本地。
3. ApplicationMaster
在用户提交一个应用程序时，YARN 会启动一个轻量级的进程 ApplicationMaster。ApplicationMaster 负责协调来自 ResourceManager 的资源，并通过 NodeManager 监视容器内资源的使用情况，同时还负责任务的监控与容错。具体如下：
- 根据应用的运行状态来决定动态计算资源需求；
- 向
ResourceManager申请资源，监控申请的资源的使用情况； - 跟踪任务状态和进度，报告资源的使用情况和应用的进度信息；
- 负责任务的容错。
4. Container
Container 是 YARN 中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。当 AM 向 RM 申请资源时，RM 为 AM 返回的资源是用 Container 表示的。YARN 会为每个任务分配一个 Container，该任务只能使用该 Container 中描述的资源。ApplicationMaster 可在 Container 内运行任何类型的任务。例如，MapReduce ApplicationMaster 请求一个容器来启动 map 或 reduce 任务，而 Giraph ApplicationMaster 请求一个容器来运行 Giraph 任务。
三、YARN工作原理简述
Client提交作业到 YARN 上；Resource Manager选择一个Node Manager，启动一个Container并运行Application Master实例；Application Master根据实际需要向Resource Manager请求更多的Container资源（如果作业很小, 应用管理器会选择在其自己的 JVM 中运行任务）；Application Master通过获取到的Container资源执行分布式计算。
四、YARN工作原理详述
1. 作业提交
- Step 1：
Client调用job.waitForCompletion方法，向整个集群提交 MapReduce 作业 - Step 2：新的作业 ID(Application ID) 由
Resource Manager分配 - Step 3：作业的 Client 核实作业的输出, 计算输入的 split, 将作业的资源 (包括 Jar 包，配置文件, split 信息) 拷贝给 HDFS
- Step 4：最后, Client会调用
Resource Manager的submitApplication()来提交作业
2. 作业初始化
- Step 5：当
Resource Manager收到submitApplciation()的请求时, 就将该请求发给调度器 (scheduler), 调度器分配container, 然后资源管理器在该container内启动应用管理器进程, 由NodeManager监控 - Step 6：MapReduce 作业的
Application Manager是一个主类为MRAppMaster的 Java 应用，其通过创造一些book keeping对象来监控作业的进度, 得到任务的进度和完成报告 - Step 7：
Application Manager通过分布式文件系统得到由客户端计算好的输入 split，然后为每个输入 split 创建一个 map 任务, 根据mapreduce.job.reduces创建 reduce 任务对象。
3. 任务分配
如果作业很小, Application Manager会选择在其自己的 JVM 中运行任务。
- Step 8：如果不是小作业, 那么
Application Manager向Resource Manager请求 container 来运行所有的 map 和 reduce 任务。这些请求是通过心跳来传输的, 包括每个 map 任务的数据位置，比如存放输入 split 的主机名和机架 (rack)，调度器利用这些信息来调度任务，尽量将任务分配给存储数据的节点, 或者分配给和存放输入 split 的节点相同机架的节点。
4. 任务运行
- Step 9：当一个任务由
Resource Manager的调度器分配给一个 container 后，Application Manager通过联系节点管理器来启动 container - Step 10：任务由一个主类为
YarnChild的 Java 应用执行， 在运行任务之前首先本地化任务需要的资源，比如作业配置，JAR 文件, 以及分布式缓存的所有文件 - Step 11：最后, 运行 map 或 reduce 任务
YarnChild 运行在一个专用的 JVM 中, 但是 YARN 不支持 JVM 重用。
5. 进度和状态更新
YARN 中的任务将其进度和状态 (包括 counter) 返回给Application Manager 客户端每秒 (通过mapreduce.client.progressmonitor.pollinterval 设置) 向Application Manager请求进度更新, 展示给用户。
6. 作业完成
除了向Application Manager请求作业进度外, 客户端每 5 分钟都会通过调用 waitForCompletion() 来检查作业是否完成，时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。作业完成之后, Application Manager和 container 会清理工作状态， OutputCommiter 的作业清理方法也会被调用。作业的信息会被作业历史服务器存储以备之后用户核查。
解析视频
可以在Bilibili视频视频里了解
五、提交作业到YARN上运行
这里以提交 Hadoop Examples 中计算 Pi 的 MApReduce 程序为例，相关 Jar 包在 Hadoop 安装目录的 share/hadoop/mapreduce 目录下：
# 提交格式: hadoop jar jar包路径 主类名称 主类参数
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.2.jar pi 3 3