Java教程

Yarn调度器和调度算法(From 尚硅谷)

本文主要是介绍Yarn调度器和调度算法(From 尚硅谷),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

个人学习整理,所有资料来自尚硅谷
B站学习连接:添加链接描述

Yarn调度器和调度算法

​ 目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

​ CDH框架默认调度器是Fair Scheduler。

​ 具体设置详见:yarn-default.xml文件

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

1. 先进先出调度器(FIFO)

FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。
在这里插入图片描述

​ 优点:简单易懂;

​ 缺点:不支持多队列,生产环境很少使用。

2. 容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器。

2.1 容量调度器特点

在这里插入图片描述

  1. 多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。

  2. 容量保证:管理员可为每个队列设置资源最低保证和资源使用上限。

  3. 灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

  4. 多租户:支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列的资源,该调度器会对同一用户提交的作业所占资源进行限定。

2. 容量调度器资源分配算法

在这里插入图片描述
在这里插入图片描述

  1. 队列资源分配
  • 从root开始,使用深度优先算法,优先选择资源占用率最低的队列分配资源。
  1. 作业资源分配
  • 默认按照提交作业的优先级提交顺序分配资源。
  1. 容器资源分配
  • 按照容器的优先级分配资源;
  • 如果优先级相同,按照数据本地性原则
    • 优先和数据在同一节点
    • 任务和数据在同一节点
    • 任务和数据不在同一节点也不再同一机架

3. 公平调度器(Fair Scheduler)

Fair Scheduler是Facebook开发的多用户调度器。
在这里插入图片描述

3.1 公平调度器特点

(1)与容量调度器相同点:

  • 多队列:支持多队列多作业

  • 容量保证:管理员可为每个队列设置资源最低保证和资源使用上限

  • 灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

  • 多租户:支持多用户共享集群和多应用程序同时运行;为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

(2)与容量调度器不同点

  • 核心调度策略不同
    • 容量调度器:优先选择资源利用率低的队列
    • 公平调度器:优先选择对资源的缺额比例大的
  • 每个队列可以单独设置资源分配方式
    • 容量调度器:FIFO、DRF
    • 公平调度器:FIFO、FAIR、DRF

3.2 公平调度器—缺额

在这里插入图片描述

  • 公平调度器设计目标是:在时间尺度上,所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”。
  • 调度器会优先为缺额大的作业分配资源

3.3 公平调度器队列资源分配方式

  1. FIFO策略:
    ​ ​ ​ ​ ​ ​ ​ ​ 公平调度器每个队列资源分配策略如果选择FIFO的话,此时公平调度器相当于容量调度器。

  2. FAIR策略:
    ​ ​ ​ ​ ​ ​ ​ ​ FAIR策略(默认)是一种基于最大最小公平算法实现的资源多路复用方式,默认情况下,每个队列内部采用该方式分配资源。这意味着,如果一个队列中有两个应用程序同时运行,则每个应用程序可得到1/2的资源;如果三个应用程序同时运行,则每个应用程序可得到1/3的资源。

    ​ ​ ​ ​ ​ ​ ​ ​ 具体资源分配流程和容量调度器一致;1. 选择队列 2. 选择作业 3. 选择容器。以上三步,每一步都是按照公平策略分配资源。

    • 实际最小资源份额: m i n d s h a r e = M i n ( 资 源 需 求 量 【 4 】 , 配 置 的 最 小 资 源 【 2 】 ) mindshare = Min(资源需求量【4】,配置的最小资源【2】) mindshare=Min(资源需求量【4】,配置的最小资源【2】)
    • 是否饥饿: i s N e e d y = 资 源 使 用 量 【 1 】 < m i n d s h a r e ( 实 际 最 小 资 源 份 额 ) 【 2 】 isNeedy = 资源使用量【1】 < mindshare(实际最小资源份额)【2】 isNeedy=资源使用量【1】<mindshare(实际最小资源份额)【2】
    • 资源分配比: m i n S h a r e R a t i o = 资 源 使 用 量 【 1 】 / M a x ( m i n d s h a r e 【 2 】 , 1 ) minShareRatio = 资源使用量【1】/Max(mindshare【2】,1) minShareRatio=资源使用量【1】/Max(mindshare【2】,1)
    • 资源使用权重比:$useToWeightRatio = 资源使用量/权重
      在这里插入图片描述

    例子:

    ​ 对象1:资源需求量【4】,配置的最小资源【2】,资源使用量【3】,权重【1】

    ​ 对象2:资源需求量【4】,配置的最小资源【2】,资源使用量【1】,权重【1】

    比较对象1和对象2:对象1和对象2的最小资源份额 m i n d s h a r e = 2 mindshare = 2 mindshare=2,对象1不饥饿,对象2饥饿。因此对象2优先。

    ​ 对象1:资源需求量【4】,配置的最小资源【2】,资源使用量【3】,权重【1】

    ​ 对象3:资源需求量【4】,配置的最小资源【2】,资源使用量【5】,权重【2】

    比较对象1和对象3:对象1和对象3都不饥饿,对象1的资源使用权重比为3,对象3的资源使用权重为2.5,因此对象3优先。

    ​ 对象2:资源需求量【4】,配置的最小资源【2】,资源使用量【1】,权重【1】

    ​ 对象4:资源需求量【4】,配置的最小资源【2】,资源使用量【0.5】,权重【1】

    比较对象2和对象4:对象2和对象4的实际最小资源份额都是2,且都是饥饿。对象2的资源分配比是 m i n S h a r e R a t i o = 1 / M a x ( 2 , 1 ) = 0.5 minShareRatio = 1/Max(2,1)=0.5 minShareRatio=1/Max(2,1)=0.5,对象4的 m i n S h a r e R a t i o = 0.5 / M a x ( 2 , 1 ) = 0.25 minShareRatio = 0.5/Max(2,1)=0.25 minShareRatio=0.5/Max(2,1)=0.25,因此对象4优先。

3.4 公平调度器资源分配算法

在这里插入图片描述
在这里插入图片描述

  1. 队列资源分配

    需求:集群总资源100,有三个队列,对资源的需求分别是:queueA->20,queueB->50,queueC->30
    在这里插入图片描述

  2. 作业资源分配

  • 不加权重(关注点是Job个数):
    在这里插入图片描述

  • 加权(关注点是Job的权重)
    在这里插入图片描述

  1. DRF策略

    ​ ​ ​ ​ ​ ​ ​ ​ DRF(Dominant Resource Fairness),在之前所说的资源,都是单一标准,例如只考虑内存(也是Yarn默认的情况)。但是很多时候资源有很多种,例如内存,CPU,网络宽带等,这样很难衡量两个应用应该分配的资源比例。

    ​ ​ ​ ​ ​ ​ ​ ​ 在Yarn中,可以用DRF来调度:

    ​ ​ ​ ​ ​ ​ ​ ​ 假设集群一共有100个CPU和10T内存,应用A需要(2CPU,300G),应用B需要(6CPU,100GB)。则两个应用分别需要A(2%CPU,3%内存)和B(6%CPU,1%内存)的资源,这就意味着A是内存主导的,B是CPU主导的,针对这种情况,可以选择DRF策略对不同应用进行不同资源(CPU和内存)的一个不同比例的限制。

这篇关于Yarn调度器和调度算法(From 尚硅谷)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!