跳到主要内容

YARN队列配置

YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理框架，负责集群资源的分配和任务调度。在多用户环境中，YARN通过队列（Queue）来管理资源分配，确保不同用户或应用程序能够公平地共享集群资源。本文将详细介绍如何配置YARN队列，并通过实际案例展示其应用。

什么是YARN队列？​

YARN队列是一种逻辑上的资源池，用于将集群资源划分为多个部分，每个队列可以分配给不同的用户或应用程序。通过队列配置，管理员可以控制每个队列的资源使用量、优先级以及任务调度策略。

队列的类型​

YARN支持两种类型的队列：

  1. 父队列（Parent Queue）：可以包含子队列的队列。
  2. 叶子队列（Leaf Queue）：不能包含子队列的队列，直接用于运行应用程序。

YARN队列配置​

YARN队列的配置主要通过capacity-scheduler.xml文件完成。以下是配置队列的基本步骤：

1. 配置队列层次结构​

首先，需要在capacity-scheduler.xml中定义队列的层次结构。例如，定义一个名为root的父队列，并在其下创建两个子队列dev和prod：

xml
<configuration>
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>dev,prod</value>
  </property>
</configuration>

2. 配置队列容量​

接下来，为每个队列配置资源容量。容量表示队列可以使用的集群资源的百分比。例如，为dev队列分配40%的资源，为prod队列分配60%的资源：

xml
<configuration>
  <property>
    <name>yarn.scheduler.capacity.root.dev.capacity</name>
    <value>40</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.prod.capacity</name>
    <value>60</value>
  </property>
</configuration>

3. 配置队列的最大容量​

为了防止某个队列占用过多资源，可以设置队列的最大容量。例如，设置dev队列的最大容量为50%：

xml
<configuration>
  <property>
    <name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
    <value>50</value>
  </property>
</configuration>

4. 配置队列的访问控制​

YARN还支持为队列配置访问控制列表（ACL），以控制哪些用户或组可以提交任务到该队列。例如，限制prod队列只能由admin用户提交任务：

xml
<configuration>
  <property>
    <name>yarn.scheduler.capacity.root.prod.acl_submit_applications</name>
    <value>admin</value>
  </property>
</configuration>

实际案例​

假设我们有一个集群，资源总量为100GB内存和100个CPU核心。我们希望将资源划分为两个队列：

  • dev队列：40%的资源，用于开发和测试。
  • prod队列：60%的资源，用于生产环境。

配置示例​

xml
<configuration>
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>dev,prod</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.capacity</name>
    <value>40</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.prod.capacity</name>
    <value>60</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
    <value>50</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.prod.acl_submit_applications</name>
    <value>admin</value>
  </property>
</configuration>

运行结果​

  • dev队列将获得40GB内存和40个CPU核心，最大可使用50GB内存和50个CPU核心。
  • prod队列将获得60GB内存和60个CPU核心，且只有admin用户可以提交任务。

总结​

YARN队列配置是管理集群资源分配的关键步骤。通过合理配置队列，可以确保不同用户或应用程序能够公平、高效地使用集群资源。本文介绍了如何配置YARN队列的层次结构、容量、最大容量以及访问控制，并通过实际案例展示了其应用。

附加资源​

练习​

  1. 尝试在本地Hadoop集群中配置一个包含三个队列的YARN资源管理器，分别为dev、test和prod，并分配不同的资源容量。
  2. 为test队列设置最大容量为70%，并限制只有tester用户可以提交任务。