调度器配置

您可以通过编写一个配置文件，并将其路径作为命令行参数传递，来定制 kube-scheduler 的行为。

调度 Profile 允许您配置 kube-scheduler 中调度的不同阶段。每个阶段都在一个扩展点上公开。插件通过实现一个或多个这些扩展点来提供调度行为。

您可以通过运行 kube-scheduler --config <文件名> 来指定调度 Profile，使用 KubeSchedulerConfiguration v1 结构。

最小配置如下所示：

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
clientConnection:
  kubeconfig: /etc/srv/kubernetes/kube-scheduler/kubeconfig

Profile

调度 Profile 允许您配置 kube-scheduler 中调度的不同阶段。每个阶段都在一个 扩展点 上公开。 插件 通过实现一个或多个这些扩展点来提供调度行为。

您可以配置单个 kube-scheduler 实例来运行 多个 Profile。

扩展点

调度发生在多个阶段，这些阶段通过以下扩展点公开：

1. queueSort：这些插件提供一个排序函数，用于对调度队列中的待处理 Pod 进行排序。每次只能启用一个队列排序插件。
2. preFilter：这些插件用于在过滤之前预处理或检查关于 Pod 或集群的信息。它们可以将 Pod 标记为不可调度。
3. filter：这些插件等同于调度策略中的 Predicates，用于过滤掉不能运行该 Pod 的节点。Filters 按配置的顺序调用。如果一个 Pod 未通过所有 Filter，则标记为不可调度。
4. postFilter：当没有找到可行的节点供 Pod 使用时，将按配置顺序调用这些插件。如果任何 postFilter 插件将 Pod 标记为可调度，则不会调用其余插件。
5. preScore：这是一个信息性的扩展点，可用于进行预评分工作。
6. score：这些插件为已通过过滤阶段的每个节点提供一个分数。然后，调度器将选择总分数最高的节点。
7. reserve：这是一个信息性的扩展点，用于通知插件何时为给定 Pod 预留了资源。插件还实现了一个 Unreserve 调用，该调用会在 Reserve 期间或之后失败时被调用。
8. permit：这些插件可以阻止或延迟 Pod 的绑定。
9. preBind：这些插件在 Pod 绑定之前执行任何所需的工作。
10. bind：插件将 Pod 绑定到节点。bind 插件按顺序调用，一旦其中一个完成绑定，其余插件将被跳过。至少需要一个 bind 插件。
11. postBind：这是一个信息性的扩展点，在 Pod 绑定后被调用。
12. multiPoint：这是一个仅配置字段，允许同时启用或禁用插件在所有适用的扩展点上的功能。

对于每个扩展点，您可以禁用特定的 默认插件 或启用您自己的插件。例如：

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - plugins:
      score:
        disabled:
        - name: PodTopologySpread
        enabled:
        - name: MyCustomPluginA
          weight: 2
        - name: MyCustomPluginB
          weight: 1

您可以使用 `*` 作为 `disabled` 数组中的名称，以禁用该扩展点的所有默认插件。如果您愿意，还可以使用此功能来重新排列插件的顺序。

调度插件

以下插件默认启用，并实现了一个或多个扩展点：

• ImageLocality：优先选择已经拥有 Pod 所运行容器镜像的节点。扩展点：score。
• TaintToleration：实现 污点和容忍。实现扩展点：filter、preScore、score。
• NodeName：检查 Pod 规约的节点名称是否与当前节点匹配。扩展点：filter。
• NodePorts：检查节点是否有请求 Pod 端口的可用端口。扩展点：preFilter、filter。
• NodeAffinity：实现 节点选择器 和 节点亲和性。扩展点：filter、score。
• PodTopologySpread：实现 Pod 拓扑分布。扩展点：preFilter、filter、preScore、score。
• NodeUnschedulable：过滤掉 `.spec.unschedulable` 设置为 true 的节点。扩展点：filter。
• NodeResourcesFit：检查节点是否具有 Pod 请求的所有资源。分数可以使用三种策略之一：LeastAllocated（默认）、MostAllocated 和 RequestedToCapacityRatio。扩展点：preFilter、filter、score。
• NodeResourcesBalancedAllocation：优先选择如果 Pod 调度到那里，资源使用会更均衡的节点。扩展点：score。
• VolumeBinding：检查节点是否具有或是否可以绑定请求的 卷。扩展点：preFilter、filter、reserve、preBind、score。

  注意

  当 StorageCapacityScoring 功能启用时，score 扩展点会被启用。它优先考虑能够满足请求卷大小的最小 PV。
• VolumeRestrictions：检查节点上挂载的卷是否满足特定于卷提供商的限制。扩展点：filter。
• VolumeZone：检查请求的卷是否满足其可能具有的任何区域要求。扩展点：filter。
• NodeVolumeLimits：检查节点是否可以满足 CSI 卷限制。扩展点：filter。
• EBSLimits：检查节点是否可以满足 AWS EBS 卷限制。扩展点：filter。
• GCEPDLimits：检查节点是否可以满足 GCP-PD 卷限制。扩展点：filter。
• AzureDiskLimits：检查节点是否可以满足 Azure 磁盘卷限制。扩展点：filter。
• InterPodAffinity：实现 Pod 间亲和性和反亲和性。扩展点：preFilter、filter、preScore、score。
• PrioritySort：提供默认的优先级排序。扩展点：queueSort。
• DefaultBinder：提供默认的绑定机制。扩展点：bind。
• DefaultPreemption：提供默认的抢占机制。扩展点：postFilter。

您还可以通过组件配置 API 启用以下未默认启用的插件：

• CinderLimits：检查节点是否可以满足 OpenStack Cinder 卷限制。扩展点：filter。

多个 Profile

您可以配置 kube-scheduler 来运行多个 Profile。每个 Profile 都有一个关联的调度器名称，并且可以在其 扩展点 中配置不同的插件集。

使用以下示例配置，调度器将运行两个 Profile：一个使用默认插件，另一个禁用所有评分插件。

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: default-scheduler
  - schedulerName: no-scoring-scheduler
    plugins:
      preScore:
        disabled:
        - name: '*'
      score:
        disabled:
        - name: '*'

想要根据特定 Profile 进行调度的 Pod 可以在其 .spec.schedulerName 中包含相应的调度器名称。

默认情况下，会创建一个名为 default-scheduler 的 Profile。此 Profile 包含上述默认插件。当声明多个 Profile 时，每个 Profile 都需要一个唯一的调度器名称。

如果 Pod 未指定调度器名称，则 kube-apiserver 将其设置为 default-scheduler。因此，必须存在一个具有此调度器名称的 Profile 才能调度这些 Pod。

适用于多个扩展点的插件

从 kubescheduler.config.k8s.io/v1beta3 开始，Profile 配置中增加了一个字段 multiPoint，允许轻松地在多个扩展点上启用或禁用插件。multiPoint 配置的目的是简化用户和管理员在使用自定义 Profile 时所需的配置。

考虑一个名为 MyPlugin 的插件，它实现了 preScore、score、preFilter 和 filter 扩展点。要为 MyPlugin 在其所有可用扩展点上启用它，Profile 配置如下：

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:
      multiPoint:
        enabled:
        - name: MyPlugin

这相当于手动为其所有扩展点启用 MyPlugin，如下所示：

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: non-multipoint-scheduler
    plugins:
      preScore:
        enabled:
        - name: MyPlugin
      score:
        enabled:
        - name: MyPlugin
      preFilter:
        enabled:
        - name: MyPlugin
      filter:
        enabled:
        - name: MyPlugin

使用 multiPoint 的一个好处是，如果 MyPlugin 将来实现了另一个扩展点，multiPoint 配置将自动为其启用新扩展点。

可以使用 `disabled` 字段为特定扩展点排除 MultiPoint 扩展。这适用于禁用默认插件、非默认插件或通配符 (`'*'`) 以禁用所有插件。例如，禁用 Score 和 PreScore：

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: non-multipoint-scheduler
    plugins:
      multiPoint:
        enabled:
        - name: 'MyPlugin'
      preScore:
        disabled:
        - name: '*'
      score:
        disabled:
        - name: '*'

从 kubescheduler.config.k8s.io/v1beta3 开始，所有 默认插件 都通过 MultiPoint 在内部启用。但是，仍然可以通过单独的扩展点来灵活地重新配置默认值（例如，顺序和 Score 权重）。例如，考虑两个 Score 插件 DefaultScore1 和 DefaultScore2，每个插件的权重都为 1。它们可以像这样重新排序并具有不同的权重：

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:
      score:
        enabled:
        - name: 'DefaultScore2'
          weight: 5

在此示例中，无需显式指定 MultiPoint 中的插件，因为它们是默认插件。Score 中指定的唯一插件是 DefaultScore2。这是因为通过特定扩展点设置的插件始终优先于 MultiPoint 插件。因此，此代码片段基本上在无需指定两个插件的情况下重新排序了它们。

配置 MultiPoint 插件时，其一般优先顺序如下：

1. 特定扩展点的运行顺序靠前，其设置将覆盖其他地方的任何设置。
2. 通过 MultiPoint 手动配置的插件及其设置
3. 默认插件及其默认设置

为了演示上述层次结构，以下示例基于这些插件：

这些插件的有效示例配置如下：

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:
      multiPoint:
        enabled:
        - name: 'CustomQueueSort'
        - name: 'CustomPlugin1'
          weight: 3
        - name: 'CustomPlugin2'
        disabled:
        - name: 'DefaultQueueSort'
      filter:
        disabled:
        - name: 'DefaultPlugin1'
      score:
        enabled:
        - name: 'DefaultPlugin2'

请注意，在特定扩展点上重新声明 MultiPoint 插件不会报错。重新声明将被忽略（并记录），因为特定扩展点具有优先权。

除了将大部分配置保持在一个地方之外，此示例还执行了以下几项操作：

• 启用自定义 queueSort 插件并禁用默认插件。
• 启用 CustomPlugin1 和 CustomPlugin2，它们将在所有扩展点上首先运行。
• 禁用 DefaultPlugin1，但仅限于 filter。
• 将 DefaultPlugin2 在 score 中的顺序重新排到第一位（甚至在自定义插件之前）。

在 v1beta3 之前的配置版本中，没有 multiPoint，上述代码片段相当于：

apiVersion: kubescheduler.config.k8s.io/v1beta2
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:

      # Disable the default QueueSort plugin
      queueSort:
        enabled:
        - name: 'CustomQueueSort'
        disabled:
        - name: 'DefaultQueueSort'

      # Enable custom Filter plugins
      filter:
        enabled:
        - name: 'CustomPlugin1'
        - name: 'CustomPlugin2'
        - name: 'DefaultPlugin2'
        disabled:
        - name: 'DefaultPlugin1'

      # Enable and reorder custom score plugins
      score:
        enabled:
        - name: 'DefaultPlugin2'
          weight: 1
        - name: 'DefaultPlugin1'
          weight: 3

虽然这是一个复杂的示例，但它展示了 MultiPoint 配置的灵活性以及它与现有扩展点配置方法的无缝集成。

调度器配置迁移

• v1beta1 → v1beta2
• v1beta2 → v1beta3
• v1beta3 → v1

下一步

• 阅读 kube-scheduler 参考
• 了解 调度
• 阅读 kube-scheduler 配置 (v1) 参考