为集群节点预留容量

本页指导你如何在 Kubernetes 集群中配置节点过度配置。节点过度配置是一种主动预留集群计算资源一部分的策略。此预留有助于在扩缩事件期间减少调度新 Pod 所需的时间,从而增强集群对突发流量或工作负载需求的响应能力。

通过保留一部分未使用的容量,你可以确保在新 Pod 创建时资源立即可用,防止它们在集群扩缩时进入 Pending 状态。

开始之前

  • 你需要有一个 Kubernetes 集群,并且 kubectl 命令行工具已配置为与你的集群通信。
  • 你应该已对 Deployment、Pod 优先级PriorityClass 有基本的了解。
  • 你的集群必须设置有基于需求管理节点的自动扩缩器

创建 PriorityClass

首先为占位 Pod 定义一个 PriorityClass。创建一个优先级为负值的 PriorityClass,稍后你会将此 PriorityClass 分配给占位 Pod。之后,你将创建一个使用此 PriorityClass 的 Deployment。

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: placeholder # these Pods represent placeholder capacity
value: -1000
globalDefault: false
description: "Negative priority for placeholder pods to enable overprovisioning."

然后创建 PriorityClass

kubectl apply -f https://k8s.io/examples/priorityclass/low-priority-class.yaml

接下来,你将定义一个使用负优先级 PriorityClass 并运行最小容器的 Deployment。当你将其添加到集群时,Kubernetes 会运行这些占位 Pod 来预留容量。当出现容量不足时,控制平面将选择其中一个占位 Pod 作为第一个被抢占的候选对象。

运行请求节点容量的 Pod

查看示例清单

apiVersion: apps/v1
kind: Deployment
metadata:
  name: capacity-reservation
  # You should decide what namespace to deploy this into
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: capacity-placeholder
  template:
    metadata:
      labels:
        app.kubernetes.io/name: capacity-placeholder
      annotations:
        kubernetes.io/description: "Capacity reservation"
    spec:
      priorityClassName: placeholder
      affinity: # Try to place these overhead Pods on different nodes
                # if possible
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchLabels:
                app: placeholder
            topologyKey: "kubernetes.io/hostname"
      containers:
      - name: pause
        image: registry.k8s.io/pause:3.6
        resources:
          requests:
            cpu: "50m"
            memory: "512Mi"
          limits:
            memory: "512Mi"

为占位 Pod 选择一个命名空间

你应该选择或创建一个占位 Pod 将驻留的命名空间

创建占位 Deployment

基于该清单创建一个 Deployment

# Change the namespace name "example"
kubectl --namespace example apply -f https://k8s.io/examples/deployments/deployment-with-capacity-reservation.yaml

调整占位 Pod 资源请求

配置占位 Pod 的资源请求和限制,以定义你想要维持的过度配置资源量。这种预留确保了特定量的 CPU 和内存可供新 Pod 使用。

要编辑 Deployment,请修改 Deployment 清单文件中的 resources 部分,以设置适当的请求和限制。你可以将该文件下载到本地,然后使用你喜欢的文本编辑器进行编辑。

你也可以使用 kubectl 编辑 Deployment

kubectl edit deployment capacity-reservation

例如,要在 5 个占位 Pod 中总共预留 0.5 CPU 和 1GiB 内存,请按如下方式定义单个占位 Pod 的资源请求和限制:

  resources:
    requests:
      cpu: "100m"
      memory: "200Mi"
    limits:
      cpu: "100m"

设置所需的副本数

计算总预留资源量

例如,对于每个预留 0.1 CPU 和 200MiB 内存的 5 个副本:
总预留 CPU:5 × 0.1 = 0.5 (在 Pod 规约中,你将写数量 500m)
总预留内存:5 × 200MiB = 1GiB (在 Pod 规约中,你将写 1 Gi)

要扩缩 Deployment,请根据集群大小和预期工作负载调整副本数量

kubectl scale deployment capacity-reservation --replicas=5

验证扩缩结果

kubectl get deployment capacity-reservation

输出应反映更新后的副本数量

NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
capacity-reservation   5/5     5            5           2m

接下来

  • 进一步了解 PriorityClass 及其如何影响 Pod 调度。
  • 探索节点自动扩缩,以根据工作负载需求动态调整集群大小。
  • 理解Pod 抢占,这是 Kubernetes 处理资源竞争的关键机制。同一页面还包含有关驱逐(Eviction)的内容,虽然与占位 Pod 方法不太相关,但也是 Kubernetes 在资源竞争时做出反应的一种机制。
最后修改于 2024 年 11 月 18 日下午 5:22 PST: 微调节点容量过度配置任务 (d34ee98252)