关于 cgroup v2

在 Linux 上，控制组限制分配给进程的资源。

kubelet 和底层容器运行时需要与 cgroup 交互，以强制执行 Pod 和容器的资源管理，其中包括容器化工作负载的 CPU/内存请求和限制。

Linux 中 cgroup 有两个版本：cgroup v1 和 cgroup v2。cgroup v2 是新一代的 cgroup API。

什么是 cgroup v2？

特性状态： Kubernetes v1.25 [稳定]

cgroup v2 是 Linux cgroup API 的下一个版本。cgroup v2 提供了一个统一的控制系统，具有增强的资源管理功能。

cgroup v2 提供了比 cgroup v1 更多的改进，例如以下几点：

  • API 中的单一统一层级设计
  • 更安全的子树委托给容器
  • 更新的功能，例如 压力暂停信息
  • 增强了跨多个资源的资源分配管理和隔离
    • 统一计算不同类型内存分配（网络内存、内核内存等）的帐
    • 计算非即时资源变化，例如页面缓存写回的帐

一些 Kubernetes 功能专门使用 cgroup v2 来增强资源管理和隔离。例如，MemoryQoS 功能改进了内存 QoS，并依赖于 cgroup v2 原语。

使用 cgroup v2

使用 cgroup v2 的推荐方法是使用默认启用和使用 cgroup v2 的 Linux 发行版。

要检查你的发行版是否使用 cgroup v2，请参阅在 Linux 节点上识别 cgroup 版本。

要求

cgroup v2 有以下要求

  • 操作系统发行版启用 cgroup v2
  • Linux 内核版本为 5.8 或更高版本
  • 容器运行时支持 cgroup v2。例如
  • kubelet 和容器运行时配置为使用 systemd cgroup 驱动程序

Linux 发行版 cgroup v2 支持

有关使用 cgroup v2 的 Linux 发行版列表，请参阅 cgroup v2 文档

  • 容器优化操作系统（自 M97 起）
  • Ubuntu（自 21.10 起，建议使用 22.04+）
  • Debian GNU/Linux（自 Debian 11 bullseye 起）
  • Fedora (自 31 起)
  • Arch Linux（自 2021 年 4 月起）
  • RHEL 和 RHEL 类发行版（自 9 起）

要检查你的发行版是否正在使用 cgroup v2，请参阅你的发行版的文档或按照识别 Linux 节点上的 cgroup 版本中的说明进行操作。

你还可以通过修改内核 cmdline 引导参数在 Linux 发行版上手动启用 cgroup v2。如果你的发行版使用 GRUB，则应在 /etc/default/grub 下的 GRUB_CMDLINE_LINUX 中添加 systemd.unified_cgroup_hierarchy=1，然后添加 sudo update-grub。但是，推荐的方法是使用默认已启用 cgroup v2 的发行版。

迁移到 cgroup v2

要迁移到 cgroup v2，请确保满足要求，然后升级到默认启用 cgroup v2 的内核版本。

kubelet 会自动检测到操作系统在 cgroup v2 上运行，并相应地执行操作，无需其他配置。

切换到 cgroup v2 时，用户体验应该不会有任何明显差异，除非用户直接在节点上或从容器内部访问 cgroup 文件系统。

cgroup v2 使用的 API 与 cgroup v1 不同，因此，如果任何应用程序直接访问 cgroup 文件系统，则需要将其更新到支持 cgroup v2 的更新版本。例如

  • 一些第三方监视和安全代理可能依赖于 cgroup 文件系统。将这些代理更新到支持 cgroup v2 的版本。
  • 如果你运行 cAdvisor 作为独立的 DaemonSet 来监视 Pod 和容器，请将其更新到 v0.43.0 或更高版本。
  • 如果你部署 Java 应用程序，请首选完全支持 cgroup v2 的版本
  • 如果你正在使用 uber-go/automaxprocs 包，请确保你使用的版本为 v1.5.1 或更高版本。

识别 Linux 节点上的 cgroup 版本

cgroup 版本取决于所使用的 Linux 发行版以及操作系统上配置的默认 cgroup 版本。要检查你的发行版使用的 cgroup 版本，请在节点上运行 stat -fc %T /sys/fs/cgroup/ 命令

stat -fc %T /sys/fs/cgroup/

对于 cgroup v2，输出为 cgroup2fs。

对于 cgroup v1，输出为 tmpfs.。

下一步

上次修改时间：2024 年 4 月 20 日下午 1:13 PST：修复了内存 Qos 的错误链接 (48a39c77bd)