流控

API Priority and Fairness（API 优先级和公平性）控制 Kubernetes API 服务器在过载情况下的行为。你可以在API Priority and Fairness 文档中找到更多信息。

诊断

启用优先级和公平性特性后，API 服务器的每个 HTTP 响应都有两个额外的头：X-Kubernetes-PF-FlowSchema-UID 和 X-Kubernetes-PF-PriorityLevel-UID，分别注明匹配请求的流模式（Flow Schema）和分配的优先级级别（Priority Level）。这些头信息中不包含 API 对象的名称（以避免在请求用户没有查看权限时泄露细节）。调试时，你可以使用如下命令：

kubectl get flowschemas -o custom-columns="uid:{metadata.uid},name:{metadata.name}"
kubectl get prioritylevelconfigurations -o custom-columns="uid:{metadata.uid},name:{metadata.name}"

以获取 FlowSchemas 和 PriorityLevelConfigurations 的 UID 到名称的映射。

调试端点

启用 APIPriorityAndFairness 特性后，kube-apiserver 会在其 HTTP(S) 端口提供以下附加路径。

你需要确保拥有访问这些端点的权限。如果你使用的是管理员，则无需执行任何操作。如果需要，可以遵循 RBAC 文档通过指定 nonResourceURLs 来授予访问 /debug/api_priority_and_fairness/ 的权限。

  • /debug/api_priority_and_fairness/dump_priority_levels - 列出所有优先级级别及其当前状态。你可以这样获取：

    kubectl get --raw /debug/api_priority_and_fairness/dump_priority_levels

    输出将是 CSV 格式，类似于这样：

    PriorityLevelName, ActiveQueues, IsIdle, IsQuiescing, WaitingRequests, ExecutingRequests, DispatchedRequests, RejectedRequests, TimedoutRequests, CancelledRequests
catch-all,         0,            true,   false,       0,               0,                 1,                  0,                0,                0
exempt,            0,            true,   false,       0,               0,                 0,                  0,                0,                0
global-default,    0,            true,   false,       0,               0,                 46,                 0,                0,                0
leader-election,   0,            true,   false,       0,               0,                 4,                  0,                0,                0
node-high,         0,            true,   false,       0,               0,                 34,                 0,                0,                0
system,            0,            true,   false,       0,               0,                 48,                 0,                0,                0
workload-high,     0,            true,   false,       0,               0,                 500,                0,                0,                0
workload-low,      0,            true,   false,       0,               0,                 0,                  0,                0,                0

    选定列名的解释

    • IsQuiescing 指示当其队列已排空时，此优先级级别是否将被移除。

  • /debug/api_priority_and_fairness/dump_queues - 列出所有队列及其当前状态。你可以这样获取：

    kubectl get --raw /debug/api_priority_and_fairness/dump_queues

    输出将是 CSV 格式，类似于这样：

    PriorityLevelName, Index,  PendingRequests, ExecutingRequests, SeatsInUse, NextDispatchR,   InitialSeatsSum, MaxSeatsSum, TotalWorkSum
workload-low,      14,     27,              0,                 0,          77.64342019ss,   270,             270,         0.81000000ss
workload-low,      74,     26,              0,                 0,          76.95387841ss,   260,             260,         0.78000000ss
...
leader-election,   0,      0,               0,                 0,          5088.87053833ss, 0,               0,           0.00000000ss
leader-election,   1,      0,               0,                 0,          0.00000000ss,    0,               0,           0.00000000ss
...
workload-high,     0,      0,               0,                 0,          0.00000000ss,    0,               0,           0.00000000ss
workload-high,     1,      0,               0,                 0,          1119.44936475ss, 0,               0,           0.00000000ss

    选定列名的解释

    • NextDispatchR：以 seat-second 为单位的 R 进度表读数，下一个请求将在此读数时被调度。
    • InitialSeatsSum：给定队列中与所有请求关联的 InitialSeats 的总和。
    • MaxSeatsSum：给定队列中与所有请求关联的 MaxSeats 的总和。
    • TotalWorkSum：给定队列中所有等待请求的总工作量（以 seat-second 为单位）总和。

    注意：seat-second（缩写为 ss）是 APF 世界中衡量工作量的单位，以 seat-seconds 为单位。

  • /debug/api_priority_and_fairness/dump_requests - 列出所有请求，包括在队列中等待的请求和正在执行的请求。你可以这样获取：

    kubectl get --raw /debug/api_priority_and_fairness/dump_requests

    输出将是 CSV 格式，类似于这样：

    PriorityLevelName, FlowSchemaName,   QueueIndex, RequestIndexInQueue, FlowDistingsher,                        ArriveTime,                     InitialSeats, FinalSeats, AdditionalLatency, StartTime
exempt,            exempt,           -1,         -1,                  ,                                       2023-07-15T04:51:25.596404345Z, 1,            0,          0s,                2023-07-15T04:51:25.596404345Z
workload-low,      service-accounts, 14,         0,                   system:serviceaccount:default:loadtest, 2023-07-18T00:12:51.386556253Z, 10,           0,          0s,                0001-01-01T00:00:00Z
workload-low,      service-accounts, 14,         1,                   system:serviceaccount:default:loadtest, 2023-07-18T00:12:51.487092539Z, 10,           0,          0s,                0001-01-01T00:00:00Z

    你可以使用类似这样的命令获取更详细的列表：

    kubectl get --raw '/debug/api_priority_and_fairness/dump_requests?includeRequestDetails=1'

    输出将是 CSV 格式，类似于这样：

    PriorityLevelName, FlowSchemaName,   QueueIndex, RequestIndexInQueue, FlowDistingsher,                        ArriveTime,                     InitialSeats, FinalSeats, AdditionalLatency, StartTime,                      UserName,                               Verb,   APIPath,                                   Namespace,   Name,   APIVersion, Resource,   SubResource
exempt,            exempt,           -1,         -1,                  ,                                       2023-07-15T04:51:25.596404345Z, 1,            0,          0s,                2023-07-15T04:51:25.596404345Z, system:serviceaccount:system:admin,     list,   /api/v1/namespaces/kube-stress/configmaps, kube-stress, ,       v1,         configmaps,
workload-low,      service-accounts, 14,         0,                   system:serviceaccount:default:loadtest, 2023-07-18T00:13:08.986534842Z, 10,           0,          0s,                0001-01-01T00:00:00Z,           system:serviceaccount:default:loadtest, list,   /api/v1/namespaces/kube-stress/configmaps, kube-stress, ,       v1,         configmaps,
workload-low,      service-accounts, 14,         1,                   system:serviceaccount:default:loadtest, 2023-07-18T00:13:09.086476021Z, 10,           0,          0s,                0001-01-01T00:00:00Z,           system:serviceaccount:default:loadtest, list,   /api/v1/namespaces/kube-stress/configmaps, kube-stress, ,       v1,         configmaps,

    选定列名的解释

    • QueueIndex：队列的索引。对于没有队列的优先级级别，其值为 -1。
    • RequestIndexInQueue：给定请求在队列中的索引。对于正在执行的请求，其值为 -1。
    • InitialSeats：在请求执行的初始（正常）阶段将被占用的座位数。
    • FinalSeats：在请求执行的最后阶段将被占用的座位数，其中考虑了相关的 WATCH 通知。
    • AdditionalLatency：请求执行最后阶段花费的额外时间。在此期间将占用 FinalSeats。这不代表用户将观察到的任何延迟。
    • StartTime：请求开始执行的时间。对于排队请求，其值为 0001-01-01T00:00:00Z。

调试日志

当日志详细级别为 -v=3 或更高时，API 服务器会在 API 服务器日志中为每个请求输出一条 httplog 行，该行包含以下属性。

  • apf_fs：请求被归类的流模式（Flow Schema）的名称。
  • apf_pl：该流模式对应的优先级级别（Priority Level）的名称。
  • apf_iseats：为请求执行的初始（正常）阶段确定的座位数。
  • apf_fseats：为请求执行的最后阶段（考虑相关的 watch 通知）确定的座位数。
  • apf_additionalLatency：请求执行最后阶段的持续时间。

在更高的详细级别下，会有日志行暴露 APF 如何处理请求的详细信息，主要用于调试目的。

响应头

APF 为每个 HTTP 响应消息添加以下两个头。它们不会出现在审计日志中。可以从客户端查看它们。对于使用 klog 的客户端，使用详细级别 -v=8 或更高来查看这些头。

  • X-Kubernetes-PF-FlowSchema-UID 包含对应请求被归类的 FlowSchema 对象的 UID。
  • X-Kubernetes-PF-PriorityLevel-UID 包含与该 FlowSchema 相关联的 PriorityLevelConfiguration 对象的 UID。

下一步

有关 API 优先级和公平性设计细节的背景信息，请参阅增强提案。

最后修改时间：2023 年 9 月 14 日 太平洋标准时间下午 6:34：处理评论 (0469dc9b32)