扩展 Service IP 地址范围

本文档分享如何扩展分配给集群的现有 Service IP 地址范围。

在你开始之前

你需要拥有一个 Kubernetes 集群，并且 kubectl 命令行工具已经被配置为与你的集群通信。建议你在一个至少有两个非控制平面主机的节点集群上运行本教程。如果你还没有集群，你可以使用 minikube 创建一个，或者使用以下 Kubernetes 训练营之一：

• Killercoda
• KodeKloud
• Play with Kubernetes

要检查版本，请输入 kubectl version。

API

带有已启用 MultiCIDRServiceAllocator 特性门控 且 networking.k8s.io/v1beta1 API 组处于活跃状态的 kube-apiserver 的 Kubernetes 集群，将创建一个名为 kubernetes 的 ServiceCIDR 对象，该对象基于 kube-apiserver 的 --service-cluster-ip-range 命令行参数的值指定 IP 地址范围。

kubectl get servicecidr

NAME         CIDRS          AGE
kubernetes   10.96.0.0/28   17d

众所周知的 kubernetes Service 将 kube-apiserver 端点暴露给 Pods，它会计算默认 ServiceCIDR 范围中的第一个 IP 地址，并将其用作其 Cluster IP 地址。

kubectl get service kubernetes

NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   17d

在这种情况下，默认 Service 使用 ClusterIP 10.96.0.1，它拥有相应的 IPAddress 对象。

kubectl get ipaddress 10.96.0.1

NAME        PARENTREF
10.96.0.1   services/default/kubernetes

ServiceCIDRs 由 终结器（finalizers） 保护，以避免留下孤立的 Service ClusterIP；终结器仅在存在包含现有 IPAddresses 的另一个子网或不存在属于该子网的 IPAddresses 时才被移除。

扩展 Service 可用 IP 的数量

在某些情况下，用户需要增加 Service 可用 IP 地址的数量。以前，增加 Service 范围是一项破坏性操作，也可能导致数据丢失。有了这个新特性，用户只需添加新的 ServiceCIDR 即可增加可用 IP 地址的数量。

添加新的 ServiceCIDR

在一个 Service 范围为 10.96.0.0/28 的集群中，只有 2^(32-28) - 2 = 14 个 IP 地址可用。kubernetes.default Service 总是被创建；对于本例而言，这意味着你只剩下 13 个可能的 Service。

for i in $(seq 1 13); do kubectl create service clusterip "test-$i" --tcp 80 -o json | jq -r .spec.clusterIP; done

10.96.0.11
10.96.0.5
10.96.0.12
10.96.0.13
10.96.0.14
10.96.0.2
10.96.0.3
10.96.0.4
10.96.0.6
10.96.0.7
10.96.0.8
10.96.0.9
error: failed to create ClusterIP service: Internal error occurred: failed to allocate a serviceIP: range is full

你可以通过创建一个新的 ServiceCIDR 来扩展或添加新的 IP 地址范围，从而增加可用于 Service 的 IP 地址数量。

cat <EOF | kubectl apply -f -
apiVersion: networking.k8s.io/v1beta1
kind: ServiceCIDR
metadata:
  name: newcidr1
spec:
  cidrs:
  - 10.96.0.0/24
EOF

servicecidr.networking.k8s.io/newcidr1 created

这将允许你创建具有 ClusterIP 的新 Service，这些 ClusterIP 将从此新范围中选取。

for i in $(seq 13 16); do kubectl create service clusterip "test-$i" --tcp 80 -o json | jq -r .spec.clusterIP; done

10.96.0.48
10.96.0.200
10.96.0.121
10.96.0.144

删除 ServiceCIDR

如果存在依赖于 ServiceCIDR 的 IPAddresses，则无法删除该 ServiceCIDR。

kubectl delete servicecidr newcidr1

servicecidr.networking.k8s.io "newcidr1" deleted

Kubernetes 在 ServiceCIDR 上使用终结器来跟踪这种依赖关系。

kubectl get servicecidr newcidr1 -o yaml

apiVersion: networking.k8s.io/v1beta1
kind: ServiceCIDR
metadata:
  creationTimestamp: "2023-10-12T15:11:07Z"
  deletionGracePeriodSeconds: 0
  deletionTimestamp: "2023-10-12T15:12:45Z"
  finalizers:
  - networking.k8s.io/service-cidr-finalizer
  name: newcidr1
  resourceVersion: "1133"
  uid: 5ffd8afe-c78f-4e60-ae76-cec448a8af40
spec:
  cidrs:
  - 10.96.0.0/24
status:
  conditions:
  - lastTransitionTime: "2023-10-12T15:12:45Z"
    message: There are still IPAddresses referencing the ServiceCIDR, please remove
      them or create a new ServiceCIDR
    reason: OrphanIPAddress
    status: "False"
    type: Ready

通过移除包含阻塞 ServiceCIDR 删除的 IP 地址的 Service

for i in $(seq 13 16); do kubectl delete service "test-$i" ; done

service "test-13" deleted
service "test-14" deleted
service "test-15" deleted
service "test-16" deleted

控制平面会注意到该移除操作。然后控制平面会移除其终结器，这样那些待删除的 ServiceCIDR 就会被实际删除。

kubectl get servicecidr newcidr1

Error from server (NotFound): servicecidrs.networking.k8s.io "newcidr1" not found