使用 kubeadm 创建高可用集群
本页面解释了使用 kubeadm 设置高可用 Kubernetes 集群的两种不同方法
- 使用堆叠的控制平面节点。这种方法需要的底层架构较少。etcd 成员和控制平面节点位于同一位置。
- 使用外部 etcd 集群。这种方法需要更多的底层架构。控制平面节点和 etcd 成员是分开的。
在继续之前,您应该仔细考虑哪种方法最能满足您的应用和环境需求。高可用拓扑选项概述了每种方法的优缺点。
如果您在设置 HA 集群时遇到问题,请在 kubeadm 问题跟踪器中报告。
另请参阅升级文档。
注意事项
本页面不涉及在云厂商环境下运行集群。在云环境中,本文档中介绍的两种方法都不适用于类型为 LoadBalancer 的 Service 对象,也不适用于动态持久卷。开始之前
前提条件取决于您为集群控制平面选择的拓扑结构
您需要
- 三台或更多满足kubeadm 对控制平面节点的最低要求的机器。拥有奇数个控制平面节点有助于在机器或区域故障时进行 Leader 选举。
- 包括一个已经安装并正常工作的容器运行时
- 三台或更多满足kubeadm 对工作节点的最低要求的机器
- 包括一个已经安装并正常工作的容器运行时
- 集群中所有机器之间具备完整的网络连通性(公共或私有网络)
- 使用
sudo
在所有机器上拥有超级用户权限- 您可以使用不同的工具;本指南在示例中使用了
sudo
。
- 您可以使用不同的工具;本指南在示例中使用了
- 从一台设备通过 SSH 访问系统中所有节点
- 所有机器上已安装
kubeadm
和kubelet
。
请参阅堆叠式 etcd 拓扑以了解背景信息。
您需要
- 三台或更多满足kubeadm 对控制平面节点的最低要求的机器。拥有奇数个控制平面节点有助于在机器或区域故障时进行 Leader 选举。
- 包括一个已经安装并正常工作的容器运行时
- 三台或更多满足kubeadm 对工作节点的最低要求的机器
- 包括一个已经安装并正常工作的容器运行时
- 集群中所有机器之间具备完整的网络连通性(公共或私有网络)
- 使用
sudo
在所有机器上拥有超级用户权限- 您可以使用不同的工具;本指南在示例中使用了
sudo
。
- 您可以使用不同的工具;本指南在示例中使用了
- 从一台设备通过 SSH 访问系统中所有节点
- 所有机器上已安装
kubeadm
和kubelet
。
您还需要
- 另外三台或更多机器,它们将成为 etcd 集群的成员。etcd 集群中成员数量为奇数是实现最佳投票仲裁的要求。
- 这些机器同样需要安装
kubeadm
和kubelet
。 - 这些机器也需要一个已经安装并正常工作的容器运行时。
- 这些机器同样需要安装
请参阅外部 etcd 拓扑以了解背景信息。
容器镜像
每个主机都应该能够从 Kubernetes 容器镜像仓库 registry.k8s.io
读取并拉取镜像。如果您希望部署一个主机无法拉取镜像的高可用集群,这是可能的。您必须通过其他方式确保相关主机上已存在正确的容器镜像。
命令行接口
集群设置完成后,您应该在 PC 上安装 kubectl 来管理 Kubernetes。在每个控制平面节点上安装 kubectl
工具也很有用,这有助于故障排除。
两种方法的第一步
为 kube-apiserver 创建负载均衡器
注意
负载均衡器有很多配置方式。以下示例只是一种选择。您的集群需求可能需要不同的配置。创建一个名称可解析为 DNS 的 kube-apiserver 负载均衡器。
在云环境中,您应该将控制平面节点放置在 TCP 转发负载均衡器后面。此负载均衡器将流量分发到其目标列表中的所有健康的控制平面节点。apiserver 的健康检查是对 kube-apiserver 监听端口(默认值
:6443
)进行的 TCP 检查。不建议在云环境中直接使用 IP 地址。
负载均衡器必须能够通过 apiserver 端口与所有控制平面节点通信。它还必须允许在其监听端口上接收入站流量。
确保负载均衡器的地址始终与 kubeadm 的
ControlPlaneEndpoint
地址匹配。阅读软件负载均衡选项指南以获取更多详细信息。
将第一个控制平面节点添加到负载均衡器,并测试连接
nc -zv -w 2 <LOAD_BALANCER_IP> <PORT>
预期会收到连接被拒绝错误,因为 API 服务器尚未运行。但是,如果发生超时,则表示负载均衡器无法与控制平面节点通信。如果发生超时,请重新配置负载均衡器使其能够与控制平面节点通信。
将剩余的控制平面节点添加到负载均衡器目标组。
堆叠式控制平面和 etcd 节点
第一个控制平面节点的步骤
初始化控制平面
sudo kubeadm init --control-plane-endpoint "LOAD_BALANCER_DNS:LOAD_BALANCER_PORT" --upload-certs
您可以使用
--kubernetes-version
标志来设置要使用的 Kubernetes 版本。建议 kubeadm、kubelet、kubectl 和 Kubernetes 的版本匹配。--control-plane-endpoint
标志应该设置为负载均衡器的地址或 DNS 和端口。--upload-certs
标志用于将应在所有控制平面实例之间共享的证书上传到集群。如果您更喜欢手动或使用自动化工具跨控制平面节点复制证书,请移除此标志并参考下面的手动分发证书部分。
注意
kubeadm init
的标志--config
和--certificate-key
不能混用,因此如果您想使用kubeadm 配置,您必须在适当的配置位置(在InitConfiguration
和JoinConfiguration: controlPlane
下)添加certificateKey
字段。注意
一些 CNI 网络插件需要额外的配置,例如指定 Pod IP CIDR,而另一些则不需要。请参阅CNI 网络文档。要添加 Pod CIDR,请传递标志--pod-network-cidr
,或者如果您使用 kubeadm 配置文件,请在ClusterConfiguration
的networking
对象下设置podSubnet
字段。输出类似于
... You can now join any number of control-plane node by running the following command on each as a root: kubeadm join 192.168.0.200:6443 --token 9vr73a.a8uxyaju799qwdjv --discovery-token-ca-cert-hash sha256:7c2e69131a36ae2a042a339b33381c6d0d43887e2de83720eff5359e26aec866 --control-plane --certificate-key f8902e114ef118304e561c3ecd4d0b543adc226b7a07f675f56564185ffe0c07 Please note that the certificate-key gives access to cluster sensitive data, keep it secret! As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use kubeadm init phase upload-certs to reload certs afterward. Then you can join any number of worker nodes by running the following on each as root: kubeadm join 192.168.0.200:6443 --token 9vr73a.a8uxyaju799qwdjv --discovery-token-ca-cert-hash sha256:7c2e69131a36ae2a042a339b33381c6d0d43887e2de83720eff5359e26aec866
将此输出复制到文本文件中。稍后您将需要它来将控制平面节点和工作节点加入集群。
当
kubeadm init
使用--upload-certs
时,主控制平面的证书将被加密并上传到kubeadm-certs
Secret 中。要重新上传证书并生成新的解密密钥,请在已加入集群的控制平面节点上使用以下命令
sudo kubeadm init phase upload-certs --upload-certs
您还可以在
init
期间指定自定义的--certificate-key
,稍后可由join
使用。要生成此类密钥,您可以使用以下命令kubeadm certs certificate-key
证书密钥是一个十六进制编码的字符串,它是大小为 32 字节的 AES 密钥。
注意
kubeadm-certs
Secret 和解密密钥在两小时后过期。注意事项
如命令输出所示,证书密钥可访问集群敏感数据,请保密!应用您选择的 CNI 插件:按照这些说明安装 CNI 提供者。确保配置与 kubeadm 配置文件中指定的 Pod CIDR 相对应(如果适用)。
注意
您必须选择一个适合您用例的网络插件,并在继续下一步之前部署它。如果您不这样做,将无法正确启动集群。输入以下内容并观察控制平面组件的 Pod 启动
kubectl get pod -n kube-system -w
剩余控制平面节点的步骤
对于每个额外的控制平面节点,您应该
执行之前在第一个节点上由
kubeadm init
输出提供的 join 命令。它应该类似于sudo kubeadm join 192.168.0.200:6443 --token 9vr73a.a8uxyaju799qwdjv --discovery-token-ca-cert-hash sha256:7c2e69131a36ae2a042a339b33381c6d0d43887e2de83720eff5359e26aec866 --control-plane --certificate-key f8902e114ef118304e561c3ecd4d0b543adc226b7a07f675f56564185ffe0c07
--control-plane
标志告诉kubeadm join
创建一个新的控制平面。--certificate-key ...
将导致从集群中的kubeadm-certs
Secret 下载控制平面证书,并使用给定的密钥解密。
您可以并行加入多个控制平面节点。
外部 etcd 节点
设置使用外部 etcd 节点的集群与使用堆叠式 etcd 的过程类似,不同之处在于您应该首先设置 etcd,并且应该在 kubeadm 配置文件中传递 etcd 信息。
设置 etcd 集群
按照这些说明来设置 etcd 集群。
按照此处的描述设置 SSH。
将集群中任意 etcd 节点的以下文件复制到第一个控制平面节点
export CONTROL_PLANE="ubuntu@10.0.0.7" scp /etc/kubernetes/pki/etcd/ca.crt "${CONTROL_PLANE}": scp /etc/kubernetes/pki/apiserver-etcd-client.crt "${CONTROL_PLANE}": scp /etc/kubernetes/pki/apiserver-etcd-client.key "${CONTROL_PLANE}":
- 将
CONTROL_PLANE
的值替换为第一个控制平面节点的user@host
。
- 将
设置第一个控制平面节点
创建一个名为
kubeadm-config.yaml
的文件,其内容如下--- apiVersion: kubeadm.k8s.io/v1beta4 kind: ClusterConfiguration kubernetesVersion: stable controlPlaneEndpoint: "LOAD_BALANCER_DNS:LOAD_BALANCER_PORT" # change this (see below) etcd: external: endpoints: - https://ETCD_0_IP:2379 # change ETCD_0_IP appropriately - https://ETCD_1_IP:2379 # change ETCD_1_IP appropriately - https://ETCD_2_IP:2379 # change ETCD_2_IP appropriately caFile: /etc/kubernetes/pki/etcd/ca.crt certFile: /etc/kubernetes/pki/apiserver-etcd-client.crt keyFile: /etc/kubernetes/pki/apiserver-etcd-client.key
注意
堆叠式 etcd 和外部 etcd 的区别在于,外部 etcd 设置需要一个配置文件,其中在etcd
的external
对象下包含 etcd 端点。在堆叠式 etcd 拓扑中,这是自动管理的。将配置模板中的以下变量替换为集群的相应值
LOAD_BALANCER_DNS
LOAD_BALANCER_PORT
ETCD_0_IP
ETCD_1_IP
ETCD_2_IP
以下步骤与堆叠式 etcd 设置类似
在此节点上运行
sudo kubeadm init --config kubeadm-config.yaml --upload-certs
。将返回的输出 join 命令写入文本文件,以备后用。
应用您选择的 CNI 插件。
注意
您必须选择一个适合您用例的网络插件,并在继续下一步之前部署它。如果您不这样做,将无法正确启动集群。
剩余控制平面节点的步骤
步骤与堆叠式 etcd 设置相同
- 确保第一个控制平面节点已完全初始化。
- 使用您保存到文本文件中的 join 命令加入每个控制平面节点。建议一次加入一个控制平面节点。
- 不要忘记,默认情况下,
--certificate-key
中的解密密钥在两小时后过期。
引导控制平面后的常见任务
安装工作节点
工作节点可以使用之前从 kubeadm init
命令输出中保存的命令加入集群
sudo kubeadm join 192.168.0.200:6443 --token 9vr73a.a8uxyaju799qwdjv --discovery-token-ca-cert-hash sha256:7c2e69131a36ae2a042a339b33381c6d0d43887e2de83720eff5359e26aec866
手动分发证书
如果您选择不使用带有 --upload-certs
标志的 kubeadm init
,这意味着您将不得不手动将证书从主控制平面节点复制到要加入的控制平面节点。
有很多方法可以做到这一点。以下示例使用 ssh
和 scp
如果您想从一台机器控制所有节点,则需要 SSH。
在您能够访问系统中所有其他节点的主设备上启用 ssh-agent
eval $(ssh-agent)
将您的 SSH 身份添加到会话中
ssh-add ~/.ssh/path_to_private_key
在节点之间进行 SSH 连接,检查连接是否正常工作。
当您通过 SSH 登录任何节点时,添加
-A
标志。此标志允许您通过 SSH 登录的节点访问 PC 上的 SSH 代理。如果您不完全信任节点上用户会话的安全性,请考虑其他方法。ssh -A 10.0.0.7
在任何节点上使用 sudo 时,请确保保留环境,以便 SSH 转发正常工作
sudo -E -s
在所有节点上配置 SSH 后,您应该在运行
kubeadm init
后在第一个控制平面节点上运行以下脚本。此脚本将把证书从第一个控制平面节点复制到其他控制平面节点在以下示例中,将
CONTROL_PLANE_IPS
替换为其他控制平面节点的 IP 地址。USER=ubuntu # customizable CONTROL_PLANE_IPS="10.0.0.7 10.0.0.8" for host in ${CONTROL_PLANE_IPS}; do scp /etc/kubernetes/pki/ca.crt "${USER}"@$host: scp /etc/kubernetes/pki/ca.key "${USER}"@$host: scp /etc/kubernetes/pki/sa.key "${USER}"@$host: scp /etc/kubernetes/pki/sa.pub "${USER}"@$host: scp /etc/kubernetes/pki/front-proxy-ca.crt "${USER}"@$host: scp /etc/kubernetes/pki/front-proxy-ca.key "${USER}"@$host: scp /etc/kubernetes/pki/etcd/ca.crt "${USER}"@$host:etcd-ca.crt # Skip the next line if you are using external etcd scp /etc/kubernetes/pki/etcd/ca.key "${USER}"@$host:etcd-ca.key done
注意事项
只复制上面列表中的证书。kubeadm 将负责为加入的控制平面实例生成带有所需 SAN 的其余证书。如果您错误地复制了所有证书,由于缺少所需的 SAN,可能会导致附加节点的创建失败。然后在每个要加入的控制平面节点上,您必须在运行
kubeadm join
之前运行以下脚本。此脚本将把之前复制的证书从家目录移动到/etc/kubernetes/pki
USER=ubuntu # customizable mkdir -p /etc/kubernetes/pki/etcd mv /home/${USER}/ca.crt /etc/kubernetes/pki/ mv /home/${USER}/ca.key /etc/kubernetes/pki/ mv /home/${USER}/sa.pub /etc/kubernetes/pki/ mv /home/${USER}/sa.key /etc/kubernetes/pki/ mv /home/${USER}/front-proxy-ca.crt /etc/kubernetes/pki/ mv /home/${USER}/front-proxy-ca.key /etc/kubernetes/pki/ mv /home/${USER}/etcd-ca.crt /etc/kubernetes/pki/etcd/ca.crt # Skip the next line if you are using external etcd mv /home/${USER}/etcd-ca.key /etc/kubernetes/pki/etcd/ca.key