示例:使用 StatefulSet 部署 Cassandra
本教程演示如何在 Kubernetes 上运行 Apache Cassandra。Cassandra 是一个数据库,需要持久存储来提供数据持久性(应用程序**状态**)。在本示例中,自定义 Cassandra 种子提供程序使数据库能够发现加入 Cassandra 集群的新 Cassandra 实例。
**StatefulSet** 使在 Kubernetes 集群中部署有状态应用程序变得更加容易。有关本教程中使用的功能的更多信息,请参阅 StatefulSet。
注意
Cassandra 和 Kubernetes 都使用“节点”(node)一词来表示集群成员。在本教程中,属于 StatefulSet 的 Pod 是 Cassandra 节点,也是 Cassandra 集群(称为**环**)的成员。当这些 Pod 在 Kubernetes 集群中运行时,Kubernetes 控制平面会将这些 Pod 调度到 Kubernetes 节点上。
当 Cassandra 节点启动时,它使用**种子列表**来引导发现环中的其他节点。本教程部署了一个自定义 Cassandra 种子提供程序,使数据库能够发现 Kubernetes 集群中出现的新 Cassandra Pod。
目标
- 创建并验证 Cassandra 无头 Service。
- 使用 StatefulSet 创建 Cassandra 环。
- 验证 StatefulSet。
- 修改 StatefulSet。
- 删除 StatefulSet 及其 Pod。
准备工作
你需要拥有一个 Kubernetes 集群,并且 kubectl 命令行工具已配置为与你的集群通信。建议在本教程中使用至少两个不充当控制平面主机的节点组成的集群。如果你还没有集群,可以使用 minikube 创建一个,或者使用以下某个 Kubernetes 试验环境。
要完成本教程,你应对 Pod、Service 和 StatefulSet 有基本的了解。
Minikube 额外设置说明
注意
Minikube 默认内存为 2048MB,CPU 为 2 核。在本教程中,使用默认资源配置运行 Minikube 会导致资源不足错误。为了避免这些错误,请使用以下设置启动 Minikube:
minikube start --memory 5120 --cpus=4
为 Cassandra 创建无头 Service
在 Kubernetes 中,Service 描述了一组执行相同任务的 Pod。
以下 Service 用于 Cassandra Pod 和集群内客户端之间的 DNS 查找:
apiVersion: v1
kind: Service
metadata:
labels:
app: cassandra
name: cassandra
spec:
clusterIP: None
ports:
- port: 9042
selector:
app: cassandra
从 cassandra-service.yaml
文件创建 Service 以跟踪所有 Cassandra StatefulSet 成员。
kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-service.yaml
验证(可选)
获取 Cassandra Service。
kubectl get svc cassandra
响应为:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
cassandra ClusterIP None <none> 9042/TCP 45s
如果你没有看到名为 cassandra
的 Service,则表示创建失败。请阅读 调试服务 以获取常见问题的故障排除帮助。
使用 StatefulSet 创建 Cassandra 环
下面包含的 StatefulSet 清单创建了一个由三个 Pod 组成的 Cassandra 环。
注意
本示例使用 Minikube 的默认 Provisioner。请根据你正在使用的云更新以下 StatefulSet。apiVersion: apps/v1
kind: StatefulSet
metadata:
name: cassandra
labels:
app: cassandra
spec:
serviceName: cassandra
replicas: 3
selector:
matchLabels:
app: cassandra
template:
metadata:
labels:
app: cassandra
spec:
terminationGracePeriodSeconds: 500
containers:
- name: cassandra
image: gcr.io/google-samples/cassandra:v13
imagePullPolicy: Always
ports:
- containerPort: 7000
name: intra-node
- containerPort: 7001
name: tls-intra-node
- containerPort: 7199
name: jmx
- containerPort: 9042
name: cql
resources:
limits:
cpu: "500m"
memory: 1Gi
requests:
cpu: "500m"
memory: 1Gi
securityContext:
capabilities:
add:
- IPC_LOCK
lifecycle:
preStop:
exec:
command:
- /bin/sh
- -c
- nodetool drain
env:
- name: MAX_HEAP_SIZE
value: 512M
- name: HEAP_NEWSIZE
value: 100M
- name: CASSANDRA_SEEDS
value: "cassandra-0.cassandra.default.svc.cluster.local"
- name: CASSANDRA_CLUSTER_NAME
value: "K8Demo"
- name: CASSANDRA_DC
value: "DC1-K8Demo"
- name: CASSANDRA_RACK
value: "Rack1-K8Demo"
- name: POD_IP
valueFrom:
fieldRef:
fieldPath: status.podIP
readinessProbe:
exec:
command:
- /bin/bash
- -c
- /ready-probe.sh
initialDelaySeconds: 15
timeoutSeconds: 5
# These volume mounts are persistent. They are like inline claims,
# but not exactly because the names need to match exactly one of
# the stateful pod volumes.
volumeMounts:
- name: cassandra-data
mountPath: /cassandra_data
# These are converted to volume claims by the controller
# and mounted at the paths mentioned above.
# do not use these in production until ssd GCEPersistentDisk or other ssd pd
volumeClaimTemplates:
- metadata:
name: cassandra-data
spec:
accessModes: [ "ReadWriteOnce" ]
storageClassName: fast
resources:
requests:
storage: 1Gi
---
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: fast
provisioner: k8s.io/minikube-hostpath
parameters:
type: pd-ssd
从 cassandra-statefulset.yaml
文件创建 Cassandra StatefulSet。
# Use this if you are able to apply cassandra-statefulset.yaml unmodified
kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml
如果需要修改 cassandra-statefulset.yaml
以适应你的集群,请下载 https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml,然后从你保存修改版本所在的文件夹应用该清单:
# Use this if you needed to modify cassandra-statefulset.yaml locally
kubectl apply -f cassandra-statefulset.yaml
验证 Cassandra StatefulSet
获取 Cassandra StatefulSet
kubectl get statefulset cassandra
响应应类似于:
NAME DESIRED CURRENT AGE cassandra 3 0 13s
`StatefulSet` 资源按顺序部署 Pod。
获取 Pod 以查看按序创建的状态。
kubectl get pods -l="app=cassandra"
响应应类似于:
NAME READY STATUS RESTARTS AGE cassandra-0 1/1 Running 0 1m cassandra-1 0/1 ContainerCreating 0 8s
所有三个 Pod 可能需要几分钟才能部署完成。部署完成后,相同的命令会返回类似于以下内容的输出:
NAME READY STATUS RESTARTS AGE cassandra-0 1/1 Running 0 10m cassandra-1 1/1 Running 0 9m cassandra-2 1/1 Running 0 8m
在第一个 Pod 中运行 Cassandra nodetool,以显示环的状态。
kubectl exec -it cassandra-0 -- nodetool status
响应应类似于:
Datacenter: DC1-K8Demo ====================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 172.17.0.5 83.57 KiB 32 74.0% e2dd09e6-d9d3-477e-96c5-45094c08db0f Rack1-K8Demo UN 172.17.0.4 101.04 KiB 32 58.8% f89d6835-3a42-4419-92b3-0e62cae1479c Rack1-K8Demo UN 172.17.0.6 84.74 KiB 32 67.1% a6a1e8c2-3dc5-4417-b1a0-26507af2aaad Rack1-K8Demo
修改 Cassandra StatefulSet
使用 `kubectl edit` 修改 Cassandra StatefulSet 的大小。
运行以下命令:
kubectl edit statefulset cassandra
此命令会在你的终端中打开一个编辑器。你需要更改的行是 `replicas` 字段。以下示例是 StatefulSet 文件的摘录:
# Please edit the object below. Lines beginning with a '#' will be ignored, # and an empty file will abort the edit. If an error occurs while saving this file will be # reopened with the relevant failures. # apiVersion: apps/v1 kind: StatefulSet metadata: creationTimestamp: 2016-08-13T18:40:58Z generation: 1 labels: app: cassandra name: cassandra namespace: default resourceVersion: "323" uid: 7a219483-6185-11e6-a910-42010a8a0fc0 spec: replicas: 3
将副本数量更改为 4,然后保存清单。
StatefulSet 现在将扩容以运行 4 个 Pod。
获取 Cassandra StatefulSet 以验证你的更改。
kubectl get statefulset cassandra
响应应类似于:
NAME DESIRED CURRENT AGE cassandra 4 4 36m
清理
删除或缩减 StatefulSet 不会删除与 StatefulSet 相关联的卷。此设置是为了你的安全,因为你的数据比自动清除所有相关的 StatefulSet 资源更有价值。
警告
根据存储类和回收策略,删除 **PersistentVolumeClaim** 可能会导致关联的卷也被删除。如果卷声明被删除,请勿假定你能够访问数据。运行以下命令(链接成一个命令)以删除 Cassandra StatefulSet 中的所有内容:
grace=$(kubectl get pod cassandra-0 -o=jsonpath='{.spec.terminationGracePeriodSeconds}') \ && kubectl delete statefulset -l app=cassandra \ && echo "Sleeping ${grace} seconds" 1>&2 \ && sleep $grace \ && kubectl delete persistentvolumeclaim -l app=cassandra
运行以下命令以删除为 Cassandra 设置的 Service:
kubectl delete service -l app=cassandra
Cassandra 容器环境变量
本教程中的 Pod 使用 Google 容器注册表中的 `gcr.io/google-samples/cassandra:v13` 镜像。上述 Docker 镜像基于 debian-base 并包含 OpenJDK 8。
此镜像包含来自 Apache Debian 仓库的标准 Cassandra 安装。通过使用环境变量,你可以更改插入到 `cassandra.yaml` 中的值。
环境变量 | 默认值 |
---|---|
CASSANDRA_CLUSTER_NAME | 'Test Cluster' |
CASSANDRA_NUM_TOKENS | 32 |
CASSANDRA_RPC_ADDRESS | 0.0.0.0 |
下一步
- 了解如何扩展 StatefulSet。
- 了解更多关于 **KubernetesSeedProvider** 的信息。
- 查看更多自定义种子提供程序配置