这篇文章已超过一年。较旧的文章可能包含过时的内容。请检查页面中的信息自发布以来是否已不再正确。

在 Kubernetes 上进行开发

作者：Michael Hausenblas (Red Hat), Ilya Dmitrichenko (Weaveworks) | 2018 年 5 月 1 日，星期二

如何开发一个 Kubernetes 应用程序？也就是说，你如何编写和测试一个旨在 Kubernetes 上运行的应用程序？本文重点介绍你在独自或团队环境中成功编写 Kubernetes 应用程序时可能需要了解的挑战、工具和方法。

我们假设你是一名开发者，拥有偏爱的编程语言、编辑器/IDE 和可用的测试框架。主要目标是在为 Kubernetes 开发应用程序时，尽量减少对当前工作流程的改变。例如，如果你是一名 Node.js 开发者，习惯了热重载设置——也就是说，在编辑器中保存时，运行中的应用程序会自动更新——那么处理容器和容器镜像、容器注册表、Kubernetes 部署、触发器等，不仅可能让人感到不知所措，而且会彻底夺走开发的乐趣。

接下来，我们将首先讨论整体开发设置，然后回顾相关工具，最后动手演示三个允许针对 Kubernetes 进行迭代式本地应用开发的示例工具。

在哪里运行你的集群？

作为开发者，你需要考虑用于开发的 Kubernetes 集群在哪里运行，以及开发环境本身在哪里。概念上，有四种开发模式：

Dev Modes

包括 Minikube、Docker for Mac/Windows、Minishift 以及我们在下文详细讨论的工具在内的许多工具都支持纯离线开发。有时，例如在某些微服务已在集群中运行的微服务设置中，代理设置（将流量转发到集群内和从集群中转发出来）更可取，Telepresence 就是这类工具的例子。实时模式本质上意味着你正在针对远程集群进行构建和/或部署，最后，纯在线模式意味着你的开发环境和集群都是远程的，例如 Eclipse Che 或 Cloud 9 就是这种情况。现在让我们仔细看看离线开发的基础知识：在本地运行 Kubernetes。

Minikube 是那些喜欢在本地虚拟机中运行 Kubernetes 的用户的热门选择。最近，适用于 Mac 和 Windows 的 Docker 也开始以实验包的形式（在“edge”通道中）提供 Kubernetes。选择 Minikube 而非 Docker 桌面版本的一些原因包括：

你已经安装并运行了 Minikube
你更愿意等待 Docker 发布稳定版本
你是 Linux 桌面用户
你是没有 Windows 10 Pro 和 Hyper-V 的 Windows 用户

运行本地集群允许人们离线工作，并且无需为使用云资源付费。云提供商的成本通常相当实惠，也存在免费层级，但有些人更愿意避免向他们的经理申请批准这些费用，以及避免可能产生的意外费用，例如在周末让集群保持运行。

一些开发者更喜欢使用远程 Kubernetes 集群，这通常是为了获得更大的计算和存储能力，并更容易实现协作工作流程。这意味着你可以更轻松地邀请同事协助调试，或在团队中共享应用程序访问权限。此外，对于一些开发者来说，尽可能地镜像生产环境至关重要，尤其是在涉及外部云服务时，例如专有数据库、对象存储、消息队列、外部负载均衡器或邮件投递系统。

总之，针对本地集群和远程集群进行开发都有很好的理由。这很大程度上取决于你所处的阶段：从早期原型开发和/或独自开发，到集成一套更稳定的微服务。

既然你已经对运行时环境的选项有了基本了解，接下来让我们看看如何迭代开发和部署你的应用程序。

动手实践演练

我们将在接下来的动手实践演练中使用的应用是一个简单的股票市场模拟器，它由两个微服务组成

stock-gen 微服务使用 Go 编写，随机生成股票数据并通过 HTTP 端点 /stockdata 暴露。第二个微服务 stock-con 是一个 Node.js 应用，它消费来自 stock-gen 的股票数据流，并通过 HTTP 端点 /average/$SYMBOL 提供移动平均形式的聚合，同时也在 /healthz 提供健康检查端点。

总的来说，应用的默认设置如下所示

Default Setup

在下面，我们将对上面讨论的具有代表性的一些工具进行动手实践演练：ksync、使用本地构建的 Minikube 以及 Skaffold。对于每个工具，我们将执行以下操作

设置相应的工具，包括准备部署和本地消费 stock-con 微服务。
执行代码更新，即更改 stock-con 微服务中 /healthz 端点的源代码，并观察更新。

请注意，对于目标 Kubernetes 集群，我们一直在本地使用 Minikube，但如果您想跟着操作，也可以使用 ksync 和 Skaffold 的远程集群。

演练：ksync

作为准备，安装 ksync，然后执行以下步骤准备开发设置

$ mkdir -p $(pwd)/ksync
$ kubectl create namespace dok
$ ksync init -n dok

基本设置完成后，我们就可以告诉 ksync 的本地客户端监视特定的 Kubernetes 命名空间，然后创建规范来定义我们要同步的内容（本地目录 $(pwd)/ksync 与容器中的 /app）。请注意，目标 pod 是通过 selector 参数指定的

$ ksync watch -n dok
$ ksync create -n dok --selector=app=stock-con $(pwd)/ksync /app
$ ksync get -n dok

现在我们部署股票生成器和股票消费者微服务

$ kubectl -n=dok apply \
      -f https://raw.githubusercontent.com/kubernauts/dok-example-us/master/stock-gen/app.yaml
$ kubectl -n=dok apply \
      -f https://raw.githubusercontent.com/kubernauts/dok-example-us/master/stock-con/app.yaml

一旦两个 Deployment 都已创建且 Pod 正在运行，我们将转发 stock-con 服务以供本地消费（在单独的终端会话中）

$ kubectl get -n dok po --selector=app=stock-con  \
                     -o=custom-columns=:metadata.name --no-headers |  \
                     xargs -IPOD kubectl -n dok port-forward POD 9898:9898

这样我们就应该能够从本地机器消费 stock-con 服务了；我们通过定期检查 healthz 端点的响应来做到这一点，如下所示（在单独的终端会话中）

$ watch curl localhost:9898/healthz

现在更改 ksync/stock-con 目录中的代码，例如更新 service.js 中的 /healthz 端点代码，通过向 JSON 响应添加字段，然后观察 Pod 如何更新以及 curl localhost:9898/healthz 命令的响应如何变化。总的来说，最后您应该看到类似如下内容

Preview

演练：使用本地构建的 Minikube

对于以下内容，您需要 Minikube 启动并运行，我们将利用 Minikube 内部的 Docker daemon 在本地构建镜像。作为准备，请执行以下操作

$ git clone https://github.com/kubernauts/dok-example-us.git && cd dok-example-us
$ eval $(minikube docker-env)
$ kubectl create namespace dok

现在我们部署股票生成器和股票消费者微服务

$ kubectl -n=dok apply -f stock-gen/app.yaml
$ kubectl -n=dok apply -f stock-con/app.yaml

一旦两个 Deployment 都已创建且 Pod 正在运行，我们将转发 stock-con 服务以供本地消费（在单独的终端会话中），并检查 healthz 端点的响应

$ kubectl get -n dok po --selector=app=stock-con  \
                     -o=custom-columns=:metadata.name --no-headers |  \
                     xargs -IPOD kubectl -n dok port-forward POD 9898:9898 &
$ watch curl localhost:9898/healthz

现在更改 stock-con 目录中的代码，例如更新 service.js 中的 /healthz 端点代码，通过向 JSON 响应添加字段。代码更新完成后，最后一步是构建新的容器镜像并启动新的部署，如下所示

$ docker build -t stock-con:dev -f Dockerfile .
$ kubectl -n dok set image deployment/stock-con *=stock-con:dev

总的来说，最后您应该看到类似如下内容

Local Preview

演练：Skaffold

要执行此演练，您首先需要安装 Skaffold。安装完成后，您可以执行以下步骤来准备开发设置

$ git clone https://github.com/kubernauts/dok-example-us.git && cd dok-example-us
$ kubectl create namespace dok

现在我们部署股票生成器（但不部署股票消费者微服务，那将通过 Skaffold 完成）

$ kubectl -n=dok apply -f stock-gen/app.yaml

请注意，最初在执行 skaffold dev 时遇到了认证错误，需要应用 Issue 322 中描述的修复。本质上，这意味着将 ~/.docker/config.json 的内容更改为

{
   "auths": {}
}

接下来，我们不得不稍微修补 stock-con/app.yaml 文件，使其与 Skaffold 一起工作

为 stock-con Deployment 和 Service 添加一个 namespace 字段，值为 dok。将容器 spec 的 image 字段更改为 quay.io/mhausenblas/stock-con，因为 Skaffold 会动态管理容器镜像标签。

生成的 stock-con 的 app.yaml 文件如下所示

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  labels:
    app: stock-con
  name: stock-con
  namespace: dok
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: stock-con
    spec:
      containers:
      - name: stock-con
        image: quay.io/mhausenblas/stock-con
        env:
        - name: DOK_STOCKGEN_HOSTNAME
          value: stock-gen
        - name: DOK_STOCKGEN_PORT
          value: "9999"
        ports:
        - containerPort: 9898
          protocol: TCP
        livenessProbe:
          initialDelaySeconds: 2
          periodSeconds: 5
          httpGet:
            path: /healthz
            port: 9898
        readinessProbe:
          initialDelaySeconds: 2
          periodSeconds: 5
          httpGet:
            path: /healthz
            port: 9898
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: stock-con
  name: stock-con
  namespace: dok
spec:
  type: ClusterIP
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 9898
  selector:
    app: stock-con

开始开发之前的最后一步是配置 Skaffold。因此，在 stock-con/ 目录中创建文件 skaffold.yaml，内容如下

apiVersion: skaffold/v1alpha2
kind: Config
build:
  artifacts:
  - imageName: quay.io/mhausenblas/stock-con
    workspace: .
    docker: {}
  local: {}
deploy:
  kubectl:
    manifests:
      - app.yaml

现在我们准备开始开发了。为此，在 stock-con/ 目录中执行以下命令

$ skaffold dev

上述命令会触发 stock-con 镜像的构建，然后进行部署。一旦 stock-con Deployment 的 Pod 正在运行，我们再次转发 stock-con 服务以供本地消费（在单独的终端会话中），并检查 healthz 端点的响应

$ kubectl get -n dok po --selector=app=stock-con  \
                     -o=custom-columns=:metadata.name --no-headers |  \
                     xargs -IPOD kubectl -n dok port-forward POD 9898:9898 &
$ watch curl localhost:9898/healthz

如果您现在更改 stock-con 目录中的代码，例如通过更新 service.js 中的 /healthz 端点代码，通过向 JSON 响应添加字段，您应该会看到 Skaffold 注意到更改并创建新镜像并进行部署。结果屏幕看起来会像这样

Skaffold Preview

现在您应该了解了不同的工具如何帮助您在 Kubernetes 上开发应用，如果您有兴趣了解更多关于工具或方法的信息，请查看以下资源

Shahidh K Muhammed 关于 Draft、Gitkube、Helm、Ksonnet、Metaparticle 和 Skaffold 的比较的博客文章 (2018 年 3 月)
Gergely Nemeth 关于使用 Kubernetes 进行本地开发的博客文章，重点介绍 Skaffold (2018 年 3 月)
Richard Li 关于在本地开发 Kubernetes 服务（无需等待部署）的博客文章，重点介绍 Telepresence
Abhishek Tiwari 关于使用 Minikube 构建 Kubernetes 本地开发环境的博客文章 (2017 年 9 月)
Aymen El Amri 关于使用 Kubernetes 进行本地开发 — Minikube 的博客文章 (2017 年 8 月)
Alexis Richardson 关于 GitOps - 通过 Pull Request 进行运维的博客文章 (2017 年 8 月)
Tirumarai Selvan 关于 GitOps：通过 Git 驱动运维的幻灯片，重点介绍 Gitkube (2018 年 3 月)
Michael Hausenblas 在 CNCF 巴黎聚会中关于在 Kubernetes 上开发应用的演讲幻灯片 (2018 年 4 月)
YouTube 视频
SIG Apps 2018 年 Kubernetes 应用调查的原始回复

至此，我们结束了关于如何在 Kubernetes 上开发应用的这篇博文，希望您有所收获，如果您有反馈和/或想推荐一个您觉得有用的工具，请通过 Twitter 告知我们：Ilya 和 Michael。

Kubernetes 博客

在 Kubernetes 上进行开发

在哪里运行你的集群？

相关工具

Draft

Skaffold

Squash

Telepresence

Ksync

动手实践演练

演练：ksync

演练：使用本地构建的 Minikube

演练：Skaffold