监控节点健康状况

Node Problem Detector 是一个用于监控和报告节点健康状况的守护进程。你可以将 Node Problem Detector 作为 DaemonSet 或独立守护进程运行。Node Problem Detector 从各种守护进程收集有关节点问题的信息，并将这些状况作为节点 Condition 或 Event 报告给 API 服务器。

要了解如何安装和使用 Node Problem Detector，请参阅 Node Problem Detector 项目文档。

准备工作

你需要拥有一个 Kubernetes 集群，并且 kubectl 命令行工具已配置为与你的集群通信。建议在至少有两个非控制平面主机的节点集群上运行本教程。如果你还没有集群，可以使用 minikube 创建一个，或者使用这些 Kubernetes 游乐场之一

• iximiuz Labs
• Killercoda
• KodeKloud
• Play with Kubernetes

限制

• Node Problem Detector 使用内核日志格式报告内核问题。要了解如何扩展内核日志格式，请参阅添加对其他日志格式的支持。

启用 Node Problem Detector

一些云提供商将 Node Problem Detector 作为附加组件启用。你也可以使用 kubectl 或通过创建附加组件 DaemonSet 来启用 Node Problem Detector。

使用 kubectl 启用 Node Problem Detector

kubectl 提供了最灵活的 Node Problem Detector 管理。你可以覆盖默认配置以使其适应你的环境，或者检测自定义节点问题。例如：

1. 创建一个类似于 node-problem-detector.yaml 的 Node Problem Detector 配置

   debug/node-problem-detector.yaml

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: node-problem-detector-v0.1
     namespace: kube-system
     labels:
       k8s-app: node-problem-detector
       version: v0.1
       kubernetes.io/cluster-service: "true"
   spec:
     selector:
       matchLabels:
         k8s-app: node-problem-detector  
         version: v0.1
         kubernetes.io/cluster-service: "true"
     template:
       metadata:
         labels:
           k8s-app: node-problem-detector
           version: v0.1
           kubernetes.io/cluster-service: "true"
       spec:
         hostNetwork: true
         containers:
         - name: node-problem-detector
           image: registry.k8s.io/node-problem-detector:v0.1
           securityContext:
             privileged: true
           resources:
             limits:
               cpu: "200m"
               memory: "100Mi"
             requests:
               cpu: "20m"
               memory: "20Mi"
           volumeMounts:
           - name: log
             mountPath: /log
             readOnly: true
         volumes:
         - name: log
           hostPath:
             path: /var/log/

   注意

   你应该验证系统日志目录是否适用于你的操作系统分发。

2. 使用 kubectl 启动节点问题检测器

   kubectl apply -f https://k8s.io/examples/debug/node-problem-detector.yaml
   

使用附加组件 Pod 启用 Node Problem Detector

如果你正在使用自定义集群引导解决方案，并且不需要覆盖默认配置，你可以利用附加组件 Pod 进一步自动化部署。

创建 node-problem-detector.yaml，并将配置保存到控制平面节点上附加组件 Pod 的目录 /etc/kubernetes/addons/node-problem-detector 中。

覆盖配置

当构建 Node Problem Detector 的 Docker 镜像时，默认配置是嵌入在其中的。

但是，你可以使用 ConfigMap 覆盖配置

1. 修改 config/ 中的配置文件

2. 创建 ConfigMap node-problem-detector-config

   kubectl create configmap node-problem-detector-config --from-file=config/
   

3. 修改 node-problem-detector.yaml 以使用 ConfigMap

   debug/node-problem-detector-configmap.yaml

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: node-problem-detector-v0.1
     namespace: kube-system
     labels:
       k8s-app: node-problem-detector
       version: v0.1
       kubernetes.io/cluster-service: "true"
   spec:
     selector:
       matchLabels:
         k8s-app: node-problem-detector  
         version: v0.1
         kubernetes.io/cluster-service: "true"
     template:
       metadata:
         labels:
           k8s-app: node-problem-detector
           version: v0.1
           kubernetes.io/cluster-service: "true"
       spec:
         hostNetwork: true
         containers:
         - name: node-problem-detector
           image: registry.k8s.io/node-problem-detector:v0.1
           securityContext:
             privileged: true
           resources:
             limits:
               cpu: "200m"
               memory: "100Mi"
             requests:
               cpu: "20m"
               memory: "20Mi"
           volumeMounts:
           - name: log
             mountPath: /log
             readOnly: true
           - name: config # Overwrite the config/ directory with ConfigMap volume
             mountPath: /config
             readOnly: true
         volumes:
         - name: log
           hostPath:
             path: /var/log/
         - name: config # Define ConfigMap volume
           configMap:
             name: node-problem-detector-config

4. 使用新配置文件重新创建 Node Problem Detector

   # If you have a node-problem-detector running, delete before recreating
   kubectl delete -f https://k8s.io/examples/debug/node-problem-detector.yaml
   kubectl apply -f https://k8s.io/examples/debug/node-problem-detector-configmap.yaml
   

如果 Node Problem Detector 作为集群附加组件运行，则不支持覆盖配置。附加组件管理器不支持 ConfigMap。

问题守护进程

问题守护进程是 Node Problem Detector 的一个子守护进程。它监控特定类型的节点问题，并将其报告给 Node Problem Detector。支持几种类型的问题守护进程。

• SystemLogMonitor 类型的守护进程监控系统日志，并根据预定义的规则报告问题和指标。你可以为不同的日志源自定义配置，例如 文件日志、kmsg、内核、abrt 和 systemd。

• SystemStatsMonitor 类型的守护进程将各种与健康相关的系统统计信息收集为指标。你可以通过更新其配置文件来自定义其行为。

• CustomPluginMonitor 类型的守护进程通过运行用户定义的脚本来调用和检查各种节点问题。你可以使用不同的自定义插件监视器来监视不同的问题，并通过更新配置文件来自定义守护进程行为。

• HealthChecker 类型的守护进程检查节点上 kubelet 和容器运行时的健康状况。

添加对其他日志格式的支持

系统日志监视器目前支持基于文件的日志、journald 和 kmsg。可以通过实现一个新的日志监视器来添加其他来源。

添加自定义插件监视器

你可以通过开发自定义插件来扩展 Node Problem Detector，以执行用任何语言编写的任何监视脚本。监视脚本必须符合退出代码和标准输出中的插件协议。有关更多信息，请参阅插件接口提案。

导出器

导出器将节点问题和/或指标报告给某些后端。支持以下导出器：

• Kubernetes 导出器：此导出器将节点问题报告给 Kubernetes API 服务器。临时问题报告为事件，永久问题报告为节点状况。

• Prometheus 导出器：此导出器将节点问题和指标本地报告为 Prometheus（或 OpenMetrics）指标。你可以使用命令行参数指定导出器的 IP 地址和端口。

• Stackdriver 导出器：此导出器将节点问题和指标报告给 Stackdriver 监控 API。可以通过使用配置文件来自定义导出行为。

建议和限制

建议在集群中运行 Node Problem Detector 以监控节点健康状况。运行 Node Problem Detector 时，每个节点都会有额外的资源开销。通常情况下，这没问题，因为：

• 内核日志增长相对缓慢。
• Node Problem Detector 设置了资源限制。
• 即使在高负载下，资源使用率也是可以接受的。有关更多信息，请参阅 Node Problem Detector 基准测试结果。