微服务韧性验证实战:用 LitmusChaos 演练网络延迟、Pod 删除与依赖服务故障

原创2026-10-11 22:14:441,644 阅读
文章标签:云原生运维可观测性

微服务韧性验证实战:用 LitmusChaos 演练网络延迟、Pod 删除与依赖服务故障

本文以开源混沌工程平台 LitmusChaos 的真实用户实践为引子,完整还原一位全栈开发者利用 Litmus 对 4 个相互通信的微服务进行韧性验证的过程——手动测试全部通过,混沌测试却暴露出 API 缺少超时机制的缺陷,并最终推动了系统架构重构。围绕这一案例,文章将案例中出现的三类故障(网络延迟、Pod 删除、依赖服务不可用)逐一映射到 LitmusChaos 的具体混沌实验,并结合仓库中的实验文档与配置示例,给出 pod-delete 与 pod-network-latency 两个实验的完整参数说明、最小 RBAC 权限与可复制运行的 ChaosEngine 配置。读完本文,你将掌握如何用 LitmusChaos 为微服务设计并执行"网络延迟 + Pod 故障 + 依赖服务故障"的韧性验证方案,并学会利用实验结果驱动架构改进。

一、案例:手动测试全部通过,混沌测试却暴露了超时缺陷

故事的主人公是 Jayadeep KM,一名全栈开发者与开源爱好者。2019 年 10 月 Hacktoberfest 期间,他在一个微服务爱好项目上工作时偶然接触到了 Litmus,并借此认识了其背后的社区,社区帮助他快速入门了混沌工程的基本原则。

他当时正在开发的项目由 4 个相互通信的微服务组成。他的核心诉求很明确:确保应用能够妥善处理各种错误条件——

  • 网络延迟(Network delay);
  • Pod 被删除(Deletion of pods);
  • 依赖服务不可用(Unavailability of dependent services);

并在这些异常发生时返回有意义的错误信息,而不是直接崩溃。

按照常规做法,他先进行了大量手动测试,结果看起来一切正常。但随后使用 Litmus 执行混沌测试时,问题浮出水面:部分 API 在尝试连接其他服务时,根本没有处理超时的机制。这个发现直接改变了他的判断——手动测试覆盖不到"依赖服务变慢、连接挂起、Pod 随时可能消失"这类真实分布式系统中的常态故障。

这些宝贵的洞察帮助他重新审视设计中的数据流,并促使他改用不同的架构重新设计整个系统(新项目名为 Watermark Microservices)。

这一案例并非孤例。在仓库的 USERS.md 用户列表中,Jayadeep KM 的使用场景被概括为 "Ensure reliability of microservices"(确保微服务可靠性),与其他用户(如使用 Litmus 验证 Kafka 平台容错的 DevOps 工程师、构建云原生验证套件的开发者)一起,构成了 LitmusChaos 在应用层韧性验证中的典型样本。

案例给我们的三点启示:

  1. 手动测试与单元测试很难模拟"依赖方故障"这种跨服务场景,只有把故障真正注入到运行中的集群里,才能暴露连接超时、重试缺失等隐性缺陷;
  2. 混沌实验的价值不只是"让系统崩溃",而是产生可操作的洞察——案例中正是实验结论直接驱动了架构层面的重新设计;
  3. 故障注入要覆盖错误条件本身(延迟、删除、不可用),而不是仅仅验证正常路径。

二、故障场景到混沌实验的映射

LitmusChaos 将具体的故障注入能力封装为一个个混沌实验(ChaosExperiment),每个实验对应一类可复现的故障场景。案例中提到的三类故障,与仓库 mkdocs/docs/experiments 目录下的实验一一对应:

案例中的故障场景 对应混沌实验 仓库文档 说明
网络延迟(Network delay) pod-network-latency pod-network-latency.md 通过 traffic control(tc)+ netem 规则注入 egress 延迟,模拟丢包/抖动/高延迟网络
Pod 被删除(Deletion of pods) pod-delete pod-delete.md 对指定/随机副本执行强制或优雅的 Pod 故障删除
依赖服务不可用(Unavailability of dependent services) pod-delete、pod-network-loss 等 pod-delete.md、pod-network-loss.md 可删除依赖服务的 Pod,或用网络丢包实验模拟依赖服务"看得见但连不上"

可以看到,LitmusChaos 的故障注入是"组合拳":同一个故障目标,既可以用 Pod 级故障(pod-delete)模拟进程级不可用,也可以用网络级故障(pod-network-latency、pod-network-loss)模拟链路级劣化。案例中发现的"API 缺少超时机制"问题,正是网络延迟类实验最容易暴露的缺陷类型。

下面先从平台原理说起,再分别深入这两个核心实验。

三、LitmusChaos 的混沌实验执行机制

根据仓库根目录 README.md 的说明,LitmusChaos 是一个云原生的混沌工程平台,从高层面分为两部分:

  • 混沌控制面(Chaos Control Plane):即 chaos-center,用于构造、调度与可视化混沌工作流;
  • 混沌执行面(Chaos Execution Plane Services):由 chaos agent 与多个 operator 组成,负责在目标 Kubernetes 环境中执行与监控实验。

平台的核心是一组混沌自定义资源(CR),其 CRD 定义可在 chaoscenter/manifests/litmus-portal-crds.yml 中查看:

资源 职责
ChaosExperiment 对某个具体故障的参数化配置模板,描述故障注入所使用的库(LIB)、所需权限与默认参数;通过它 Litmus 支持 BYOC(bring-your-own-chaos),可集成第三方故障注入工具
ChaosEngine 把某个 Kubernetes 工作负载/服务/节点/基础设施组件与 ChaosExperiment 描述的故障"绑定"起来,并提供运行属性调优与稳态校验(probes)选项;Chaos-Operator 监听并 reconcile 它,通过 runner 触发实验执行
ChaosResult 保存单次实验运行结果:每次校验约束的成败、故障的回滚/还原状态以及最终 verdict(结论);Chaos-exporter 读取结果并暴露为 Prometheus 指标,特别适合自动化运行场景

用一句话概括执行链路:ChaosEngine 引用 ChaosExperiment → Chaos-Operator 监听到引擎状态 → 拉起 runner 执行故障注入 → 结果写入 ChaosResult。

下文两个实验的配置示例,均为 kind: ChaosEngine 的 YAML,可以直接作为最小可运行模板使用。

四、实验一:pod-delete(Pod 删除故障注入)

4.1 实验作用与适用场景

根据 pod-delete.md,该实验造成应用资源特定/随机副本的(强制或优雅)Pod 故障,用于检验:

  • 部署健康度(副本可用性与服务不中断);
  • 应用的恢复工作流。

Pod-Delete 实验场景示意图

在分布式系统中,当部分副本因系统或应用故障不可用时,应用需要满足 SLO(服务水平目标)。该实验可用于验证:最小可用副本数是否保证、HPA 能否基于资源利用率扩容、重调度后 PV 挂载耗时、应用副本的 MTTR、Kafka 中 broker leader 的重新选举、Percona 类应用的法定人数(quorum)校验、数据重同步/再分配等。案例中的"Pod 被删除"场景,正是用该实验验证:删掉一个服务副本后,其他副本能否接管流量、系统能否自愈。

4.2 前置条件与默认校验

  • Kubernetes 版本大于 1.16;
  • Litmus Chaos Operator 正常运行:kubectl get pods(operator 命名空间通常为 litmus),对应安装清单可参考仓库中的 litmus-operator-latest.yaml;
  • pod-delete 实验资源在目标命名空间可用:kubectl get chaosexperiments;
  • 默认校验:混沌注入前后,应用 Pod 均应处于 running 状态。

4.3 最小 RBAC 权限(可复制示例)

若实验作为 chaos-center 调度的工作流一部分运行,通常直接使用预装的 litmus-admin-rbac.yaml;若独立运行,可使用下面的最小 RBAC。该清单也适用于后文的 pod-network-latency 实验(只需将 ServiceAccount/Role/RoleBinding 名称替换为 pod-network-latency-sa)。

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: pod-delete-sa
  namespace: default
  labels:
    name: pod-delete-sa
    app.kubernetes.io/part-of: litmus
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: pod-delete-sa
  namespace: default
  labels:
    name: pod-delete-sa
    app.kubernetes.io/part-of: litmus
rules:
  # Create and monitor the experiment & helper pods
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update", "deletecollection"]
  # Performs CRUD operations on the events inside chaosengine and chaosresult
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create","get","list","patch","update"]
  # Fetch configmaps details and mount it to the experiment pod (if specified)
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["get","list",]
  # Track and get the runner, experiment, and helper pods log
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  # for creating and managing to execute comands inside target container
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["get","list","create"]
  # deriving the parent/owner details of the pod(if parent is anyof {deployment, statefulset, daemonsets})
  - apiGroups: ["apps"]
    resources: ["deployments","statefulsets","replicasets", "daemonsets"]
    verbs: ["list","get"]
  # deriving the parent/owner details of the pod(if parent is deploymentConfig)
  - apiGroups: ["apps.openshift.io"]
    resources: ["deploymentconfigs"]
    verbs: ["list","get"]
  # deriving the parent/owner details of the pod(if parent is deploymentConfig)
  - apiGroups: [""]
    resources: ["replicationcontrollers"]
    verbs: ["get","list"]
  # deriving the parent/owner details of the pod(if parent is argo-rollouts)
  - apiGroups: ["argoproj.io"]
    resources: ["rollouts"]
    verbs: ["list","get"]
  # for configuring and monitor the experiment job by the chaos-runner pod
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["create","list","get","delete","deletecollection"]
  # for creation, status polling and deletion of litmus chaos resources used within a chaos workflow
  - apiGroups: ["litmuschaos.io"]
    resources: ["chaosengines","chaosexperiments","chaosresults"]
    verbs: ["create","list","get","patch","update","delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: pod-delete-sa
  namespace: default
  labels:
    name: pod-delete-sa
    app.kubernetes.io/part-of: litmus
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: pod-delete-sa
subjects:
- kind: ServiceAccount
  name: pod-delete-sa
  namespace: default

4.4 实验参数(tunables)速查

所有参数均配置在 ChaosEngine 的 .spec.experiments[*].spec.components.env 中:

变量 说明 默认值/备注
TOTAL_CHAOS_DURATION 混沌注入时长(秒) 默认 15s;注意实验整体运行时长可能比该值多几分钟
CHAOS_INTERVAL 两次连续 Pod 故障之间的间隔(秒) 默认 5s
RANDOMNESS 是否在由 CHAOS_INTERVAL 决定的最小周期内引入随机删除 支持 true/false,默认 false
FORCE Pod 删除模式:false 为优雅删除(默认 30s 终止周期);true 为立即强制删除(0s grace period) 默认 true(等价于 terminationGracePeriodSeconds=0)
TARGET_PODS 参与 pod delete 混沌的 Pod 名,逗号分隔 不提供时按 appLabels 随机选择
PODS_AFFECTED_PERC 目标 Pod 占比(百分比) 默认 0(对应 1 个副本),仅接受数值
RAMP_TIME 混沌注入前后等待的时间(秒) —
SEQUENCE 多目标时的混沌执行序列 默认 parallel,支持 serial、parallel
POD_TERMINATION_ORDER 目标 Pod 的终止顺序 默认 random,支持 random、alphabetical、reverse
INTER_POD_KILL_INTERVAL_SECONDS 串行模式下相邻两次 kill 之间的等待时间(秒) 默认 0;仅 SEQUENCE=serial 生效,与 CHAOS_INTERVAL 叠加

4.5 配置示例

(1)强制删除(Force Delete)

通过 FORCE 环境变量控制删除方式,完整示例见 force.yaml:

# tune the deletion of target pods forcefully or gracefully
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-delete-sa
  experiments:
  - name: pod-delete
    spec:
      components:
        env:
        # provided as true for the force deletion of pod
        # supports true and false value
        - name: FORCE
          value: 'true'
        - name: TOTAL_CHAOS_DURATION
          value: '60'

(2)多次迭代(Multiple Iterations Of Chaos)

通过 CHAOS_INTERVAL 定义每轮混沌之间的延迟,示例见 chaos-interval.yaml:

# defines delay between each successive iteration of the chaos
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-delete-sa
  experiments:
  - name: pod-delete
    spec:
      components:
        env:
        # delay between each iteration of chaos
        - name: CHAOS_INTERVAL
          value: '15'
        # time duration for the chaos execution
        - name: TOTAL_CHAOS_DURATION
          value: '60'

(3)随机间隔(Random Interval)

RANDOMNESS=true 启用随机删除间隔。若 CHAOS_INTERVAL 写作 l-r(如 5-10),则在该区间内随机取值;若只写单个值(如 10),则在 0 与该值之间随机取值。示例见 randomness-interval.yaml:

# contains random chaos interval with lower and upper bound of range i.e [l,r]
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-delete-sa
  experiments:
  - name: pod-delete
    spec:
      components:
        env:
        # randomness enables iterations at random time interval
        # it supports true and false value
        - name: RANDOMNESS
          value: 'true'
        - name: TOTAL_CHAOS_DURATION
          value: '60'
        # it will select a random interval within this range
        # if only one value is provided then it will select a random interval within 0-CHAOS_INTERVAL range
        - name: CHAOS_INTERVAL
          value: '5-10'

(4)确定性终止顺序(Deterministic Pod Termination)

当 SEQUENCE=serial 时,可用 POD_TERMINATION_ORDER 定义终止顺序:

  • random:随机顺序(默认);
  • alphabetical:按 Pod 名称升序;
  • reverse:按 Pod 名称降序。

若要保证固定命名序列(例如总是最后杀掉 session-pod),可显式设置 TARGET_PODS 的逗号分隔顺序——此时 TARGET_PODS 的顺序严格优先,POD_TERMINATION_ORDER 被忽略;如需在每次 kill 之间加入固定延迟以观察部分恢复过程,可组合 INTER_POD_KILL_INTERVAL_SECONDS。示例见 deterministic-pod-termination.yaml:

# defines the deterministic pod termination order with inter-pod kill interval
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-delete-sa
  experiments:
  - name: pod-delete
    spec:
      components:
        env:
        # order of pod termination
        # supports: random, alphabetical, reverse
        - name: POD_TERMINATION_ORDER
          value: 'alphabetical'
        - name: SEQUENCE
          value: 'serial'
        # optional: seconds to wait between consecutive pod kills (serial mode only)
        - name: INTER_POD_KILL_INTERVAL_SECONDS
          value: '5'
        - name: TOTAL_CHAOS_DURATION
          value: '60'

五、实验二:pod-network-latency(网络延迟故障注入)

5.1 实验作用与适用场景

根据 pod-network-latency.md,该实验在指定容器上启动一个带 netem 规则的 traffic control(tc)进程,向 egress 流量注入延迟,用于测试应用对"有损/不稳定网络"的韧性。

Pod Network Latency 实验场景示意图

网络延迟故障的特殊之处在于:它不会让 Pod 被 kube-proxy 标记为不健康/不参与流量分发(除非你配置了基于延迟的 liveness 探针)。它模拟的是 Pod 网络内部、或跨可用区/跨区域微服务通信中的延迟问题。文档指出两种典型的缓解路径:

  • 通过某种中间件基于 SLO/性能参数切换流量,把访问延迟保持在低位;
  • 如果无法自动切换,则应确保这类劣化能被告警/通知系统捕获,让管理员或 SRE 有机会介入排查。

该实验提供 DESTINATION_IPS 与 DESTINATION_HOSTS,可以只针对集群内外的特定服务注入故障,严格控制爆炸半径。这正是案例中"网络延迟"场景的对应实验——微服务在连接依赖服务时,如果代码没有超时机制,注入延迟后 API 就会无限期挂起。

5.2 前置条件、默认校验与 RBAC

  • 前置条件与默认校验同 pod-delete(Kubernetes > 1.16、operator 运行中、实验资源可用、注入前后应用 Pod 处于 running 状态);
  • 最小 RBAC 与上一节完全相同,仅需把 ServiceAccount/Role/RoleBinding 名称替换为 pod-network-latency-sa。

5.3 实验参数(tunables)速查

变量 说明 默认值/备注
NETWORK_INTERFACE 用于流量整形的以太网接口名 默认 eth0
TARGET_CONTAINER 被注入网络延迟的容器名 仅适用于 containerd 与 CRI-O 运行时;即使这些运行时下不提供该值,也会对 Pod 第一个容器注入
NETWORK_LATENCY 延迟值(毫秒) 默认 2000,仅接受数值
JITTER 网络抖动值(ms),引入延迟波动 默认 0,仅接受数值
CONTAINER_RUNTIME 集群容器运行时接口 支持 docker、containerd、crio(litmus lib);pumba lib 仅支持 docker
SOCKET_PATH containerd/crio/docker socket 文件路径 默认 /run/containerd/containerd.sock,其他运行时需按实际路径配置
TOTAL_CHAOS_DURATION 混沌注入时长(秒) 默认 60s
TARGET_PODS 参与实验的 Pod 名,逗号分隔 不提供时按 appLabels 随机选择
DESTINATION_IPS 受影响可达性的服务/Pod IP 或 CIDR 段 逗号分隔;不提供则对全部 IP/目标注入
DESTINATION_HOSTS 受影响可达性的服务 DNS 名/FQDN 不提供则对全部 IP/目标(或已定义的 DESTINATION_IPS)注入
SOURCE_PORTS 受影响的目标应用端口 逗号分隔;不提供则影响全部端口
DESTINATION_PORTS 受影响的目标服务/Pod/CIDR 端口 逗号分隔;不提供则影响全部端口
PODS_AFFECTED_PERC 目标 Pod 占比 默认 0(对应 1 个副本),仅接受数值
LIB 混沌注入库 默认 litmus,支持 pumba、litmus
TC_IMAGE Linux 流量控制所用镜像 默认 gaiadocker/iproute2(pumba lib 时使用)
LIB_IMAGE 运行 netem 命令的镜像 默认 litmuschaos/go-runner:latest
RAMP_TIME 注入前后等待时间(秒) —
SEQUENCE 多目标执行序列 默认 parallel

5.4 配置示例

(1)基础网络延迟注入

NETWORK_LATENCY 定义注入的延迟(毫秒):

# it inject the network-latency for the egress traffic
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-network-latency-sa
  experiments:
  - name: pod-network-latency
    spec:
      components:
        env:
        # network latency to be injected
        - name: NETWORK_LATENCY
          value: '2000' #in ms
        - name: TOTAL_CHAOS_DURATION
          value: '60'

(2)指定 DESTINATION_IPS 与 DESTINATION_HOSTS(控制爆炸半径)

网络实验默认中断对所有 IP/主机的流量;通过 DESTINATION_IPS(IP/CIDR)与 DESTINATION_HOSTS(DNS/FQDN)可把故障精确限制在特定依赖服务上——这正是微服务韧性验证中"只对下游服务注入延迟、观察本服务的超时与重试行为"的标准做法:

# it inject the chaos for the egress traffic for specific ips/hosts
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-network-latency-sa
  experiments:
  - name: pod-network-latency
    spec:
      components:
        env:
        # supports comma separated destination ips
        - name: DESTINATION_IPS
          value: '8.8.8.8,192.168.5.6'
        # supports comma separated destination hosts
        - name: DESTINATION_HOSTS
          value: 'nginx.default.svc.cluster.local,google.com'
        - name: TOTAL_CHAOS_DURATION
          value: '60'

(3)指定源端口与目标端口

SOURCE_PORTS 与 DESTINATION_PORTS 分别限定受影响的应用端口与目标端口:

# it inject the chaos for the ingrees and egress traffic for specific ports
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-network-latency-sa
  experiments:
  - name: pod-network-latency
    spec:
      components:
        env:
        # supports comma separated source ports
        - name: SOURCE_PORTS
          value: '80'
        # supports comma separated destination ports
        - name: DESTINATION_PORTS
          value: '8080,9000'
        - name: TOTAL_CHAOS_DURATION
          value: '60'

(4)黑名单端口(Blacklist Source and Destination Ports)

默认网络实验会中断所有源/目标端口的流量;在端口前加 ! 前缀即可将其排除在故障之外(黑名单模式):

# blacklist the source and destination ports
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-network-latency-sa
  experiments:
  - name: pod-network-latency
    spec:
      components:
        env:
        # it will blacklist 80 and 8080 source ports
        - name: SOURCE_PORTS
          value: '!80,8080'
        # it will blacklist 8080 and 9000 destination ports
        - name: DESTINATION_PORTS
          value: '!8080,9000'
        - name: TOTAL_CHAOS_DURATION
          value: '60'

(5)网络接口与 Jitter

NETWORK_INTERFACE 指定参与流量整形的网卡(默认 eth0);JITTER 注入延迟波动(毫秒,默认 0),用于模拟真实网络中延迟不稳定的情况:

# provide the network latency jitter
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-network-latency-sa
  experiments:
  - name: pod-network-latency
    spec:
      components:
        env:
        # value of the network latency jitter (in ms)
        - name: JITTER
          value: '200'

(6)容器运行时与 Socket 路径

CONTAINER_RUNTIME 支持 docker、containerd、crio;SOCKET_PATH 指向对应运行时 socket 文件(示例以 containerd 为例,请按集群实际运行时配置):

## provide the container runtime and socket file path
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-network-latency-sa
  experiments:
  - name: pod-network-latency
    spec:
      components:
        env:
        # runtime for the container
        # supports docker, containerd, crio
        - name: CONTAINER_RUNTIME
          value: 'containerd'
        # path of the socket file
        - name: SOCKET_PATH
          value: '/run/containerd/containerd.sock'
        - name: TOTAL_CHAOS_DURATION
          value: '60'

(7)切换 Pumba 混沌库

默认使用 litmus 库;切换为 pumba 时需配套提供 TC_IMAGE:

# use pumba chaoslib for the network chaos
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: engine-nginx
spec:
  engineState: "active"
  annotationCheck: "false"
  appinfo:
    appns: "default"
    applabel: "app=nginx"
    appkind: "deployment"
  chaosServiceAccount: pod-network-latency-sa
  experiments:
  - name: pod-network-latency
    spec:
      components:
        env:
        # name of the chaoslib
        # supports litmus and pumba lib
        - name: LIB
          value: 'pumba'
        # image used for the traffic control in linux
        # applicable for pumba lib only
        - name: TC_IMAGE
          value: 'gaiadocker/iproute2'
        - name: TOTAL_CHAOS_DURATION
          value: '60'

六、通用参数与 appinfo 速查

6.1 所有实验通用参数

见 common-tunables-for-all-experiments.md:

变量 说明 默认值/备注
TOTAL_CHAOS_DURATION 混沌注入总时长 单位:秒,示例见 chaos-duration.yaml
RAMP_TIME 注入前后等待的平稳期 单位:秒,示例见 ramp-time.yaml
SEQUENCE 多目标执行序列 parallel(同时注入全部目标)/ serial(逐个注入),默认 parallel,示例见 sequence.yaml
LIB 混沌注入库名称 默认 litmus,示例见 lib.yaml
INSTANCE_ID 用户自定义字符串,记录本次运行元数据,作为后缀追加到 ChaosResult CR 名称 例如 04-05-2020-9-00,示例见 instance-id.yaml
LIB_IMAGE helper Pod 使用的镜像 适用于 container-kill、网络类、stress、dns、disk-fill 等实验

6.2 Pod 级通用参数

见 common-tunables-for-pod-experiments.md:

变量 说明 默认值/备注
TARGET_PODS 目标 Pod 名逗号分隔列表 不提供则按 appLabels 随机选择,示例见 target-pods.yaml
PODS_AFFECTED_PERC 按匹配标签计算的目标 Pod 占比 为空或 0 时至少命中 1 个 Pod,示例见 pod-affected-percentage.yaml
TARGET_CONTAINER 目标容器名 为空时使用 Pod 第一个容器,示例见 target-container.yaml
DEFAULT_APP_HEALTH_CHECK 是否强制进行注入前后的应用状态校验 默认 true,不需要该校验时可设为 false,示例见 default-app-health-check.yaml
NODE_LABEL 通过节点标签过滤目标 Pod 需要节点级权限或 ClusterRole 的 ServiceAccount,示例见 node-label-filter.yaml

其中 NODE_LABEL 与 APP_LABEL、TARGET_PODS 组合时的选择逻辑如下表:

APP_LABEL TARGET_PODS NODE_LABEL 选中结果
提供 提供 提供 由 applabel 过滤、位于含给定节点标签的节点上、且在 TARGET_PODS 中的 Pod
提供 未提供 提供 由 applabel 过滤且位于含给定节点标签的节点上的 Pod
未提供 提供 提供 位于含给定节点标签的节点上的 TARGET_PODS
未提供 未提供 提供 无效
未提供 未提供 未提供 无效

6.3 appinfo 应用识别字段

ChaosEngine 的 .spec.appinfo 用于指定被测应用(AUT),字段说明见 application-details.md:

  • appns:被测应用所在命名空间(string);
  • applabel:被测应用唯一标签,模式为 label_key=label_value。注意:若同一命名空间内多个应用共享该标签,AUT 会依据混沌注解 litmuschaos.io/chaos: "true" 过滤;若 annotationCheck 被禁用,则随机选择共享该标签的一个应用 Pod;
  • appkind:应用资源类型,支持 deployment、statefulset、daemonset、deploymentconfig、rollout;
  • .spec.auxiliaryAppInfo:除主应用外额外监控健康状态的应用"命名空间-标签"对;若辅助应用与 AUT 不在同一命名空间,需确保 chaosServiceAccount 绑定 ClusterRole 并有跨命名空间列 Pod 的权限。

七、把混沌验证嵌入微服务研发流程:从案例中提炼的实践路径

以 Jayadeep 的案例为参照,可以把 LitmusChaos 的韧性验证按如下步骤落地到自己的微服务项目:

第一步:明确要验证的错误条件清单。 参照案例,至少覆盖三类:网络延迟、Pod 删除、依赖服务不可用。分别对应 pod-network-latency、pod-delete 以及依赖服务的 pod-delete/pod-network-loss。

第二步:为每个微服务准备 appinfo 与最小 RBAC。 用 applabel 精确定位被测服务(必要时开启 litmuschaos.io/chaos: "true" 注解),用上文的 pod-delete-sa RBAC 模板为每个实验准备独立 ServiceAccount。

第三步:从"最小爆炸半径"开始。 先用 DESTINATION_IPS/DESTINATION_HOSTS 把网络延迟限定到单个依赖服务,用 TARGET_PODS/PODS_AFFECTED_PERC 控制 Pod 删除比例,观察单个服务的超时、重试与错误处理行为,再逐步扩大范围。

第四步:重点观察案例中最容易翻车的"连接超时"维度。 在注入延迟时,注意 API 是否在合理时间内返回有意义的错误信息(而不是挂起);这正是案例中"部分 API 没有处理超时机制"被暴露的方式。

第五步:用结果驱动架构决策。 混沌实验发现的问题应形成缺陷清单,逐项评估是否需要引入超时、重试、熔断、降级或服务网格等机制;必要时像案例一样重新设计服务间的交互架构。

第六步:把实验纳入自动化。 借助 ChaosResult 的 verdict 与 Prometheus 指标(由 Chaos-exporter 暴露),可在 CI/CD 或定时工作流中周期性地执行韧性验证,防止缺陷回归。

结语

Jayadeep 的故事是 LitmusChaos 在微服务韧性验证领域的一个典型缩影:手动测试证明不了韧性,只有把故障真实注入到运行中的系统里,才能暴露连接超时这类"平时看不见、故障时致命"的缺陷。 通过 pod-delete 与 pod-network-latency 两个实验,配合 TARGET_PODS、DESTINATION_IPS、SEQUENCE、RAMP_TIME 等参数对故障的精确控制,你可以把案例中"网络延迟、Pod 删除、依赖服务不可用"三类场景系统性地搬进自己的微服务项目,让混沌实验的结论直接服务于架构演进。相关完整参数说明与可运行示例,可继续在仓库 mkdocs/docs/experiments 与 chaoscenter/manifests 中查阅。

登录后查看全文
litmus