Litmus Spring Boot Faults 实验实战:用 Chaos Monkey 一次注入多种 Java 应用混沌故障

原创2026-10-12 13:50:291,682 阅读
文章标签:云原生运维可观测性

Litmus Spring Boot Faults 实验实战:用 Chaos Monkey 一次注入多种 Java 应用混沌故障

本篇技术指南围绕 Litmus 混沌工程体系中的 spring-boot-faults 实验展开,讲解如何在一个 ChaosEngine 中同时向目标 Spring Boot Pod 注入 app-kill(应用杀死)、cpu-stress(CPU 压测)、memory-stress(内存压测)、latency(网络延迟)与 exceptions(运行时异常)五类故障,用于验证 Java 微服务在多种非预期故障并发发生时的弹性与恢复能力。阅读完本文,你将掌握 Chaos Monkey for Spring Boot 的两种接入方式、实验的最小 RBAC 权限清单、全部必填/可选 tunables 的含义与取值范围,以及两个可直接落地运行的组合故障 ChaosEngine 配置示例。

实验概述:一次编排、多故障并发

spring-boot-faults 是 Litmus 混沌实验库中面向 Spring Boot 应用的"组合型"实验(组合故障实验)。与单故障实验(如 spring-boot-app-kill、spring-boot-cpu-stress、spring-boot-memory-stress、spring-boot-latency、spring-boot-exceptions)不同,它能够在一次实验执行中,通过参数开关按需开启多种 assault(攻击方式),并同时作用于被随机选中的目标 Pod:

  • 支持 app-kill、cpu-stress、memory-stress、latency、exceptions 五类故障;
  • 每种故障通过独立的布尔开关启用(默认全部关闭,按需开启);
  • 适用于"系统内多个应用同时出现异常行为"的弹性验证场景。

该故障类别同时被 ChaosHub 前端识别,从 chaoscenter/web/src/views/ChaosHub/ChaosFaults/ChaosFaults.tsx 的源码可以看出,spring-boot 与 kubernetes、k6-loadgen、azure、gcp、aws、vmware 等并列为一类故障分组,用户可以在 ChaosCenter 的 ChaosHub 页面直接浏览和编排该类故障。

Litmus Spring Boot Faults 组合故障注入场景示意图

工作原理:Chaos Monkey for Spring Boot 是注入载体

spring-boot-faults 系列实验的注入机制基于开源的 Chaos Monkey for Spring Boot(de.codecentric:chaos-monkey-spring-boot)组件:Chaos Monkey 在 Spring Boot 应用内部以 profile 方式运行,通过 watcher 监听指定的 Controller/Service 等组件的方法调用,在满足触发条件时执行配置好的攻击动作。因此实验的硬性前置条件是目标 Spring Boot 应用必须携带该依赖,并启用 chaos-monkey profile。接入方式有两种。

方式一:作为内部依赖打入应用

在应用的 pom.xml 中加入 Chaos Monkey 依赖:

<dependency>
    <groupId>de.codecentric</groupId>
    <artifactId>chaos-monkey-spring-boot</artifactId>
    <version>2.6.1</version>
</dependency>

随后以 chaos-monkey profile 启动应用并显式开启混沌能力:

java -jar your-app.jar --spring.profiles.active=chaos-monkey --chaos.monkey.enabled=true

方式二:作为外部依赖在启动时附加(无需改代码)

如果不想改动业务应用代码,可以借助 Spring Boot 的 PropertiesLauncher 在启动时动态加载 Chaos Monkey JAR。先在构建中声明带 jar-with-dependencies classifier 的依赖:

<dependency>
    <groupId>de.codecentric</groupId>
    <artifactId>chaos-monkey-spring-boot</artifactId>
    <classifier>jar-with-dependencies</classifier>
    <version>2.6.1</version>
</dependency>

然后通过 loader.path 指定外部 Chaos Monkey JAR,并用 PropertiesLauncher 作为启动器:

java -cp your-app.jar -Dloader.path=chaos-monkey-spring-boot-2.6.1-jar-with-dependencies.jar org.springframework.boot.loader.PropertiesLauncher --spring.profiles.active=chaos-monkey --spring.config.location=file:./chaos-monkey.properties

chaos-monkey.properties 中需要包含 chaos.monkey.enabled=true 等 Chaos Monkey 运行所需的配置项。两种方式任选其一,即可让应用具备被实验"攻击"的能力。

前置条件与验证命令

在创建 ChaosEngine 之前,需要确认以下环境条件(本文以 Kubernetes 集群为例):

  1. Kubernetes 版本 > 1.16;
  2. Litmus Chaos Operator 已运行:在 operator 所在命名空间(通常是 litmus)执行 kubectl get pods 确认;
  3. 实验 CRD 资源已安装:在目标命名空间执行 kubectl get chaosexperiments,确认存在 spring-boot-faults 实验资源;
  4. 目标应用已接入 Chaos Monkey(见上文两种接入方式)。

默认校验逻辑

实验执行前后会自动校验目标 Spring Boot Pod 的健康状态(默认验证项),确保"注入前 Pod 健康、注入后 Pod 恢复健康"是可观测的基线。

最小 RBAC 配置示例(可选)

实验通过 Kubernetes ServiceAccount 驱动,若需要为 spring-boot-faults 创建独立的混沌服务账号,可使用以下最小权限清单(ServiceAccount + Role + RoleBinding 三段式):

apiVersion: v1
kind: ServiceAccount
metadata:
  name: spring-boot-faults-sa
  namespace: default
  labels:
    name: spring-boot-faults-sa
    app.kubernetes.io/part-of: litmus
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: spring-boot-faults-sa
  namespace: default
  labels:
    name: spring-boot-faults-sa
    app.kubernetes.io/part-of: litmus
rules:
  # Create and monitor the experiment & helper pods
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update", "deletecollection"]
  # Performs CRUD operations on the events inside chaosengine and chaosresult
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create","get","list","patch","update"]
  # Track and get the runner, experiment, and helper pods log
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  # for creating and managing to execute commands inside target container
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["get","list","create"]
  # for configuring and monitor the experiment job by the chaos-runner pod
  - apiGroups: ["batch"]
    resources: ["jobs"]
    verbs: ["create","list","get","delete","deletecollection"]
  # for creation, status polling and deletion of litmus chaos resources used within a chaos workflow
  - apiGroups: ["litmuschaos.io"]
    resources: ["chaosengines","chaosexperiments","chaosresults"]
    verbs: ["create","list","get","patch","update","delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: spring-boot-faults-sa
  namespace: default
  labels:
    name: spring-boot-faults-sa
    app.kubernetes.io/part-of: litmus
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: spring-boot-faults-sa
subjects:
  - kind: ServiceAccount
    name: spring-boot-faults-sa
    namespace: default

说明:如果你通过 ChaosCenter 的 Agent 编排并执行工作流,通常会直接复用集群中预装的 litmus-admin RBAC,无需再创建上述独立账号。上述示例仅用于在目标应用命名空间创建最小权限的 chaosServiceAccount。

实验 Tunables 全解析

spring-boot-faults 的所有可调参数都通过 ChaosEngine 中 spec.experiments[].spec.components.env 传入。以下表格完整列出必填与可选字段。

必填字段(Mandatory Fields)

变量 说明 备注
CM_PORT Spring Boot 应用的服务端口 必填,无默认值
CM_KILL_APPLICATION_ACTIVE 开启 app-kill 故障 布尔值,默认 false
CM_LATENCY_ACTIVE 开启 latency 延迟故障 布尔值,默认 false
CM_MEMORY_ACTIVE 开启 memory-stress 内存压测故障 布尔值,默认 false
CM_CPU_ACTIVE 开启 cpu-stress CPU 压测故障 布尔值,默认 false
CM_EXCEPTIONS_ACTIVE 开启 exceptions 异常故障 布尔值,默认 false
CPU_LOAD_FRACTION CPU 压测比例,0.95 表示压测 95% 的 CPU 资源 默认 0.9,取值范围 [0.1, 1.0]
CM_EXCEPTIONS_TYPE 注入的异常类型 默认 java.lang.IllegalArgumentException
CM_EXCEPTIONS_ARGUMENTS 注入异常的构造参数 默认 java.lang.String:custom illegal argument exception
LATENCY 注入的网络延迟(毫秒) 默认 2000(即 2000 ms)
MEMORY_FILL_FRACTION 内存压测比例,0.7 表示占用 70% 内存 默认 0.70,取值范围 [0.01, 0.95]

注意:五个故障开关均默认关闭。想要同时注入哪些故障,就把对应的 CM_*_ACTIVE 置为 true,其余保持 false 即可。

可选字段(Optional Fields)

变量 说明 备注
CM_LEVEL 被攻击的请求频率,n 值表示第 n 个请求受影响 默认 1,取值范围 [1, 10000]
CM_WATCHED_CUSTOM_SERVICES 限定被监听的包/类/方法,逗号分隔的完全限定名列表 默认为空列表,表示监听所有服务
CM_WATCHERS 监听器类型,逗号分隔,可选 controller, restController, service, repository, component, webClient 默认 restController
TOTAL_CHAOS_DURATION 混沌注入持续时间(秒) 默认 30
SEQUENCE 多目标 Pod 下的注入顺序 默认 parallel,支持 serial、parallel
PODS_AFFECTED_PERC 目标 Pod 占总数百分比 默认 0%(等价于 1 个副本)
LIB 注入所用混沌库 默认 litmus,当前仅支持 litmus
RAMP_TIME 注入前后各等待的时间(秒) 无默认值,按需设置

Spring Boot 专属 Tunables 深入

除故障开关外,CM_LEVEL、CM_WATCHED_CUSTOM_SERVICES、CM_WATCHERS 三个参数决定了 Chaos Monkey 的"攻击精度",完整示例可参考 spring-boot-experiments-tunables.md。

请求级别 CM_LEVEL:控制攻击粒度,n 表示第 n 个请求被攻击。例如设置为 1 表示每个请求都会命中攻击:

# 来自 mkdocs/docs/experiments/categories/spring-boot/common/level.yaml
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: spring-boot-chaos
  namespace: default
spec:
  appinfo:
    appns: 'default'
    applabel: 'app=spring-boot'
    appkind: 'deployment'
  engineState: 'active'
  chaosServiceAccount: spring-boot-app-kill-sa
  experiments:
    - name: spring-boot-app-kill
      spec:
        components:
          env:
            - name: CM_PORT
              value: '8080'
            # 被攻击的请求频率:n 表示第 n 个请求受影响
            - name: CM_LEVEL
              value: '1'

自定义监听范围 CM_WATCHED_CUSTOM_SERVICES:通过逗号分隔的完全限定类名/方法名缩小攻击面,避免影响无关服务:

# 来自 mkdocs/docs/experiments/categories/spring-boot/common/watch-custom-services.yaml
            - name: CM_WATCHED_CUSTOM_SERVICES
              value: 'com.example.chaosdemo.controller.HelloController.sayHello,com.example.chaosdemo.service.HelloService'

监听器类型 CM_WATCHERS:Chaos Monkey 支持对不同类型的 Spring Bean 进行方法级监听,restController 即监听所有标注 @RestController 的组件:

# 来自 mkdocs/docs/experiments/categories/spring-boot/common/watchers.yaml
            - name: CM_WATCHERS
              value: 'restController'

组合示例一:同时注入 CPU、延迟与异常故障

以下 ChaosEngine 在一个实验中同时开启 cpu-stress、latency、exceptions 三类故障(完整文件见 cpu-latency-exceptions-faults.yaml):

apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: spring-boot-chaos
  namespace: default
spec:
  appinfo:
    appns: 'default'
    applabel: 'app=spring-boot'
    appkind: 'deployment'
  # It can be active/stop
  engineState: 'active'
  chaosServiceAccount: spring-boot-faults-sa
  experiments:
    - name: spring-boot-faults
      spec:
        components:
          env:
            # 设置混沌注入时长(秒)
            - name: TOTAL_CHAOS_DURATION
              value: '30'

            # Spring Boot 应用端口
            - name: CM_PORT
              value: '8080'

            # 开启延迟故障
            - name: CM_LATENCY_ACTIVE
              value: 'true'

            # 注入的网络延迟(毫秒),仅在延迟故障开启时生效
            - name: LATENCY
              value: '2000'

            # 开启 CPU 压测故障
            - name: CM_CPU_ACTIVE
              value: 'true'

            # CPU 压测比例(0.95 等于 95%),取值范围 [0.1, 1.0],仅在 CPU 故障开启时生效
            - name: CPU_LOAD_FRACTION
              value: '0.9'

            # 开启异常注入故障
            - name: CM_EXCEPTIONS_ACTIVE
              value: 'true'

            # 注入的异常类型,仅在异常故障开启时生效
            - name: CM_EXCEPTIONS_TYPE
              value: 'java.lang.IllegalArgumentException'

            # 注入异常的构造参数,仅在异常故障开启时生效
            - name: CM_EXCEPTIONS_ARGUMENTS
              value: 'java.lang.String:custom illegal argument exception'

            # 目标 Pod 占总数百分比
            - name: PODS_AFFECTED_PERC
              value: ''

组合示例二:同时注入 App Kill 与内存压测故障

以下示例展示"进程级杀死 + 内存压测"的组合(完整文件见 appkill-memory-faults.yaml)。app-kill 故障会在被监听的配置方法被调用时直接关闭应用,memory-stress 则攻击 JVM 内存,二者叠加可验证"进程崩溃与内存耗尽并发出现"时应用与集群的恢复行为:

apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: spring-boot-chaos
  namespace: default
spec:
  appinfo:
    appns: 'default'
    applabel: 'app=spring-boot'
    appkind: 'deployment'
  # It can be active/stop
  engineState: 'active'
  chaosServiceAccount: spring-boot-faults-sa
  experiments:
    - name: spring-boot-faults
      spec:
        components:
          env:
            # 设置混沌注入时长(秒)
            - name: TOTAL_CHAOS_DURATION
              value: '30'

            # Spring Boot 应用端口
            - name: CM_PORT
              value: '8080'

            # 开启 app-kill 故障
            - name: CM_KILL_APPLICATION_ACTIVE
              value: 'true'

            # 开启内存压测故障(此处保留空值即使用默认 false,需按需改为 true)
            - name: CM_MEMORY_ACTIVE
              value: ''

            # 内存压测比例(0.70 等于 70%),取值范围 [0.01, 0.95],仅在内存故障开启时生效
            - name: MEMORY_FILL_FRACTION
              value: '0.70'

            # 目标 Pod 占总数百分比
            - name: PODS_AFFECTED_PERC
              value: ''

提示:示例二中 CM_MEMORY_ACTIVE 的原值保持为空字符串,实际落地时请显式设置为 'true' 以开启内存压测(五个故障开关的默认值均为 false)。

通用 Tunables 参考

TOTAL_CHAOS_DURATION、RAMP_TIME、SEQUENCE、LIB、PODS_AFFECTED_PERC 等参数对所有 Litmus 实验通用,其含义与完整 YAML 示例可参考 common-tunables-for-all-experiments.md,要点如下:

  • TOTAL_CHAOS_DURATION:混沌注入总时长(秒),控制故障持续窗口;
  • RAMP_TIME:注入前与注入后的等待时间(秒),用于观察注入前后基线;
  • SEQUENCE:多目标 Pod 时 parallel 表示同时注入,serial 表示逐个注入,默认 parallel;
  • LIB:混沌注入库名称,当前仅支持 litmus;
  • PODS_AFFECTED_PERC:目标 Pod 占副本总数的百分比,默认 0% 等价于只影响 1 个副本;
  • 此外还可通过 INSTANCE_ID 为本次运行附加自定义后缀,便于区分多次实验的 ChaosResult 名称。

执行与结果观测

根据 contents.md 的说明,混沌实验由 ChaosEngine 资源的创建触发:创建上述任一 ChaosEngine 后,chaos-operator 会协调该资源并触发实验执行。典型执行方式为:

# 在目标命名空间应用 ChaosEngine 配置
kubectl apply -f cpu-latency-exceptions-faults.yaml

实验执行期间,chaos-runner 会依据 RBAC 中授予的权限创建并监控实验/辅助 Pod、通过 pods/exec 进入目标容器执行注入操作,并将运行状态写入 ChaosResult 自定义资源(对应 RBAC 中 chaosresults 资源的 create/list/get/patch/update/delete 权限)。验证实验效果时,可以结合应用的链路观测数据确认延迟、CPU 占用、异常日志等是否符合注入预期,并关注注入结束后 Spring Boot Pod 是否自动恢复健康——这正是该实验默认校验项的落点。

通过将上述两个组合示例中的故障开关按需组合(例如只开 CM_CPU_ACTIVE 与 CM_LATENCY_ACTIVE,或同时开启全部五个开关),即可在单个实验内覆盖多类故障并发的真实生产风险场景,系统性地检验 Spring Boot 微服务在"多重打击"下的韧性。

登录后查看全文
litmus