Litmus Spring Boot Faults 实验实战:用 Chaos Monkey 一次注入多种 Java 应用混沌故障
Litmus Spring Boot Faults 实验实战:用 Chaos Monkey 一次注入多种 Java 应用混沌故障
本篇技术指南围绕 Litmus 混沌工程体系中的 spring-boot-faults 实验展开,讲解如何在一个 ChaosEngine 中同时向目标 Spring Boot Pod 注入 app-kill(应用杀死)、cpu-stress(CPU 压测)、memory-stress(内存压测)、latency(网络延迟)与 exceptions(运行时异常)五类故障,用于验证 Java 微服务在多种非预期故障并发发生时的弹性与恢复能力。阅读完本文,你将掌握 Chaos Monkey for Spring Boot 的两种接入方式、实验的最小 RBAC 权限清单、全部必填/可选 tunables 的含义与取值范围,以及两个可直接落地运行的组合故障 ChaosEngine 配置示例。
实验概述:一次编排、多故障并发
spring-boot-faults 是 Litmus 混沌实验库中面向 Spring Boot 应用的"组合型"实验(组合故障实验)。与单故障实验(如 spring-boot-app-kill、spring-boot-cpu-stress、spring-boot-memory-stress、spring-boot-latency、spring-boot-exceptions)不同,它能够在一次实验执行中,通过参数开关按需开启多种 assault(攻击方式),并同时作用于被随机选中的目标 Pod:
- 支持
app-kill、cpu-stress、memory-stress、latency、exceptions五类故障; - 每种故障通过独立的布尔开关启用(默认全部关闭,按需开启);
- 适用于"系统内多个应用同时出现异常行为"的弹性验证场景。
该故障类别同时被 ChaosHub 前端识别,从 chaoscenter/web/src/views/ChaosHub/ChaosFaults/ChaosFaults.tsx 的源码可以看出,spring-boot 与 kubernetes、k6-loadgen、azure、gcp、aws、vmware 等并列为一类故障分组,用户可以在 ChaosCenter 的 ChaosHub 页面直接浏览和编排该类故障。
工作原理:Chaos Monkey for Spring Boot 是注入载体
spring-boot-faults 系列实验的注入机制基于开源的 Chaos Monkey for Spring Boot(de.codecentric:chaos-monkey-spring-boot)组件:Chaos Monkey 在 Spring Boot 应用内部以 profile 方式运行,通过 watcher 监听指定的 Controller/Service 等组件的方法调用,在满足触发条件时执行配置好的攻击动作。因此实验的硬性前置条件是目标 Spring Boot 应用必须携带该依赖,并启用 chaos-monkey profile。接入方式有两种。
方式一:作为内部依赖打入应用
在应用的 pom.xml 中加入 Chaos Monkey 依赖:
<dependency>
<groupId>de.codecentric</groupId>
<artifactId>chaos-monkey-spring-boot</artifactId>
<version>2.6.1</version>
</dependency>
随后以 chaos-monkey profile 启动应用并显式开启混沌能力:
java -jar your-app.jar --spring.profiles.active=chaos-monkey --chaos.monkey.enabled=true
方式二:作为外部依赖在启动时附加(无需改代码)
如果不想改动业务应用代码,可以借助 Spring Boot 的 PropertiesLauncher 在启动时动态加载 Chaos Monkey JAR。先在构建中声明带 jar-with-dependencies classifier 的依赖:
<dependency>
<groupId>de.codecentric</groupId>
<artifactId>chaos-monkey-spring-boot</artifactId>
<classifier>jar-with-dependencies</classifier>
<version>2.6.1</version>
</dependency>
然后通过 loader.path 指定外部 Chaos Monkey JAR,并用 PropertiesLauncher 作为启动器:
java -cp your-app.jar -Dloader.path=chaos-monkey-spring-boot-2.6.1-jar-with-dependencies.jar org.springframework.boot.loader.PropertiesLauncher --spring.profiles.active=chaos-monkey --spring.config.location=file:./chaos-monkey.properties
chaos-monkey.properties 中需要包含 chaos.monkey.enabled=true 等 Chaos Monkey 运行所需的配置项。两种方式任选其一,即可让应用具备被实验"攻击"的能力。
前置条件与验证命令
在创建 ChaosEngine 之前,需要确认以下环境条件(本文以 Kubernetes 集群为例):
- Kubernetes 版本 > 1.16;
- Litmus Chaos Operator 已运行:在 operator 所在命名空间(通常是
litmus)执行kubectl get pods确认; - 实验 CRD 资源已安装:在目标命名空间执行
kubectl get chaosexperiments,确认存在spring-boot-faults实验资源; - 目标应用已接入 Chaos Monkey(见上文两种接入方式)。
默认校验逻辑
实验执行前后会自动校验目标 Spring Boot Pod 的健康状态(默认验证项),确保"注入前 Pod 健康、注入后 Pod 恢复健康"是可观测的基线。
最小 RBAC 配置示例(可选)
实验通过 Kubernetes ServiceAccount 驱动,若需要为 spring-boot-faults 创建独立的混沌服务账号,可使用以下最小权限清单(ServiceAccount + Role + RoleBinding 三段式):
apiVersion: v1
kind: ServiceAccount
metadata:
name: spring-boot-faults-sa
namespace: default
labels:
name: spring-boot-faults-sa
app.kubernetes.io/part-of: litmus
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
name: spring-boot-faults-sa
namespace: default
labels:
name: spring-boot-faults-sa
app.kubernetes.io/part-of: litmus
rules:
# Create and monitor the experiment & helper pods
- apiGroups: [""]
resources: ["pods"]
verbs: ["create","delete","get","list","patch","update", "deletecollection"]
# Performs CRUD operations on the events inside chaosengine and chaosresult
- apiGroups: [""]
resources: ["events"]
verbs: ["create","get","list","patch","update"]
# Track and get the runner, experiment, and helper pods log
- apiGroups: [""]
resources: ["pods/log"]
verbs: ["get","list","watch"]
# for creating and managing to execute commands inside target container
- apiGroups: [""]
resources: ["pods/exec"]
verbs: ["get","list","create"]
# for configuring and monitor the experiment job by the chaos-runner pod
- apiGroups: ["batch"]
resources: ["jobs"]
verbs: ["create","list","get","delete","deletecollection"]
# for creation, status polling and deletion of litmus chaos resources used within a chaos workflow
- apiGroups: ["litmuschaos.io"]
resources: ["chaosengines","chaosexperiments","chaosresults"]
verbs: ["create","list","get","patch","update","delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
name: spring-boot-faults-sa
namespace: default
labels:
name: spring-boot-faults-sa
app.kubernetes.io/part-of: litmus
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: spring-boot-faults-sa
subjects:
- kind: ServiceAccount
name: spring-boot-faults-sa
namespace: default
说明:如果你通过 ChaosCenter 的 Agent 编排并执行工作流,通常会直接复用集群中预装的 litmus-admin RBAC,无需再创建上述独立账号。上述示例仅用于在目标应用命名空间创建最小权限的
chaosServiceAccount。
实验 Tunables 全解析
spring-boot-faults 的所有可调参数都通过 ChaosEngine 中 spec.experiments[].spec.components.env 传入。以下表格完整列出必填与可选字段。
必填字段(Mandatory Fields)
| 变量 | 说明 | 备注 |
|---|---|---|
CM_PORT |
Spring Boot 应用的服务端口 | 必填,无默认值 |
CM_KILL_APPLICATION_ACTIVE |
开启 app-kill 故障 |
布尔值,默认 false |
CM_LATENCY_ACTIVE |
开启 latency 延迟故障 |
布尔值,默认 false |
CM_MEMORY_ACTIVE |
开启 memory-stress 内存压测故障 |
布尔值,默认 false |
CM_CPU_ACTIVE |
开启 cpu-stress CPU 压测故障 |
布尔值,默认 false |
CM_EXCEPTIONS_ACTIVE |
开启 exceptions 异常故障 |
布尔值,默认 false |
CPU_LOAD_FRACTION |
CPU 压测比例,0.95 表示压测 95% 的 CPU 资源 |
默认 0.9,取值范围 [0.1, 1.0] |
CM_EXCEPTIONS_TYPE |
注入的异常类型 | 默认 java.lang.IllegalArgumentException |
CM_EXCEPTIONS_ARGUMENTS |
注入异常的构造参数 | 默认 java.lang.String:custom illegal argument exception |
LATENCY |
注入的网络延迟(毫秒) | 默认 2000(即 2000 ms) |
MEMORY_FILL_FRACTION |
内存压测比例,0.7 表示占用 70% 内存 |
默认 0.70,取值范围 [0.01, 0.95] |
注意:五个故障开关均默认关闭。想要同时注入哪些故障,就把对应的 CM_*_ACTIVE 置为 true,其余保持 false 即可。
可选字段(Optional Fields)
| 变量 | 说明 | 备注 |
|---|---|---|
CM_LEVEL |
被攻击的请求频率,n 值表示第 n 个请求受影响 | 默认 1,取值范围 [1, 10000] |
CM_WATCHED_CUSTOM_SERVICES |
限定被监听的包/类/方法,逗号分隔的完全限定名列表 | 默认为空列表,表示监听所有服务 |
CM_WATCHERS |
监听器类型,逗号分隔,可选 controller, restController, service, repository, component, webClient |
默认 restController |
TOTAL_CHAOS_DURATION |
混沌注入持续时间(秒) | 默认 30 |
SEQUENCE |
多目标 Pod 下的注入顺序 | 默认 parallel,支持 serial、parallel |
PODS_AFFECTED_PERC |
目标 Pod 占总数百分比 | 默认 0%(等价于 1 个副本) |
LIB |
注入所用混沌库 | 默认 litmus,当前仅支持 litmus |
RAMP_TIME |
注入前后各等待的时间(秒) | 无默认值,按需设置 |
Spring Boot 专属 Tunables 深入
除故障开关外,CM_LEVEL、CM_WATCHED_CUSTOM_SERVICES、CM_WATCHERS 三个参数决定了 Chaos Monkey 的"攻击精度",完整示例可参考 spring-boot-experiments-tunables.md。
请求级别 CM_LEVEL:控制攻击粒度,n 表示第 n 个请求被攻击。例如设置为 1 表示每个请求都会命中攻击:
# 来自 mkdocs/docs/experiments/categories/spring-boot/common/level.yaml
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
name: spring-boot-chaos
namespace: default
spec:
appinfo:
appns: 'default'
applabel: 'app=spring-boot'
appkind: 'deployment'
engineState: 'active'
chaosServiceAccount: spring-boot-app-kill-sa
experiments:
- name: spring-boot-app-kill
spec:
components:
env:
- name: CM_PORT
value: '8080'
# 被攻击的请求频率:n 表示第 n 个请求受影响
- name: CM_LEVEL
value: '1'
自定义监听范围 CM_WATCHED_CUSTOM_SERVICES:通过逗号分隔的完全限定类名/方法名缩小攻击面,避免影响无关服务:
# 来自 mkdocs/docs/experiments/categories/spring-boot/common/watch-custom-services.yaml
- name: CM_WATCHED_CUSTOM_SERVICES
value: 'com.example.chaosdemo.controller.HelloController.sayHello,com.example.chaosdemo.service.HelloService'
监听器类型 CM_WATCHERS:Chaos Monkey 支持对不同类型的 Spring Bean 进行方法级监听,restController 即监听所有标注 @RestController 的组件:
# 来自 mkdocs/docs/experiments/categories/spring-boot/common/watchers.yaml
- name: CM_WATCHERS
value: 'restController'
组合示例一:同时注入 CPU、延迟与异常故障
以下 ChaosEngine 在一个实验中同时开启 cpu-stress、latency、exceptions 三类故障(完整文件见 cpu-latency-exceptions-faults.yaml):
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
name: spring-boot-chaos
namespace: default
spec:
appinfo:
appns: 'default'
applabel: 'app=spring-boot'
appkind: 'deployment'
# It can be active/stop
engineState: 'active'
chaosServiceAccount: spring-boot-faults-sa
experiments:
- name: spring-boot-faults
spec:
components:
env:
# 设置混沌注入时长(秒)
- name: TOTAL_CHAOS_DURATION
value: '30'
# Spring Boot 应用端口
- name: CM_PORT
value: '8080'
# 开启延迟故障
- name: CM_LATENCY_ACTIVE
value: 'true'
# 注入的网络延迟(毫秒),仅在延迟故障开启时生效
- name: LATENCY
value: '2000'
# 开启 CPU 压测故障
- name: CM_CPU_ACTIVE
value: 'true'
# CPU 压测比例(0.95 等于 95%),取值范围 [0.1, 1.0],仅在 CPU 故障开启时生效
- name: CPU_LOAD_FRACTION
value: '0.9'
# 开启异常注入故障
- name: CM_EXCEPTIONS_ACTIVE
value: 'true'
# 注入的异常类型,仅在异常故障开启时生效
- name: CM_EXCEPTIONS_TYPE
value: 'java.lang.IllegalArgumentException'
# 注入异常的构造参数,仅在异常故障开启时生效
- name: CM_EXCEPTIONS_ARGUMENTS
value: 'java.lang.String:custom illegal argument exception'
# 目标 Pod 占总数百分比
- name: PODS_AFFECTED_PERC
value: ''
组合示例二:同时注入 App Kill 与内存压测故障
以下示例展示"进程级杀死 + 内存压测"的组合(完整文件见 appkill-memory-faults.yaml)。app-kill 故障会在被监听的配置方法被调用时直接关闭应用,memory-stress 则攻击 JVM 内存,二者叠加可验证"进程崩溃与内存耗尽并发出现"时应用与集群的恢复行为:
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
name: spring-boot-chaos
namespace: default
spec:
appinfo:
appns: 'default'
applabel: 'app=spring-boot'
appkind: 'deployment'
# It can be active/stop
engineState: 'active'
chaosServiceAccount: spring-boot-faults-sa
experiments:
- name: spring-boot-faults
spec:
components:
env:
# 设置混沌注入时长(秒)
- name: TOTAL_CHAOS_DURATION
value: '30'
# Spring Boot 应用端口
- name: CM_PORT
value: '8080'
# 开启 app-kill 故障
- name: CM_KILL_APPLICATION_ACTIVE
value: 'true'
# 开启内存压测故障(此处保留空值即使用默认 false,需按需改为 true)
- name: CM_MEMORY_ACTIVE
value: ''
# 内存压测比例(0.70 等于 70%),取值范围 [0.01, 0.95],仅在内存故障开启时生效
- name: MEMORY_FILL_FRACTION
value: '0.70'
# 目标 Pod 占总数百分比
- name: PODS_AFFECTED_PERC
value: ''
提示:示例二中
CM_MEMORY_ACTIVE的原值保持为空字符串,实际落地时请显式设置为'true'以开启内存压测(五个故障开关的默认值均为false)。
通用 Tunables 参考
TOTAL_CHAOS_DURATION、RAMP_TIME、SEQUENCE、LIB、PODS_AFFECTED_PERC 等参数对所有 Litmus 实验通用,其含义与完整 YAML 示例可参考 common-tunables-for-all-experiments.md,要点如下:
TOTAL_CHAOS_DURATION:混沌注入总时长(秒),控制故障持续窗口;RAMP_TIME:注入前与注入后的等待时间(秒),用于观察注入前后基线;SEQUENCE:多目标 Pod 时parallel表示同时注入,serial表示逐个注入,默认parallel;LIB:混沌注入库名称,当前仅支持litmus;PODS_AFFECTED_PERC:目标 Pod 占副本总数的百分比,默认0%等价于只影响 1 个副本;- 此外还可通过
INSTANCE_ID为本次运行附加自定义后缀,便于区分多次实验的 ChaosResult 名称。
执行与结果观测
根据 contents.md 的说明,混沌实验由 ChaosEngine 资源的创建触发:创建上述任一 ChaosEngine 后,chaos-operator 会协调该资源并触发实验执行。典型执行方式为:
# 在目标命名空间应用 ChaosEngine 配置
kubectl apply -f cpu-latency-exceptions-faults.yaml
实验执行期间,chaos-runner 会依据 RBAC 中授予的权限创建并监控实验/辅助 Pod、通过 pods/exec 进入目标容器执行注入操作,并将运行状态写入 ChaosResult 自定义资源(对应 RBAC 中 chaosresults 资源的 create/list/get/patch/update/delete 权限)。验证实验效果时,可以结合应用的链路观测数据确认延迟、CPU 占用、异常日志等是否符合注入预期,并关注注入结束后 Spring Boot Pod 是否自动恢复健康——这正是该实验默认校验项的落点。
通过将上述两个组合示例中的故障开关按需组合(例如只开 CM_CPU_ACTIVE 与 CM_LATENCY_ACTIVE,或同时开启全部五个开关),即可在单个实验内覆盖多类故障并发的真实生产风险场景,系统性地检验 Spring Boot 微服务在"多重打击"下的韧性。
