Doory测试策略全解析:Playwright多场景E2E与协作混沌模糊测试
Doory测试策略全解析:Playwright多场景E2E与协作混沌模糊测试
Doory 是一个开源的 Canva 替代品,在浏览器里完成海报、幻灯片、邀请函等图形设计,并支持实时协作编辑。本文带你拆解 Doory 的测试策略:它如何用 Playwright 搭建多场景 E2E 测试,又用协作混沌(Chaos)与模糊(Fuzz)测试,把多用户协同编辑器的并发、断网、崩溃问题统统"提前炸出来"。
一、测试金字塔总览:三层各司其职
Doory 的测试分三层,从快而多的单元测试到慢而真的端到端测试逐级递进:
| 层级 | 工具 | 运行方式 | 覆盖范围 |
|---|---|---|---|
| 后端 | pytest | make test-api |
Django API、协作 CRDT 引擎、协议解析 |
| 前端单元 | Vitest | make test-web |
编辑器引擎、协作绑定、动画等纯逻辑 |
| 端到端 | Playwright | npm run e2e:* |
真实浏览器 + 真实后端的完整业务流 |
一键入口在 Makefile:make test 依次跑后端 pytest 与前端 vitest,把"能不能编译、逻辑对不对"这类快问题挡在最底层。
二、Playwright 多场景 E2E:每个业务域一份独立配置
Doory 没有用"一个大配置"打天下,而是为每个测试域单独准备 Playwright 配置与测试目录,入口脚本都写在 frontend/package.json:
| 命令 | 配置文件 | 特点 |
|---|---|---|
npm run e2e |
playwright.config.ts | 顶层冒烟场景,跑在模拟 API 上,最快 |
npm run e2e:editor |
playwright.editor.config.ts | 面向 e2e/editor/ 的编辑器专项,直接驱动 dev harness 页面 |
npm run e2e:collab |
playwright.collab.config.ts | 协作专项:生产构建 + 真实后端,超时 120 秒 |
npm run e2e:app |
— | 应用外壳(登录、仪表盘、上传等) |
npm run e2e:print / e2e:perf / e2e:comments |
— | 打印导出、性能、评论等专项 |
几个关键设计点值得注意:
- 对真后端跑测试:api-server.mjs 会在测试前自动启动真正的 Django 后端(uvicorn ASGI + 全新临时 SQLite 数据库),WebSocket 协作走的是线上同一套协议栈,而不是替身。
- 测试设置单独放宽限流:e2e_settings.py 只调大"注册限流"以容纳测试批量建号,其余锁号、上传限制等生产配置原样保留——既方便测试又不失真。
- 失败自动留证:各配置统一开启
trace: 'retain-on-failure'与screenshot: 'only-on-failure',失败即保留回放轨迹与截图。
三、协作混沌测试:随机操作 + 恶意网络 + 服务器崩溃
e2e/collab/ 目录是整套策略的重头戏。chaos-support.ts 提供三件武器:
- 可复现随机数:
Rng是一个带种子的 xorshift32 生成器,失败时用CHAOS_SEED环境变量即可重放同一轮测试; - 恶意网络线路
Wire:能切断、恢复、丢包、注入 120ms~350ms 延迟; - 随机编辑器动作:从
nudge、scale、rotate到pageAdd、undo共 20 余种动作随机组合。
核心用例 chaos.spec.ts 一次拉起 5 个浏览器窗口共同编辑同一设计,连续 22 轮:每轮先随机决定每个窗口的网络命运(断线/恢复/丢包/刷新/延迟),再各自执行随机编辑,最后断言——所有窗口彼此一致、且与服务器存储完全收敛,并且协作房间存活期间"一次 REST 保存都没有发生"。
围绕它还有几类专项混沌场景:
- 冲突仲裁(chaos-conflicts.spec.ts):一人离线编辑、一人在线编辑,重连后验证"谁的操作都不丢、结果全局一致";
- 服务器崩溃(chaos.spec.ts):通过控制端口对 API 进程发
SIGKILL/SIGTERM反复杀死重启,验证断连期间的编辑在恢复后依然生效; - 安全攻击(chaos-security.spec.ts):用原始 WebSocket 伪造 Yjs 帧——超大帧、乱码字节、未知消息类型、写往不存在根类型的更新、嵌套 1000 层的深度值——断言服务器只回复一次错误且设计内容毫发无损;
- 规模与内存(chaos-scale.spec.ts):验证 25 人满员限制、第 26 人等待空位自动进入,并用 CDP
HeapProfiler监测长会话堆内存是否泄漏。
四、模糊测试闭环:编辑器 Fuzz → 服务端回放
更隐蔽的一层测试藏在 frontend/src/editor/collab/fuzz/:fuzz.test.ts 让多个真实编辑器绑定(真实 Yjs 文档 + 撤销管理器)在"假服务器"中间随机编辑,穿插恶意网络与重连。
妙处在于它会把假服务器收到的全部 Yjs 更新按序记录成 fixture,交给后端 test_fuzz_replay.py 逐条回放进真实的服务器管线(更新扫描器 → CRDT 引擎 → 设计文档转换与校验),断言每个更新都被接受、每个中间态都可保存、最终设计正是编辑器们协商一致的结果。
后端测试里还有两类"不讲武德"的输入:
- hostile.py:手写最小 Yjs v1 更新编码器,专门构造"诚实客户端绝不会发出"的畸形更新;
- test_interop.py:用 Node 里真正的
yjs库作为客户端与服务器互通,防止协议漂移。
五、三个值得抄的细节
- 一切随机都可复现:
CHAOS_SEED一个环境变量锁定整轮混沌,CI 挂了你就能本地重放; - 失败即输出完整叙事:chaos 用例失败时打印每个窗口每轮做了什么、每条连接如何终结(chaos.spec.ts),排查不用猜;
- 串行而非并行:协作配置设
workers: 1(playwright.collab.config.ts),共享后端下宁可慢一点,也不留交叉干扰的假失败。
六、给新手的启示
Doory 的测试策略回答了一个协作产品最棘手的问题:并发、断网、崩溃这些"偶发事故"如何变成"必测场景"? 答案是——用种子随机把混沌变成可复现的剧本,用真实后端和原始协议帧把攻击面摊开测,再把前端 Fuzz 的成果回放给后端引擎做闭环回归。如果你正在做多人协作类应用,这套"Playwright 多场景 E2E + 混沌 + 模糊回放"的组合,几乎可以直接照搬。



