Doory测试策略全解析:Playwright多场景E2E与协作混沌模糊测试

原创2026-10-15 09:00:381,339 阅读

Doory测试策略全解析:Playwright多场景E2E与协作混沌模糊测试

Doory 是一个开源的 Canva 替代品,在浏览器里完成海报、幻灯片、邀请函等图形设计,并支持实时协作编辑。本文带你拆解 Doory 的测试策略:它如何用 Playwright 搭建多场景 E2E 测试,又用协作混沌(Chaos)与模糊(Fuzz)测试,把多用户协同编辑器的并发、断网、崩溃问题统统"提前炸出来"。

Doory开源Canva替代项目横幅,Playwright多场景E2E与协作混沌测试的测试对象

一、测试金字塔总览:三层各司其职

Doory 的测试分三层,从快而多的单元测试到慢而真的端到端测试逐级递进:

层级 工具 运行方式 覆盖范围
后端 pytest make test-api Django API、协作 CRDT 引擎、协议解析
前端单元 Vitest make test-web 编辑器引擎、协作绑定、动画等纯逻辑
端到端 Playwright npm run e2e:* 真实浏览器 + 真实后端的完整业务流

一键入口在 Makefile:make test 依次跑后端 pytest 与前端 vitest,把"能不能编译、逻辑对不对"这类快问题挡在最底层。

二、Playwright 多场景 E2E:每个业务域一份独立配置

Doory 没有用"一个大配置"打天下,而是为每个测试域单独准备 Playwright 配置与测试目录,入口脚本都写在 frontend/package.json:

命令 配置文件 特点
npm run e2e playwright.config.ts 顶层冒烟场景,跑在模拟 API 上,最快
npm run e2e:editor playwright.editor.config.ts 面向 e2e/editor/ 的编辑器专项,直接驱动 dev harness 页面
npm run e2e:collab playwright.collab.config.ts 协作专项:生产构建 + 真实后端,超时 120 秒
npm run e2e:app — 应用外壳(登录、仪表盘、上传等)
npm run e2e:print / e2e:perf / e2e:comments — 打印导出、性能、评论等专项

几个关键设计点值得注意:

  • 对真后端跑测试:api-server.mjs 会在测试前自动启动真正的 Django 后端(uvicorn ASGI + 全新临时 SQLite 数据库),WebSocket 协作走的是线上同一套协议栈,而不是替身。
  • 测试设置单独放宽限流:e2e_settings.py 只调大"注册限流"以容纳测试批量建号,其余锁号、上传限制等生产配置原样保留——既方便测试又不失真。
  • 失败自动留证:各配置统一开启 trace: 'retain-on-failure' 与 screenshot: 'only-on-failure',失败即保留回放轨迹与截图。

Doory图形设计编辑器界面,Playwright编辑器E2E测试覆盖的真实操作界面

Doory导出菜单界面,导出与打印场景由专门的Playwright E2E配置覆盖

三、协作混沌测试:随机操作 + 恶意网络 + 服务器崩溃

e2e/collab/ 目录是整套策略的重头戏。chaos-support.ts 提供三件武器:

  1. 可复现随机数:Rng 是一个带种子的 xorshift32 生成器,失败时用 CHAOS_SEED 环境变量即可重放同一轮测试;
  2. 恶意网络线路 Wire:能切断、恢复、丢包、注入 120ms~350ms 延迟;
  3. 随机编辑器动作:从 nudge、scale、rotate 到 pageAdd、undo 共 20 余种动作随机组合。

核心用例 chaos.spec.ts 一次拉起 5 个浏览器窗口共同编辑同一设计,连续 22 轮:每轮先随机决定每个窗口的网络命运(断线/恢复/丢包/刷新/延迟),再各自执行随机编辑,最后断言——所有窗口彼此一致、且与服务器存储完全收敛,并且协作房间存活期间"一次 REST 保存都没有发生"。

Doory编辑器真实操作录屏,多窗口协同编辑是协作混沌E2E测试的核心场景

围绕它还有几类专项混沌场景:

  • 冲突仲裁(chaos-conflicts.spec.ts):一人离线编辑、一人在线编辑,重连后验证"谁的操作都不丢、结果全局一致";
  • 服务器崩溃(chaos.spec.ts):通过控制端口对 API 进程发 SIGKILL/SIGTERM 反复杀死重启,验证断连期间的编辑在恢复后依然生效;
  • 安全攻击(chaos-security.spec.ts):用原始 WebSocket 伪造 Yjs 帧——超大帧、乱码字节、未知消息类型、写往不存在根类型的更新、嵌套 1000 层的深度值——断言服务器只回复一次错误且设计内容毫发无损;
  • 规模与内存(chaos-scale.spec.ts):验证 25 人满员限制、第 26 人等待空位自动进入,并用 CDP HeapProfiler 监测长会话堆内存是否泄漏。

四、模糊测试闭环:编辑器 Fuzz → 服务端回放

更隐蔽的一层测试藏在 frontend/src/editor/collab/fuzz/:fuzz.test.ts 让多个真实编辑器绑定(真实 Yjs 文档 + 撤销管理器)在"假服务器"中间随机编辑,穿插恶意网络与重连。

妙处在于它会把假服务器收到的全部 Yjs 更新按序记录成 fixture,交给后端 test_fuzz_replay.py 逐条回放进真实的服务器管线(更新扫描器 → CRDT 引擎 → 设计文档转换与校验),断言每个更新都被接受、每个中间态都可保存、最终设计正是编辑器们协商一致的结果。

后端测试里还有两类"不讲武德"的输入:

  • hostile.py:手写最小 Yjs v1 更新编码器,专门构造"诚实客户端绝不会发出"的畸形更新;
  • test_interop.py:用 Node 里真正的 yjs 库作为客户端与服务器互通,防止协议漂移。

五、三个值得抄的细节

  • 一切随机都可复现:CHAOS_SEED 一个环境变量锁定整轮混沌,CI 挂了你就能本地重放;
  • 失败即输出完整叙事:chaos 用例失败时打印每个窗口每轮做了什么、每条连接如何终结(chaos.spec.ts),排查不用猜;
  • 串行而非并行:协作配置设 workers: 1(playwright.collab.config.ts),共享后端下宁可慢一点,也不留交叉干扰的假失败。

六、给新手的启示

Doory 的测试策略回答了一个协作产品最棘手的问题:并发、断网、崩溃这些"偶发事故"如何变成"必测场景"? 答案是——用种子随机把混沌变成可复现的剧本,用真实后端和原始协议帧把攻击面摊开测,再把前端 Fuzz 的成果回放给后端引擎做闭环回归。如果你正在做多人协作类应用,这套"Playwright 多场景 E2E + 混沌 + 模糊回放"的组合,几乎可以直接照搬。

登录后查看全文
doory