多客户端并发备份同一仓库:Vykar 会话锁与 IndexDelta 协调原理

原创2026-11-01 09:50:341,611 阅读

多客户端并发备份同一仓库:Vykar 会话锁与 IndexDelta 协调原理

Vykar 是一款用 Rust 编写的加密去重备份工具,支持多台机器、多个定时任务同时向同一个备份仓库上传数据。它用「两层锁 + IndexDelta 增量协调」解决了并发写入的核心难题:上传阶段完全并行互不阻塞,只有短暂的索引提交阶段才串行化。本文带你读懂这套机制的工作原理。

Vykar 备份工具性能基准:与 Restic、Borg 对比的备份恢复耗时与内存占用

为什么「多个客户端同时备份」很难

传统做法是整把锁锁住仓库:任何时刻只允许一个备份任务运行。这在机器多、数据量大时是灾难——49 GiB 数据的备份动辄几分钟,N 台机器就要排队 N 倍时长。

Vykar 的思路是分而治之:

阶段 持锁方式 是否阻塞其他客户端
backup 上传阶段 仅写会话标记(共享) ❌ 不阻塞
backup 提交阶段 咨询锁(排他,通常仅几秒) ✅ 短暂串行
delete / prune / compact 维护锁(排他 + 会话检查) ✅ 阻塞活跃备份

会话锁机制:上传阶段如何互不干扰

会话标记:轻量的「我在备份」声明

每个备份客户端启动时生成一个 128 位随机 session_id,并在仓库的 sessions/<session_id>.json 写入一个轻量 JSON 标记,包含主机名、PID、注册时间与最后心跳时间(register_session)。

关键设计有两点:

  • 会话之间互不阻塞:标记只是「存在声明」,10 个备份同时上传也互不影响。
  • 独立心跳线程:SessionGuard 启动一个专用线程每 15 分钟刷新一次 last_refresh,与上传流水线解耦——即使某台机器在跑超长上传任务,标记也不会过期。last_refresh 超过 45 分钟(错过 3 次心跳)的标记才被视为 stale。

注册时还会探测一次是否有维护操作(compact/prune 等)正在持锁,若有则删除自己的标记并直接报 Locked 退出,避免上传了半天却在提交时白忙(backup/mod.rs)。

咨询锁:提交阶段的「老钥匙优先」仲裁

真正需要排他的是提交索引和快照的阶段。Vykar 在 locks/<微秒时间戳>-<uuid>.json 写锁文件,采用「最老的 key 获胜」规则:写入后列出所有锁,发现自己的 key 不是字典序最小,就删除自己的锁并返回 Locked 错误(acquire_lock)。

配套的安全网:

  • stale 清理:超过 6 小时的锁在每次抢锁前自动移除;
  • 指数退避重试:提交阶段用 acquire_lock_with_retry(10 次尝试、500ms 起跳、指数退避 + 25% 抖动)应对短暂的锁竞争,因为其他备份的提交通常只需几秒;
  • 锁围栏:持锁期间每次写关键对象前都校验锁仍有效(build_lock_fence),防止锁被清理后继续写入;
  • 人工恢复:vykar break-lock 可强制清除残留锁(break_lock.rs)。

IndexDelta:并发提交不互相覆盖的核心

上传阶段各客户端看不到彼此的最新索引,那提交时如何合并?答案是每个会话私有一份 IndexDelta 增量记录(index/mod.rs),只存两类变更:

  • new_entries:本次上传的新块(chunk_id、大小、pack 位置、引用计数);
  • refcount_bumps:对已存在块的引用计数增量(去重命中)。

提交时(commit_concurrent_session_with_progress)流程如下:

  1. 拿到排他锁,从存储重新下载最新完整索引;
  2. reconcile 协调增量——
    • 我上传的「新块」若已存在于最新索引(另一台机器抢先上传了相同块)→ 自动转成引用计数增量,不会互相覆盖;
    • 我要增加计数的块却已从索引中消失(被并发的 delete/prune 删掉)→ 报 StaleChunksDuringCommit,提示重新备份;
  3. verify_delta_packs 批量校验增量引用的 pack 确实存在于存储;
  4. 应用增量、持久化新索引,最后写 snapshots/<id> —— 这才是真正的提交点;
  5. 注销会话、释放锁。

索引永远先于快照写入。若两步之间崩溃,只会留下无快照引用的孤儿索引项(有界的空间浪费,vykar check --repair + compact 可回收),绝不丢数据。

中断与崩溃:journal 让上传不白传

备份被 Ctrl-C 或断电打断时,flush_on_abort() 会封存半截 pack、等待上传落地,并把 pack→chunk 映射写入 sessions/<id>.index 日志(flush_on_abort)。下次备份同一会话时,recover_pending_index 批量校验这些 pack 并「晋升」回内存索引——已上传的数据直接复用,不会重传。

维护命令则采取 fail-closed 策略:with_maintenance_lock 先清理 stale 会话,只要还有任何活跃(或无法证明已死)的会话,compact/delete/prune 就拒绝执行并报 ActiveSessions——因为压缩可能删除上传中客户端仍引用的 pack。

Vykar 备份桌面 GUI:多仓库快照管理、备份检查与恢复选择界面

遇到 Locked 或 ActiveSessions 怎么办

  • 偶发 Locked:多为别的备份正在提交(通常几秒),自动重试即可;持续报锁则是残留锁,确认无活跃任务后执行 vykar break-lock;
  • ActiveSessions:说明有其他机器在备份,等它完成;确认对端已死后可用 vykar break-lock --sessions 清理;
  • StaleChunksDuringCommit:提交窗口内有并发维护删除了数据,重新运行一次该备份即可。

想深入了解完整的两阶段备份流水、恢复管线与引用计数生命周期,可阅读官方架构文档 docs/src/architecture.md(Locking 与 Concurrent Multi-Client Backups 章节)。

登录后查看全文
vykar