删早一步就救不回来:边解压边回收最扎手的坑
删早一步就救不回来:边解压边回收最扎手的坑
180 GB 的压缩包解压出 200 GB 文件,传统解压器在收尾那一刻要求磁盘同时容纳 380 GB。HatchZip 的思路是把归档本身当成工作区:从文件末尾开始解,解完一批就把归档截短一截,腾出来的空间立刻给下一批文件用。代价是压缩包在被使用的过程中持续消失,源与工作区变成了同一个对象。
这带来一个很尖锐的问题:删早一步,数据就回不来了。本文按仓库源码里真实的写入顺序,拆解"边解压边回收"最容易出的三类事故,哪些场景下必须保留原始压缩包,以及出错之后正确的止损次序。
先看清"删"的粒度:unit、tail、journal
整套机制建立在三种东西上。
unit 是"解码上独立、可以整段截掉"的最小单位。ZIP 是一个条目(本地头加数据),tar 是一个条目(含它前面的长文件名/pax 记录),7z 是一整个 solid block,.tar.gz 因为只能从头解码,整包就是一个 unit。Job::build 会把所有 unit 按起始偏移从大到小排序,一次提交一批,而一批的上限写在 engine.rs 顶部:
const BATCH_MAX_UNITS: usize = 512;
const BATCH_MAX_BYTES: u64 = 2 * 1024 * 1024 * 1024;
tail 是归档末尾的索引区。ZIP 和 7z 的中央目录/文件头就在最后,而截断是从后往前发生的——也就是说,第一个会被截掉的恰恰是"目录"。所以在动第一刀之前,HatchZip 把最后一段原样复制到 <archive>.hatchzip-tail,并在 journal 里记下它的起始偏移和 CRC-32。之后所有解析都走 storage.rs 的 Reader:tail 起始偏移以下读真实分区,以上读保存下来的副本,已经被截掉的区域读成 0。ZIP 解析器会反向扫描找 EOCD,零字节永远不会撞上签名;tar 的零块则天然像"归档结束",于是解析出来的正好是还没做的那些 unit。
journal 是 <archive>.hatchzip,一个小的 JSON,关键字段不多但每一个都承重:
| 字段 | 作用 | 缺了会怎样 |
|---|---|---|
format |
zip / 7z / tar / tar.gz |
续解时必须靠它,不能靠猜一个被啃掉一半的文件 |
parts |
每个分卷的绝对路径与原始长度 | 分卷集合无法重建,前缀校验失效 |
tail_start、tail_crc |
tail 该放回哪里、内容对不对 | 归档无法再被解析 |
committed_len |
最近一次提交后的归档长度 | 分不清哪些 unit 已完成 |
resume |
大文件流式解压的断点:unit、已落盘字节、比特位置、累计 CRC | 半流式文件无法接续 |
restoring |
restore 覆盖掉的原始字节,用于回滚 | 中断的 restore 无法撤销 |
真正的安全边界只有一句话,写在 how-it-works.md 里:journal 绝不声明一个还没落盘的文件,归档也绝不在 journal 声明之前被截到某个 unit 之前。 落到代码上,就是 Run::commit 里固定的四步:先 sync_batch 把整批刷到物理磁盘,再原子替换 journal,然后才 set_len 截断。中间的两次 crash_point 正是测试用来反复杀进程的位置。
三类事故:半成品、静默截断、无法重解
一、半成品:.hatchzip-part 不是垃圾
普通批次里,每个文件先写成 <name>.hatchzip-part,写完、设好 mtime 与权限、按平台需要 sync_all,再 rename 成真名。解码器在流结束时校验 CRC,DiskSink::copy 还会核对写入长度与归档声明是否一致,任何一步失败都会删掉 part 文件并报错——所以"损坏的文件不会被写出来"这句话是有代码支撑的。
崩在 rename 之后、commit 之前,磁盘上就出现一个"看起来完整"的真名文件;此时 journal 仍然只记到上一批。下次续解时,Job::uncommitted 会把这一批的 part 与真名文件都列出来,session::clear_uncommitted 直接删掉重解。这是安全的,因为 check_collisions 保证了输出目录里原本不存在同名文件——这也是"HatchZip 从不覆盖已有文件"这条规则真正的用途。
但有一类 part 文件不能删。流式解压一个大文件时,归档里它已解开的那段数据可能已经被 punch 成零;此时 part 文件是这段数据的唯一副本。uncommitted 特意跳过了这个条目:
// A half-streamed file is not in the list: its archive bytes may be gone,
// so it is the only copy of its first part.
一旦被手工清掉,续解会直接撞上 engine.rs 里 open_part 的报错:
<name>.hatchzip-part is missing, and the archive data it was extracted from is already
released, so this file cannot be completed
这时没有 restore 可用,也没有第二个副本,只能靠外部备份。所谓"半成品事故",绝大多数不是程序写坏的,而是人把它当成临时垃圾扫掉了。
二、静默截断:committed_len 之外没有第二个真相
HatchZip 对"归档被动过"的检测是保守而具体的,Storage::current_len 只有三种判决:
- 归档比
committed_len短 →is shorter than HatchZip left it and will not be modified; - 某个分卷比记录的原始长度长 →
has grown since extraction started and will not be modified; - 中间缺了一卷(比如删了
.002却留下.003)→is missing a piece before ...。
反过来说,一切没被这三种判决覆盖的改动,都会被当成"合法前缀"接受。set_len 只做两件事:整卷在目标长度之后的直接删除,跨在边界上的那卷做 set_len。它不校验内容,只校验长度。
于是几个看起来无害的操作会直接宣判死刑:
只删 .hatchzip,保留归档。 这是最坏的一种。session::open 看到 journal 不存在,会把它当成一个全新的归档去 sniff。但 ZIP/7z 的索引早就被截掉了,解析会失败;即便侥幸解析成功,restore 也只会冷冷地说 is not partially extracted; there is nothing to restore。剩下的条目还在磁盘上,却没有任何索引能把它们串起来。tail 文件在这个时候毫无用处——tail_start 和 CRC 都只存在 journal 里。
只删 .hatchzip-tail。 下一次 Journal::load 会在 CRC 或长度校验处失败,报 <archive>.hatchzip-tail does not match its journal。续解和 restore 同时失效。
移动或重命名归档。 journal 的 parts 记录的是绝对路径(session::locate 用 std::path::absolute 生成),续解时 Storage::from_parts 按原路径打开。把 game.zip 改名成 game-old.zip,再把两个 side 文件一起搬过去,看起来"齐全",实际仍然找不到归档本体。分卷同理,搬走任意一卷都算破坏。
还有一个容易被忽略的细节:journal 的原子替换用的是 fsutil::write_atomic,临时文件由 path.with_extension("tmp") 得到。对 game.zip.hatchzip 来说,临时路径就是 game.zip.tmp。在归档旁边放一个同名文件,它会在每次写 journal 时被覆盖。这不是数据恢复问题,但确实是"别在案发现场乱放东西"的一部分。
三、无法重解:restore 的三种拒绝
restore 的设计很克制:它不搬运任何数据,只在 committed_len 处追加一份新索引,让剩下的条目重新变成 7-Zip、WinRAR、unzip、tar 能打开的普通归档。ZIP 是复制保存下来的中央目录记录并重算 EOCD/ZIP64;tar 只补两个零块和那些"硬链接目标还在归档里"的条目;7z 需要用 sevenz-rust2 的 writer 重写文件头,并回写开头 32 字节的 signature header——这就是 NewIndex.patches 存在的原因。
它的步骤顺序在 restore.rs 开头写得很清楚,关键是第 4 步:先把将被覆盖的旧字节存进 journal 的 restoring 字段,再写新索引。这样 restore 自己被打断也能撤销——recover 会把归档切回 committed_len 并把旧字节写回去。测试里 restore-appended 和 restore-written 两个崩溃点各自验证了"再跑一次 restore"和"改跑 extract"两条路。
但 restore 有三条硬拒绝,都发生在写任何字节之前:
- journal 里有
resume且stream.is_some()(.tar.gz的流式断点):压缩流的一部分可能已经释放,a compressed tar cannot be rebuilt from what remains; - journal 里有
resume(ZIP/tar 的单文件流式断点):a large entry was being extracted, and the archive space of its first N may already be released; - 根本没有 journal:
is not partially extracted。
streaming.rs 里那个三分支测试把边界钉得很死:stream-after-sync 崩溃(输出已刷盘、断点尚未写入、更没 punch)时 restore 可以成功,归档恢复到原始字节;而 stream-after-journal 与 stream-after-punch 必须拒绝,并且测试会断言归档与 journal 的字节完全没变。
也就是说,真正让"重解"变成不可能的,不是删了文件,而是归档中间已经被打了洞。洞一旦落下,restore 能做的只有拒绝,extract 能做的只有把剩下的解完。
还要澄清一个常见误解:restore 不是"撤销解压"。它不会把已经解出来的文件塞回归档,原来的完整压缩包从此不存在。它只是把"还没解出的那部分"重新包装成合法归档。
必须保留压缩包的三种例外
HatchZip 没有 --keep-archive 这类开关,因为整个空间模型就是把归档的字节当作可回收的缓冲区。但下面三种情况下,销毁归档要么没有收益,要么风险不可接受,应当先复制一份或干脆换工具。
一、这是唯一副本,且你无法重新下载。 --verify-first 会在动第一刀之前把每个 unit 读一遍、校验 CRC,损坏就退出码 4、什么都不删。但它只能保证"开始时是好的":如果下载文件在解压途中的某个位置损坏,前面那部分已经解出、归档已经截短,README 里对此的措辞是 the files before the damaged spot are extracted and the archive is partly gone。此时退出码是 1 而不是 4——因为损坏是在解压阶段被解码器发现的,Damaged 类型只覆盖打开与 .tar.gz 预扫描阶段。对不可复得的归档,正确做法是先 cp 一份到别的磁盘,再让 HatchZip 去消耗副本。
二、输出目录在另一个文件系统上。 session::plan 里 reclaims = fsutil::same_filesystem(archive, output) 决定了一切。跨盘时,space_needed 不再扣减 unit 对应的归档跨度,stream_solid 也把 punching 直接关掉(punch_support().filter(|_| reclaims)),CLI 还会打一行提示:
note: the destination is on another drive, so removing the archive does not free space there
换句话说,跨盘时你付出了"销毁源文件"的代价,却一点空间也没省下来,check 报出的需求会退化到接近"归档 + 全部输出"。这种情况下没有任何理由用原地解压。
三、空间根本收不回来,或者收回来也来不及。 三种典型:
.tar.gz落在 FAT32/exFAT 上。这类文件系统只支持截断、不支持打洞,Job::kept_whole返回 true,归档必须完整保留到最后一刻,磁盘要同时容纳整包和全部输出——但解压结束时它照样会被删掉。- btrfs/APFS 上存在包含该归档的快照。README 明确写了:快照持有的空间在快照删除前不会释放。你会看到
set_len成功了、df却没变,同时源文件已经不可逆地变短。 - 7z 用默认参数压成了单个 solid block。
check会在动手前拒绝(退出码 3):一个 block 必须整块解完才能释放,需要的空闲空间等于整块输出,收益为零。这种情况至少是安全的——它没有开始。
出错后的止损顺序
第一步:只诊断,不动手。
hatchzip check game.zip
check 用 writable = false 打开,不加排他锁、不写 journal、不截断,只打印空间计划并给出退出码。看到 exit 3 说明空间不足、归档一个字节都没动;exit 4 说明归档损坏、同样没删任何东西。同时确认三样东西都在:game.zip(以及 .001/.002/... 全部分卷)、game.zip.hatchzip、game.zip.hatchzip-tail,再决定方向。注意对 .tar.gz,check 会把整个流解码一遍来做预扫描,大文件上这一步本身就慢,属于正常现象。
第二步:分清"继续"还是"放弃",中间没有第三条路。
继续就重跑完全相同的命令:同一个工作目录、同一个 -o。journal 里的 output 是绝对路径,指向别处会被拒绝(this archive is already partially extracted to ...)。空间不够就先腾空间再重跑——session::plan 会把崩溃批次遗留的 part/真名文件(uncommitted)以及超出断点的那段输出(past_resume_point)计入"可用空间",所以这些残留物此时反而是资产,别急着删。
放弃就用:
hatchzip restore game.zip
它只需要新索引那么大的空间。已经解出的文件留在输出目录,剩下的条目回到标准归档。restore 如果被打断,再跑一次即可;或者改跑 extract 继续解压,recover 同样会把 restoring 里记录的旧字节还原、把多出来的索引切掉。
第三步:接受"已经 punch 过就不能回头"这个事实。
只要 restore 报 cannot be restored,唯一的前进方向就是把 extract 跑完。不要试图用 dd、truncate 或十六进制编辑器去"补齐"被打洞的区域——洞里的数据在物理上已经不存在,长度还在只是文件系统的记账方式。
第四步:别绕过排他锁。
Storage::with_parts 在可写打开时调用 platform::open_exclusive,第一个分卷被独占持有到整个运行结束。两个 HatchZip 进程、或者 HatchZip 与一个正在往同一归档写东西的工具同时跑,会被拒绝而不是产生竞态。遇到 is in use by another program or HatchZip process,等对方结束,不要用只读打开去"试探性"解压。
会彻底断掉恢复可能的动作
| 动作 | 代码里的后果 | 还能救吗 |
|---|---|---|
删除 .hatchzip |
归档被当成全新文件打开;索引早已被截掉,解析失败;restore 报 not partially extracted |
不能,除非有原始副本 |
删除 .hatchzip-tail |
Journal::load 校验失败:does not match its journal |
不能,续解与 restore 同时失效 |
删除流式写入的 .hatchzip-part |
open_part 报 archive data ... already released |
不能,那段数据已随洞消失 |
| 移动、改名归档或任一分卷 | parts 里是绝对路径与原始长度,Storage::from_parts 按原路径打开 |
放回原路径可以,改名不行 |
| 用别的工具往归档里写/追加 | current_len 判定 has grown since extraction started |
不能,只能靠备份 |
手工把归档截得比 committed_len 更短 |
判定 is shorter than HatchZip left it |
不能,长度即真相 |
对半解压归档跑 hatchzip test |
直接拒绝:partially extracted and cannot be tested |
是保护,不是故障 |
| 忘记加密归档的密码 | 密码从不保存,续解要重新输入,三次失败即退出 | 无密码则无法解码剩余 unit |
判断能不能救,其实只有一个标准:归档是否仍然是原始文件的一个完整前缀,且 committed_len 与那份 CRC 对得上的 tail 都还在。两者齐备,续解和 restore 都是确定性的;缺任何一样,"边解压边回收"就会从节省空间变成一次单向销毁。
这也是这套设计里最值得记住的一点:它并不比传统解压器更"危险",但它把风险从"磁盘满"挪到了"文件被动过"。前者还能腾空间重来,后者没有第二次机会。
