C Cleaner Plus 极速扫描原理揭秘:Rust 直读 NTFS MFT 如何实现秒级大文件扫描
C Cleaner Plus 极速扫描原理揭秘:Rust 直读 NTFS MFT 如何实现秒级大文件扫描
C Cleaner Plus 是一款面向 Windows 的开源强力清理工具,其中的大文件扫描功能通过 Rust 直读 NTFS MFT(主文件表)实现秒级全盘扫描,无需逐个遍历目录,即可快速找出垃圾大文件、系统残留与重复占用空间的文件。
为什么传统"遍历目录"扫大文件很慢?💤
传统的磁盘扫描方式是"顺着目录树一级一级往下找":打开文件夹 → 列出所有文件和子文件夹 → 逐个获取大小 → 再钻进下一个子文件夹。
这种方式有两个天然瓶颈:
- 每个文件、每个目录都是一次系统调用。一个 500GB 的分区动辄上千万个文件,就意味着上千万次内核交互。
- 目录树越深越慢。游戏资产、代码仓库、网盘下载目录动辄几十层嵌套,遍历开销成倍放大。
结果就是:全盘大文件扫描动辄几十分钟,进度条爬得让人想放弃。
C Cleaner Plus 的思路完全不同——不遍历目录,直接读文件系统的"总账本"。
核心原理:MFT 是 Windows 分区的"文件总账"
NTFS 文件系统有一个关键结构:MFT(Master File Table,主文件表)。
你可以把它理解成分区上的一本"总账",里面记录着每一个文件的:
- 文件名(Unicode)
- 文件父目录编号
- 文件大小
- 是文件还是目录
- 是否为重解析点(如 junction 链接)
只要直接读出 MFT,就等于一次性拿到了整个分区的完整文件清单——文件大小根本不用再去打开任何文件,账本里已经写好了。
这就是"秒级扫描"的全部秘密所在:把千万次目录遍历,变成一次顺序读取元数据区域的磁盘 I/O。
核心实现位于 Rust 辅助程序:main.rs
五步流水线:Rust 如何直读 MFT?⚙️
整个快速扫描在 Rust 侧(tools/fast_large_files/)完成,流水线如下:
第 1 步:直接打开磁盘卷
通过 Windows 卷句柄(形如 \\.\<盘符>:)以只读共享方式打开整个分区(见 main.rs)。这样就不受目录结构的限制,可以按物理偏移直接读磁盘。
第 2 步:读引导扇区,摸清磁盘"版图"
先读磁盘开头的引导扇区,校验签名是否为 NTFS,然后解析出(main.rs):
- 扇区大小与簇大小(磁盘的"最小搬运单位")
- MFT 记录的大小(每条"账目"占多少字节)
- MFT 本体在磁盘上的起始位置
第 3 步:解析 $MFT 数据运行表,定位账本位置
MFT 本身可能散落在磁盘各处(不连续存放)。Rust 程序解析 $MFT 记录的数据运行表(data run list),逐段解码出账本的每一段落在磁盘哪些位置(main.rs)。
第 4 步:分块批量读取,边读边校验
按 1MB 的大块顺序读取 MFT 记录(main.rs),并逐条做两件事:
- 校验 FILE 签名:每条记录必须以
FILE四个字节开头; - 应用"修复扇区尾"(update sequence fixup):NTFS 记录跨扇区时会故意破坏扇区尾部并用序列号校验,程序按序列号恢复并验证完整性(main.rs)。校验不通过的记录直接丢弃,保证读出来的元数据是可信的。
对每条有效记录,提取三类关键属性(main.rs):
| 属性 | 作用 |
|---|---|
$FILE_NAME |
文件名(UTF-16 解码)+ 父目录编号 |
$DATA |
文件大小(支持驻留/非驻留两种存储形态) |
$REPARSE_POINT |
标记重解析点,扫描时跳过,避免链接死循环 |
第 5 步:沿"父指针"拼出完整路径 🧩
MFT 里每个文件只记录"名字"和"父目录编号"。Rust 程序从文件的父记录一路向上回溯到根目录(记录编号 5),再反转拼出完整路径(main.rs),并带循环保护,防止异常数据导致死循环。
最终结果按文件大小降序排序,输出 JSON 行(如 {"size":123456789,"path":"C:\\..."}),默认保留 Top 300、最小 300MB 起步,参数在 main.rs 中定义。
安全保护:绝不把"系统账本"当成垃圾 🛡️
读 MFT 意味着连系统内部文件都"看得见"。为避免误报,程序内置了三层过滤(main.rs):
- 元数据屏蔽:
$开头的 NTFS 内部目录、$RECYCLE.BIN、系统卷信息、Windows 保护目录等一律排除; - 系统文件排除:
pagefile.sys、hiberfil.sys、swapfile.sys、memory.dmp等不参与"可清理大文件"统计; - 可选跳过:
.sys文件默认跳过;虚拟机镜像(.vhd/.vhdx/.qcow2等)可通过参数选择性忽略。
Python 前端如何调度 Rust 引擎?🔌
图形界面由 Python 实现,调度逻辑见 main.py:
- 自动寻找引擎:按打包目录 → release 目录 → debug 目录的顺序查找
fast_large_files.exe(main.py); - 仅对盘根生效:只有扫描
C:\这类盘符根目录才启用 MFT 快速通道(main.py); - 60 秒超时保护:给 MFT 引擎设置整墙钟超时(默认 60s,可用环境变量
C_CLEANER_PLUS_MFT_TIMEOUT调整,见 main.py); - 无感回退:如果引擎缺失、非 NTFS 卷、解析失败或超时,自动回退到 Python 原生
os.scandir()多线程扫描——用户完全无感。
也就是说:能用快速引擎就用,不能用就悄悄切回传统方式,功能永远可用。
常见问题速答 ❓
Q:扫描结果准吗?会不会漏文件? A:结果直接来自文件系统元数据,与资源管理器显示的大小一致;MFT 记录会逐条做完整性校验,坏记录会被跳过而不是错报。
Q:为什么扫 C:\Users 这种子目录没有提速?
A:MFT 快速通道专为"整盘扫描"设计(一次读完整本账),子目录扫描文件数量本来就少,传统遍历已经足够快。
Q:如何验证/回退到普通扫描?
A:设置环境变量 C_CLEANER_PLUS_DISABLE_FAST_MFT 即可强制关闭快速通道。
Q:想自己编译 Rust 引擎?
A:执行 cargo build --release --manifest-path tools/fast_large_files/Cargo.toml,产物位于 tools/fast_large_files/target/release/fast_large_files.exe,详见 README.md,依赖清单见 Cargo.toml。
小结
C Cleaner Plus 的大文件扫描之所以能做到秒级返回,靠的不是"更激进的并发",而是一次思路上的降维:
放弃目录遍历,用 Rust 直读 NTFS MFT——把"翻箱倒柜"变成"查阅总账"。
从引导扇区定位到数据运行解析,从扇区尾校验到父指针路径还原,每一步都在 tools/fast_large_files/src/main.rs 中完整实现;Python 前端则以 60 秒超时 + 无感回退兜底(main.py)。这套"快引擎 + 稳回退"的架构,正是它在全盘清理场景下既快又稳的关键。