Missing Semester 数据备份完全指南:从 3-2-1 规则到版本化、去重与加密的实战方案
Missing Semester 数据备份完全指南:从 3-2-1 规则到版本化、去重与加密的实战方案
备份是计算机教育中最常被忽视、却又最性命攸关的议题。本文整理自 MIT《Missing Semester of Your CS Education》2019 年课程《Backups》讲义(备份讲义),并融合了本仓库 2020 年课程 Potpourri 章节、安全与隐私讲义 与 命令行讲义 中的相关内容。读完本文,你将掌握备份的核心原则(3-2-1 规则、版本化、去重、加密、只追加),了解 Tarsnap、Borg Backup、rsync、rclone 等工具的正确选型,并知道如何为邮箱、云服务与网页内容设计可行的离线备份方案。
世界上只有两种人:正在做备份的人,和将来会做备份的人。任何你拥有却尚未备份的数据,都有可能在任何时刻、永久地消失。备份的意义不在于"复制文件"这个动作本身,而在于面对硬件故障、误删、勒索软件与恶意攻击时,你依然能够把数据找回来。
3-2-1 规则:备份的黄金准则
美国 CERT 的数据备份指南 中提出的 3-2-1 规则 是最常被推荐的备份策略,它要求你的数据满足三个条件:
- 至少 3 份副本(the original + 2 backups);
- 2 份副本存储在不同介质(different mediums)上;
- 其中 1 份副本存放在异地(offsite)。
这一规则的核心思想是"不要把鸡蛋放在一个篮子里"。两份副本放在不同的设备/磁盘上,可以保证单一硬件故障不会一次性带走你全部的数据。而异地副本解决的是另一类灾难:如果你唯一的备份放在家里,而房子失火或遭窃,你会失去一切。用一句话总结两类副本的分工:
- 本地(on-site)备份提供的是可用性与速度,你可以在几秒内从它恢复数据;
- 异地(off-site)备份提供的是面对重大灾难的韧性(resiliency)。
课程讲义明确区分了这两个价值维度,这是设计备份体系时首先要想清楚的问题:你每个副本的职责是什么、它能在多快的时间内恢复什么级别的数据。
测试你的备份:别盲目相信系统
做备份时最常见的一个坑,是盲目相信系统声称自己正在做的事,而不去验证数据能否被真正恢复。讲义中提到了一个著名的行业教训:皮克斯《玩具总动员 2》的动画数据几乎全部丢失,而他们当时的备份系统恰恰是不可用的,最终是靠运气(一位员工家中恰好有一份本地拷贝)才挽救了这部电影。
因此,备份体系必须包含定期恢复演练:不是看一眼备份日志里写着"成功"就放心,而是真正确认从备份中能找回你需要的数据。2020 年讲义在 Potpourri 章节 中同样强调:"盲目信任备份是一个糟糕的主意,你应该定期验证自己确实可以用它恢复数据。"
版本化:镜像同步不是备份
首先要纠正一个常见误区:RAID 不是备份,广义地说,镜像(mirroring)不是备份方案。仅仅是"把文件同步到别处"无法应对以下几类场景:
- 数据损坏(data corruption)——源数据坏了,同步会把坏数据传播过去;
- 恶意软件(malicious software)——勒索软件加密了你的文件,同步会把加密后的文件传过去;
- 误删(deleting files by mistake)——删除操作会被同步传播到备份端。
问题的本质是:如果变化会传播到备份上,那么在这些场景下你就无法恢复。这也正是 Dropbox、Google Drive、OneDrive 等云存储服务的通病——它们本质上是同步工具而非备份工具。有些服务确实会在短期内保留已删除的数据,但它们的恢复界面通常并不适合用来恢复大量文件。
正确的备份系统应当是版本化的(versioned):通过提供不同时间点的快照(snapshot),你可以自由地在历史版本间导航,恢复任何丢失的内容。最广为人知的此类软件是 macOS 的 Time Machine。2020 年讲义将"版本化"列为优秀备份方案的核心特性之一:"版本化备份确保你可以访问自己的变更历史并高效恢复文件"(见 _2020/potpourri.md)。
去重:让增量备份变得经济
如果每次备份都完整复制全部数据,磁盘空间的开销会极其高昂。但从一个版本到下一个版本,绝大多数数据都是相同的,没有必要重复传输。数据去重(data deduplication) 正是为了解决这个问题:通过跟踪"哪些内容已经被存储过",系统可以只存储从一个版本到下一个版本的增量变化,从而大幅降低首次备份之外所需的磁盘空间。
去重是 Tarsnap、Borg Backup 等专业备份工具的核心机制。一个高效的实现思路是硬链接(hardlink):详见本文末尾"动手练习"一节中对 ln 与 ln -s 的对比实验。
加密:保护备份,也保护本地磁盘
当我们把数据备份到云服务商等不可信的第三方时,如果数据是"原样(as is)"复制的,就可能被不相关的代理窥探——税务文件这类敏感信息绝不应以明文形式存放在云端。为此,许多备份方案提供客户端加密(client side encryption):
- 数据在发送到服务器之前先进行加密;
- 服务器只存储密文、无法读取;
- 你用自己的私钥/密钥即可解密恢复。
Tarsnap 与 Borgbase 等商业服务即属于此类方案。作为补充,如果你要自行搭建备份链路,可以先用 gpg -c 对单个文件做对称加密,再用你的公钥加密密钥,实现"只有你能读回"的效果(详见 安全与隐私讲义 中的文件加密讨论)。
全盘加密:本地防线
讲义还附带了一个关键提醒:如果你的磁盘(或主分区)未加密,那么任何拿到你电脑的人都可能绕过用户访问控制直接读取数据。现代硬件对加密数据的读写已经足够快速高效,因此强烈建议开启全盘加密(full disk encryption)。主流方案包括 Linux 下的 cryptsetup + LUKS、Windows 的 BitLocker、macOS 的 FileVault(见 安全与隐私讲义)。注意:全盘加密无法抵御"攻击者同时控制了你本人"的情况,它主要防御的是设备离线失窃。
只追加(Append-only):抵御恶意删除
上述所有特性——冗余、版本化、去重、加密——解决的都还只是硬件故障或用户失误,它们无法应对这样一个场景:恶意攻击者入侵系统后,能否抹掉你所有珍视数据的全部副本?
如果你担心这一场景,就需要某种只追加(append only)的备份方案:一台允许你写入新数据、但拒绝删除已有数据的服务器。实际操作中通常配置两把密钥:
- 只追加密钥(append-only key):仅支持创建新备份,用于日常自动化任务;
- 全权密钥(full access key):允许删除不再需要的旧备份,必须离线存放。
这是一个颇具挑战性的场景——你要在"能够正常修改数据"与"阻止恶意用户删除数据"之间取得平衡。现有的商业方案包括 Tarsnap 的加密备份小节中。)
其他需要考虑的备份维度
- 定期备份(periodic backups):过时的备份价值有限,让备份按固定周期自动执行应该纳入系统设计。如果你倾向于用系统自带的定时器,可以参考本仓库 自动化讲义 中关于 cron 的讲解——它正是以"定期运行备份任务"为典型用例引入的:cron 守护进程(
crond)能按分钟级频率调度任务,通过crontab -e编辑、crontab -l查看配置;注意 cron 不会加载.bashrc等 shell 环境,脚本中应使用绝对路径并显式配置PATH等环境变量,同时用>> log 2>&1记录输出以便排查。 - 可启动备份(bootable backups):一些工具允许你克隆整块磁盘,得到一份包含完整系统的镜像,可以直接从它启动。
- 差分备份策略(differential backup strategies):你未必对全部数据一视同仁,可以为不同类型的数据定义不同的备份策略(频率、保留周期、存放位置)。
- 只追加(append-only)强化:进一步强化你的备份仓库为只追加模式,防止攻击者控制机器后删除备份(与上一节原理相同,此处强调其作为通用设计考量)。
网络服务(Webservices)的备份
并非所有数据都生活在你硬盘上。如果你使用网络服务,那么部分你珍视的数据是存储在云端的,例如 Google Docs 演示文稿、Spotify 播放列表,以及很容易被忘记的网页版邮箱(如 Gmail)。为这类数据设计备份方案要更棘手一些,不过好消息是:
- 许多服务支持直接下载你的数据,或提供 API 供程序化导出;
- 社区已经为常见服务构建了工具,例如用于 Gmail 的 gmvault,可以把邮件下载到本地电脑;
- 2020 年讲义(_2020/potpourri.md)也提醒:一旦失去对这些账户的访问权,webmail、社交媒体照片、流媒体歌单、在线文档就都消失了,在本地保留一份离线拷贝才是正解,且往往已有现成工具可用。
网页(Webpages)的备份
网络上有大量高质量内容以网页形式存在。如果内容是静态的,最简单的备份方式就是把网站连同其附件一起保存下来。另一个重要选项是 Wayback Machine(archive.org/web):
- 它由 Internet Archive(互联网档案馆)运营,是一家致力于保存各类媒体、非营利的数字档案机构;
- 你可以主动抓取并归档某个网页,之后随时检索该网站所有已被归档的快照(snapshot)。
如果你觉得这个项目有价值,可以考虑向其 捐赠。这本质上是把"网页历史"外包给一个大型、持续运行的备份体系。
推荐的备份工具与选型对比
以下是讲义作者亲自使用过、可以诚实推荐的备份程序与服务:
| 工具 | 定位 | 关键特性 | 注意点 |
|---|---|---|---|
| Tarsnap | 在线备份服务 | 去重 + 客户端加密,适合"真正多疑"的用户 | 商业付费服务,按存储量计费 |
| Borg Backup | 本地备份程序 | 去重,支持压缩与认证加密(authenticated encryption) | 云端存储可搭配 BorgBase 使用 |
| rsync | 增量文件传输工具 | 快速增量传输,跳过已传输的文件 | 不是完整备份方案,只负责同步/传输 |
| rclone | 云存储同步工具 | 类似 rsync,但面向 Amazon S3、Dropbox、Google Drive、rsync.net 等云存储;支持远程文件夹的客户端加密 | 用于把备份送上云端 |
从命令行讲义看 rsync 的定位
本仓库 2019 命令行讲义 对 rsync 有过精准的定位:相比 mv/scp,当你要复制大量文件、大文件或目标端已存在部分数据时,rsync 是巨大改进——它会跳过已经传输过的文件,配合 --partial 标志还能从被中断的拷贝处续传。而 远程机器讲义 进一步指出,rsync 比 scp 更能识别本地与远程的相同文件、避免重复拷贝,并提供对符号链接与权限的更精细控制。这意味着 rsync 非常适合作为从本地到远程主机的传输层,但它自身不做版本化与去重管理——把增量传输与版本快照结合起来,正是 Borg/Tarsnap 这类完整备份工具的价值所在。
动手练习
- 盘点你的备份现状:思考你目前是如何(或没有在)备份数据的,并着手修复/改进它。先画一份清单:哪些数据存在几份副本?介质是否不同?有没有异地副本?恢复演练做过吗?
- 邮箱备份:搞清楚如何备份你的邮箱账户(Gmail 可参考 gmvault 等工具)。
- 网络服务备份调研:选一个你常用的网络服务(Spotify、Google Music 等),调研它有哪些备份选项。通常社区已经基于其 API 造好了轮子(例如 youtube-dl 这类解决方案)。
- 用 Wayback Machine 检索:找一个你多年来反复访问的网站,到 archive.org 查询它——看看它一共有多少个版本快照?
- 用硬链接体验去重的原理:实现去重的一个高效手段是使用硬链接(hardlink)。与符号链接(symlink,指向另一个文件或文件夹)不同,硬链接是指针的精确副本(它使用相同的 inode,指向磁盘上的同一位置)。因此,如果原文件被删除:符号链接会失效,而硬链接依然有效。不过硬链接只适用于文件(不能链接目录)。请用
ln命令创建硬链接,并用ln -s创建符号链接,对比两者的行为差异。(macOS 上需要安装 GNU coreutils 或 hln 包。)
相关课程资源
本文属于 MIT《Missing Semester of Your CS Education》课程体系,2019 年系列完整讲义见 2019 课程索引。以下仓库内文档可进一步深化本文主题:
- 2019 备份讲义:本文的原始出处,含完整视频信息与全部原文;
- 2020 Potpourri 章节:对备份核心特性的精炼总结,并介绍了 borgbackup/rclone 的 FUSE 挂载能力;
- 2019 安全与隐私讲义:加密备份、全盘加密与文件加密的展开讨论;
- 2019 自动化讲义:用 cron 实现定期备份任务的完整配置方法;
- 2019 命令行讲义:rsync 增量传输的定位与用法;
- 2019 远程机器讲义:scp/rsync 等基于 SSH 的远程文件复制方式。
课程资料由 MIT 提供并托管于本镜像仓库,仅供学习参考;讲义中引用的外部工具与服务(Tarsnap、BorgBase、Internet Archive 等)请以各自官方文档为准。