家庭去广告野史:从 hosts 文件到 2 美元 DNS 拦截器
家庭去广告野史:从 hosts 文件到 2 美元 DNS 拦截器
拦截广告这件事,互联网用户已经折腾了二十多年。从最早手工往 hosts 文件里敲 0.0.0.0,到在树莓派上跑 Pi-hole,再到刷梅林、OpenWrt 固件给路由器装广告过滤插件,每一代方案都在解决同一个矛盾:拦截规则越来越庞大,而承载它的设备要么太贵、要么太娇贵。
2026 年夏天,这个演进链条上出现了一个新的"物种"——运行在约 2 美元 ESP32-C3 芯片上的 DNS 广告拦截器 esp32-c3-adblock。它没有 PSRAM,只用约 50 KB 内存,就把 53.7 万个广告域名装进 4 MB 闪存,每次查询约 10 毫秒出结果,被 Tom's Hardware、XDA Developers 等科技媒体相继报道。这篇"野史"要讲的,不只是它多便宜,而是它背后那条从"字符串查表"到"哈希查表"的工程主线,以及家用去广告方案一次次的代际更替。
hosts 时代:最朴素的查表法,和最朴素的问题
广告拦截的鼻祖是操作系统自带的 hosts 文件。原理朴素到不能再朴素:在解析任何域名之前,系统先查本地表,命中就直接返回指定地址。于是 0.0.0.0 ads.example.com 这种条目开始在网上流传,StevenBlack 的 hosts 项目至今仍是社区最活跃的去广告清单之一。
但 hosts 方案的软肋从第一天就存在:它只作用于一台设备。电脑改了,手机、电视盒子、智能家居设备一概不管。而且维护成本高——清单需要自己手动合并去重、定期更新,Windows 上还要小心系统文件权限。当家里设备从"一台电脑"变成"人手一台手机加一台电视"时,逐设备维护 hosts 的思路就走到了尽头。
于是 Pi-hole 登场。它把 hosts 的思路从"每台设备本地查表"搬到"网络层集中查表":在树莓派上跑一个 DNS 服务器,把广告域名解析成 0.0.0.0,其余请求转发给上游解析器。家里所有设备的 DNS 指向它,就等于全家共享同一份黑名单。这个模式统治了家用去广告近十年,至今仍是黄金标准。但 Pi-hole 的隐性门槛是硬件成本与功耗:树莓派主板、电源、SD 卡、外壳,一套下来不是小数目,更别说在内存涨价周期里树莓派的价格能被炒到离谱——Tom's Hardware 在报道 esp32-c3-adblock 时就直言,Pi-hole 时代"甚至一块树莓派也要花掉几百美元"。给一台 24 小时开机的"DNS 服务器"供电,也超出了很多普通家庭的预算。
固件刷机时代:全家覆盖了,代价是折腾
在 Pi-hole 盛行的同一时期,国内玩家走出了一条更本土化的路线:直接改造路由器。梅林、OpenWrt、老毛子固件刷机教程满天飞,刷完之后装上 adblock 插件,路由器本身就变成了去广告节点,一台设备覆盖全家,原理上与 Pi-hole 殊途同归。
这个思路解决了"成本"和"覆盖"问题,却引入了新的痛点:路由器是网络的关键路径,一旦翻车全家断网。固件刷错变砖、插件与固件版本不匹配、DNS 缓存异常导致网页打不开——每一个坑都有大量社区帖子在反复填。而且运营商送的光猫普遍封闭,能刷的路由器也多为特定芯片方案,硬件门槛不低。更重要的是,路由器既要承担 NAT、WiFi、QoS,还要扛 DNS 过滤,负载一高,延迟和稳定性都受影响。
这个阶段沉淀下来的共识是:理想的去广告节点应该独立于路由器,却又足够便宜、足够安静、足够省电。树莓派太大太贵,路由器插件风险太高,那有没有一种"刚好够用"的中间形态?
2 美元硬件:一次"降维"的尝试
esp32-c3-adblock 给出的答案是:一颗 RISC-V 架构的 ESP32-C3。这颗芯片本身集成了 WiFi、蓝牙和 4 MB 闪存,整板(C3 SuperMini)零售价约 2 美元,功耗约 0.35W,用路由器背面的 USB 口供电就能长期运行。硬件上它几乎是"一颗能联网的 Flash"——没有 PSRAM,内存只有约 400 KB,其中可用堆约 50 KB。
问题恰恰出在这里。此前绝大多数 ESP32 DNS 拦截项目,都把黑名单以明文字符串形式载入内存,一个域名平均要占几十字节,10 万个域名就能吃光整个芯片的内存,只能被迫外挂 PSRAM,硬件成本立刻翻几倍。Tom's Hardware 的报道点破了这个死结:普通明文字典放不进这块芯片,"于是他做了任何有进取心的黑客都会做的事——给数据做哈希,把体积压下来"。
这正是这个项目最值得拆解的核心工程决策:不存字符串,存哈希;不查 RAM,查 Flash。源码 src/main.cpp 里,这个思路被贯彻到了每一行:
static const int HASH_BYTES = 5; // 40-bit FNV-1a
static const uint64_t HASH_MASK = (1ULL << (HASH_BYTES * 8)) - 1;
每个域名只保留 40 位(5 字节)的 FNV-1a 哈希,排序后压进闪存,查询时做二分查找。14 万个域名在闪存里只占约 0.67 MB,内存开销被压缩到约 50 KB——对比"字符串存 RAM"方案同量级黑名单需要约 2.5 MB 内存、必须上 PSRAM 的局面,这是数量级的差异。
为什么偏偏是 40 位而不是 32 位或 64 位?这是碰撞数学(生日悖论)逼出来的甜点位:40 位哈希在 14.1 万个域名时碰撞约 0 个,压到 53.7 万个时碰撞约 1 个(也就是恰好一个倒霉域名会被"过度拦截");降到 32 位能省 20% 闪存,却在 25 万域名时换来约 7 次碰撞;升到 64 位则每个域名白白浪费 3 字节,去解决一个并不存在的问题。README.md 里用一张对比表把这个权衡讲得很清楚:
| 维度 | 字符串存 RAM 方案 | 本方案(哈希存 Flash) |
|---|---|---|
| 硬件 | ESP32 + PSRAM(约 8 美元) | ESP32-C3 无 PSRAM(约 2 美元) |
| 14.1 万域名 | 约 2.5 MB 内存 | 0.67 MB 闪存 |
| 内存占用 | 吃掉大部分 | 约 50 KB |
| 查询方式 | 字符串比较 | 约 18 次 Flash 读取(含 WiFi 往返约 10 ms) |
源码级拆解:20 KB 一级索引 + 二分查找
只有 50 KB 内存,还要在闪存里二分查找 53.7 万个 5 字节条目,直接对整张表做二分会带来大量随机 Flash 读取。项目的解法是再加一层一级索引:把排序哈希表按位置均匀采样 4096 个"样本哈希"放进内存,形成约 20 KB 的 blIndex(src/main.cpp 中 INDEX_ENTRIES = 4096)。
查询路径分两级:先用内存中的 blIndex 做一次二分,定位目标哈希大概率落在哪个桶(bucket),再只把该桶对应的一段范围从 Flash 读进 rangeBuf(最多 256 条),在内存里线性扫描。命中即返回,未命中继续查下一个更短的父域名。配合一个 256 项的直映缓存,热点域名几乎不触发 Flash 读。整个判定的总耗时被压到约 10 毫秒。
这条路径上还有一个容易被忽略的正确性细节:父域匹配。isBlocked() 会对 ads.example.com 依次尝试 ads.example.com、example.com 两级哈希,因此"拦截一个域名即拦截其所有子域名"。这在去广告场景至关重要——广告网络几乎都爱用随机子域名来绕过精确匹配。对应的预处理在 tools/build_blocklist.py 中完成:它接受 hosts 文件、纯域名列表、AdGuard/Adblock 规则三种输入,||ads.example.com^ 拦截、@@||ok.example.com^ 放行、正则和 $ 修饰符等哈希表无法表达的规则则被跳过并计数;如果某个源下载失败,构建脚本会直接报错退出而不是悄悄产出一份缩水的清单。
查询侧的判断同样干净利落:被拦截的域名直接回 0.0.0.0(黑洞),未命中的查询转发给上游解析器(默认 Quad9,UPSTREAM_IP 9, 9, 9, 9),并把应答原样中继回客户端。这里还有个 DNS 协议层的坑:现代客户端会带 EDNS OPT 记录,被拦截的应答必须只含 question + answer(ANCOUNT=1, NSCOUNT=ARCOUNT=0),否则会被客户端判为畸形包——代码里 buildBlocked() 逐字段构造应答正是为此。
Fail-Open、OTA 权衡与那套"宁放行不误杀"的哲学
拦截器挂在全家 DNS 路径上,最怕的不是漏广告,而是把自己拦死。项目在热替换黑名单时采用了一个刻意的设计:写入新 blocklist.bin 之前先关闭旧文件、把 numHashes 清零,此时设备自动进入"放行模式"——所有查询直接转发,不做任何拦截。也就是说,在黑名单交换的那几秒窗口里,这台设备宁肯让广告全过,也绝不让 DNS 查询卡住。这个 Fail-Open(故障放行)的设计在 src/main.cpp 的 beginBlocklistSwap() 里写得明明白白,对"家庭网络可靠性优先"的场景而言是极其正确的取舍。
另一个取舍藏在 4 MB 闪存的分区表里。固件要支持 WiFi OTA,就必须保留两个 app 槽位,partitions.csv 因此给黑名单分区只留了 1.3125 MB,对应约 25 万域名;而放弃固件 OTA、采用单 app 分区时,黑名单上限可以冲到 53.7 万。项目把这两种配置都写在文档里让用户自己选:日常用 25 万就够(StevenBlack 基础清单 + Hagezi Light 约 10 万条,WhatsApp/社交不受影响),想要"极限测试"就换单分区表加 Hagezi Pro 的 37 万条清单。
安全层面也值得称道。仪表盘所有"改状态"的端点(封禁设备、加黑名单、上传/OTA、遗忘 WiFi)都要求 HTTP Basic Auth,且额外要求自定义请求头 X-Requested-With: c3-adblock——因为浏览器会把缓存的 Basic Auth 凭证自动附加到同源站点的任何请求上,一个 <img src="http://c3adblock.local/forgetwifi"> 就能触发 CSRF,而纯 <img>/<form> 攻击无法携带自定义请求头。自定义域名在渲染前还会做 HTML 转义,堵住了 </addblock> 注入的存储型 XSS。这些细节在 src/main.cpp 的 requireAuth() 与 src/page.h 前端 JS 里相互印证。
代际意义:当去广告变成"插上就忘"的小东西
如果说 Pi-hole 是"家庭 DNS 服务器"的普及,路由器刷机是"让网关自己过滤"的激进尝试,那么 esp32-c3-adblock 代表的是第三个方向:把去广告做成一个几乎可以忽略的独立硬件。它不需要 PSRAM、不需要树莓派级别的算力,插在路由器背面的 USB 口上,靠路由器供电,体积小到"藏在网关后面几乎看不见",闲置温度约 45–55°C,功耗只够点亮一盏小夜灯。
它甚至把装机门槛也降到了"无配置":首次开机如果连不上 WiFi,会自动开一个 C3-AdBlock-XXXX 的开放热点,手机连上即弹出配网门户(src/main.cpp 的 startConfigPortal()),选网络输密码就完成配网,之后通过 mDNS 域名 http://c3adblock.local 打开仪表盘,可以查看拦截数、放行数、客户端列表、RSSI、温度、空闲内存,也能一键封禁某台设备、临时暂停拦截、添加自定义域名。黑名单和固件都支持 WiFi OTA 更新,连 USB 刷机都可以省掉。
当然,它也有明确的边界:没有历史查询日志、没有复杂的过滤规则(正则、通配符、$ 修饰符都表达不了)、单次查询串行处理。Tom's Hardware 的报道也如实指出,它更适合当"一台安静的保险"——作为主 DNS 掉线时的备份过滤节点,而不是替代完整的 Pi-hole 或 AdGuard Home。仓库里甚至为它准备了一个配套的 3D 打印外壳(hardware/esp32-c3-supermini-enclosure.stl),打印说明特别强调:天线端要留空、不要被实心塑料或金属遮挡,否则 RSSI 会很难看。
回看这条野史:从逐台设备改 hosts,到一台树莓派扛全家,到把路由器当过滤器,再到如今一颗 2 美元芯片插上就忘——每一次代际更替,本质都是把"拦截规则变大"与"承载设备变贵"这对矛盾往成本更低的方向推进一步。esp32-c3-adblock 的贡献不在于发明了 DNS 拦截(那是 Pi-hole 的老本行),而在于用哈希存 Flash 这个被绝大多数人忽略的技巧,把"能跑 Pi-hole 级拦截的最小硬件"压到了两美元、五十 KB 内存的量级。这也许不会取代任何主流方案,但它证明了另一件事:在去广告这件事上,硬件成本的底线远没有到头。