为什么Fredy永远不会让你看到同一个公寓两次?跨平台房源去重机制终极解析
为什么Fredy永远不会让你看到同一个公寓两次?跨平台房源去重机制终极解析
Fredy 是一款自动监控欧洲各大租房平台(ImmoScout24、Immowelt、eBay Kleinanzeigen 等)并即时推送新房源到 Slack、Telegram、Email 的开源找房工具。本文深入解析 Fredy 的跨平台去重机制(similarity-check),揭示它如何通过"精确哈希 + 模糊指纹"两层设计,确保同一套公寓无论被多少家中介发布,你只会收到一次通知 🏠。
Fredy 的 Listings 视图:同一套公寓只出现一次,即使它在多个平台都有发布
为什么简单的"完全匹配"行不通?
直觉上,把房源的标题、价格、地址拼起来算一个哈希值,重复了就不推送,似乎就够了。但 Fredy 的开发者发现,不同房产平台的"同一个字段"根本对不上:
| 字段 | ImmoScout24 | Immowelt | eBay Kleinanzeigen |
|---|---|---|---|
| 标题 | item.title |
mainDescription.headline |
结果卡片文本节点 |
| 地址格式 | "Stadtamhof, Regensburg" | "93059 Stadtamhof, Regensburg" | "93059 Regensburg - Stadtamhof" |
| 价格含义 | 总租金(含杂费) | 冷租金(不含杂费) | 不定 |
三套系统、三种写法、三种价格口径——直接哈希的结果就是:哈希几乎永远撞不上,跨平台去重形同虚设。
这个背景在源码注释中写得很直白,见 listingFingerprint.js 的模块说明。
第一层去重:SHA-256 精确哈希
Fredy 的第一层防线保留了经典做法:对 jobId|标题|价格|地址 计算 SHA-256 摘要,见 similarityCache.js 的 toHash 函数。
这一层的价值在于:
- ⚡ 快:同一平台原封不动地重复发布时,一次哈希查询即可拦截
- 🛡️ 兜底:当房源缺少面积或房间数(无法进入指纹层)时,这是唯一能起作用的层级
但跨平台的重复房源会全部漏到第二层处理。
第二层去重:跨平台"房源指纹"
真正的核心是 listingFingerprint.js 模块——它把一套公寓抽象成一组跨平台稳定的特征信号,再判断两条记录是否指向同一扇门。
门禁条件:面积 + 房间数必须吻合
不是任何两条房源都值得比较。指纹层的第一道"门禁"只认两个所有平台都如实汇报的数字:
- 建筑面积:允许最多 1 m² 或 2% 的舍入误差(大公寓 1 m² 只是四舍五入,小公寓误差要按比例收紧)
- 房间数:四舍五入到半间(0.5 的网格),必须完全相等
面积和房间数一致,才进入下一步比较。规则入口在 isLikelyDuplicate 函数。
地点信号:地址解析器
三平台对同一地址的三种写法,由 parseAddress 统一拆解成结构化的街道、门牌号、邮编、区域词,见 parseAddress。亮点细节:
- 街道名规范化:"Prüfeninger Straße"、"Prüfeningerstrasse"、"Prüfeninger Str." 折叠为同一个字符串(16 种德国街道后缀统一映射,见 STREET_SUFFIXES)
- 门牌号精确度判断:"102-110" 这种范围门牌意味着是一整栋微公寓楼,十几套几乎一模一样的户型共享同一地址——此时门牌信号自动降权,防止误判
- 四位数邮编识别:奥地利和瑞士的邮编是 4 位(如 "1030 Wien"),地址里没有德国 5 位邮编时自动按 4 位处理,否则维也纳所有房源都会只剩下 "wien" 一个共同词而被误合并
地点比较规则:同街道同门牌 > 同邮编 > 区域词重叠(Jaccard 相似度 ≥ 0.5)。
佐证信号:价格、标题、描述三选一
当地址只精确到"街道"级别时,还需要至少一个佐证信号站出来说"这俩是同一套":
| 信号 | 判定方法 | 容差 |
|---|---|---|
| 💰 价格 | 直接比,或换算成同一口径(冷租金 vs 总租金)再比 | ±2% |
| 📝 标题 | 去掉德语/法语/意语/西语/葡语的"广告噪音词"(miete、provisionsfrei、studio 等数百个),剩余实词做 Jaccard 相似度 | ≥ 0.45 |
| 📄 描述 | 中介文案通常原样粘贴到每个平台,把描述切成 4 词滑动窗口哈希,保留最小的 32 个哈希值(bottom-k sketch),常量空间即可比较 | ≥ 0.5 |
任何一个佐证成立,就判定为重复。这解释了为什么 ImmoScout 标价 1450 欧(含杂费)而 Immowelt 标价 1180 欧(冷租金)的同一套公寓也能被认出——价格信号失效时,标题相似度接住了它。这个真实案例就写在了 测试用例 里。
一个关键限制:只跨平台比较
注意 isLikelyDuplicate 的第 528 行:同一平台的两条房源永远不会被判定为重复。
这是刻意的——同一栋楼里两套真正不同的公寓,经常在同一个平台上并排展示,面积、房间数、文案都几乎一样。跨平台这个限制,就是防止它们被"合并成一套房"的保险丝。
去重在管道中的位置:每条新房源的"安检门"
去重不是独立功能,而是内嵌在抓取管道的关键步骤 _filterBySimilarListings。每轮搜索中,每个平台的每条新房源都要过 checkAndAddEntry 这道安检门:
- 先查精确哈希层 → 命中则拦截
- 再查指纹层的候选桶 → 命中则拦截
- 都未命中 → 放行,入库并通知你,同时登记进缓存
被拦截的房源会被静默清理,你只会看到日志里一条 Filtering similar entry ... 的 debug 记录。
高性能设计:桶索引与原子刷新
如果每次都要拿新房源和缓存里所有房源两两比较,房源一多就撑不住了。Fredy 的优化思路:
- 桶索引:按
jobId|房间数|面积分组(如job-1|3|78),查找时只探测 ±1 m² 的相邻三个桶,比较量从全库降到"可能匹配的个位数" - 桶容量上限:单桶最多 200 条,超出的最老记录先淘汰(见 MAX_BUCKET_SIZE)
- 原子刷新:缓存每小时从 SQLite 重建一次,期间构建全新结构后一次性替换引用,避免边遍历边修改
- 删除联动:房源被永久删除时调用 removeEntry 同步驱逐缓存,否则会出现"删掉的房源反复复活又被软删"的诡异 bug(精确哈希用引用计数,两条房源哈希相同时删一条不会误伤另一条)
Fredy 的 Dashboard:219 条房源来自 Immoscout、Kleinanzeigen、Immowelt 等多个平台,去重后每条公寓只计一次
相关源码导读
| 模块 | 路径 | 职责 |
|---|---|---|
| 相似性缓存 | similarityCache.js | 两层缓存的登记、查询、驱逐 |
| 指纹算法 | listingFingerprint.js | 特征提取与重复判定规则 |
| 管道集成 | FredyPipelineExecutioner.js | 去重安检门 |
| 三平台真实用例 | listingFingerprint.test.js | ImmoScout / Immowelt / Kleinanzeigen 同一套房的三版数据 |
写在最后
Fredy 的去重机制给出了一个朴素但有价值的答案:跨系统数据对不齐时,别去"让数据对齐",而是找到"哪些信号天然稳定"——对一套公寓而言,那就是面积、房间数和它所在的地理位置。标题、价格、文案各说各话?没关系,它们只需要做"投票人",不用做"法官" ⚖️。

