为什么Fredy永远不会让你看到同一个公寓两次?跨平台房源去重机制终极解析

原创2026-10-11 09:56:591,620 阅读

为什么Fredy永远不会让你看到同一个公寓两次?跨平台房源去重机制终极解析

Fredy 是一款自动监控欧洲各大租房平台(ImmoScout24、Immowelt、eBay Kleinanzeigen 等)并即时推送新房源到 Slack、Telegram、Email 的开源找房工具。本文深入解析 Fredy 的跨平台去重机制(similarity-check),揭示它如何通过"精确哈希 + 模糊指纹"两层设计,确保同一套公寓无论被多少家中介发布,你只会收到一次通知 🏠。

Fredy 房源列表界面

Fredy 的 Listings 视图:同一套公寓只出现一次,即使它在多个平台都有发布

为什么简单的"完全匹配"行不通?

直觉上,把房源的标题、价格、地址拼起来算一个哈希值,重复了就不推送,似乎就够了。但 Fredy 的开发者发现,不同房产平台的"同一个字段"根本对不上:

字段 ImmoScout24 Immowelt eBay Kleinanzeigen
标题 item.title mainDescription.headline 结果卡片文本节点
地址格式 "Stadtamhof, Regensburg" "93059 Stadtamhof, Regensburg" "93059 Regensburg - Stadtamhof"
价格含义 总租金(含杂费) 冷租金(不含杂费) 不定

三套系统、三种写法、三种价格口径——直接哈希的结果就是:哈希几乎永远撞不上,跨平台去重形同虚设。

这个背景在源码注释中写得很直白,见 listingFingerprint.js 的模块说明。

第一层去重:SHA-256 精确哈希

Fredy 的第一层防线保留了经典做法:对 jobId|标题|价格|地址 计算 SHA-256 摘要,见 similarityCache.js 的 toHash 函数。

这一层的价值在于:

  • ⚡ 快:同一平台原封不动地重复发布时,一次哈希查询即可拦截
  • 🛡️ 兜底:当房源缺少面积或房间数(无法进入指纹层)时,这是唯一能起作用的层级

但跨平台的重复房源会全部漏到第二层处理。

第二层去重:跨平台"房源指纹"

真正的核心是 listingFingerprint.js 模块——它把一套公寓抽象成一组跨平台稳定的特征信号,再判断两条记录是否指向同一扇门。

门禁条件:面积 + 房间数必须吻合

不是任何两条房源都值得比较。指纹层的第一道"门禁"只认两个所有平台都如实汇报的数字:

  1. 建筑面积:允许最多 1 m² 或 2% 的舍入误差(大公寓 1 m² 只是四舍五入,小公寓误差要按比例收紧)
  2. 房间数:四舍五入到半间(0.5 的网格),必须完全相等

面积和房间数一致,才进入下一步比较。规则入口在 isLikelyDuplicate 函数。

地点信号:地址解析器

三平台对同一地址的三种写法,由 parseAddress 统一拆解成结构化的街道、门牌号、邮编、区域词,见 parseAddress。亮点细节:

  • 街道名规范化:"Prüfeninger Straße"、"Prüfeningerstrasse"、"Prüfeninger Str." 折叠为同一个字符串(16 种德国街道后缀统一映射,见 STREET_SUFFIXES)
  • 门牌号精确度判断:"102-110" 这种范围门牌意味着是一整栋微公寓楼,十几套几乎一模一样的户型共享同一地址——此时门牌信号自动降权,防止误判
  • 四位数邮编识别:奥地利和瑞士的邮编是 4 位(如 "1030 Wien"),地址里没有德国 5 位邮编时自动按 4 位处理,否则维也纳所有房源都会只剩下 "wien" 一个共同词而被误合并

地点比较规则:同街道同门牌 > 同邮编 > 区域词重叠(Jaccard 相似度 ≥ 0.5)。

佐证信号:价格、标题、描述三选一

当地址只精确到"街道"级别时,还需要至少一个佐证信号站出来说"这俩是同一套":

信号 判定方法 容差
💰 价格 直接比,或换算成同一口径(冷租金 vs 总租金)再比 ±2%
📝 标题 去掉德语/法语/意语/西语/葡语的"广告噪音词"(miete、provisionsfrei、studio 等数百个),剩余实词做 Jaccard 相似度 ≥ 0.45
📄 描述 中介文案通常原样粘贴到每个平台,把描述切成 4 词滑动窗口哈希,保留最小的 32 个哈希值(bottom-k sketch),常量空间即可比较 ≥ 0.5

任何一个佐证成立,就判定为重复。这解释了为什么 ImmoScout 标价 1450 欧(含杂费)而 Immowelt 标价 1180 欧(冷租金)的同一套公寓也能被认出——价格信号失效时,标题相似度接住了它。这个真实案例就写在了 测试用例 里。

一个关键限制:只跨平台比较

注意 isLikelyDuplicate 的第 528 行:同一平台的两条房源永远不会被判定为重复。

这是刻意的——同一栋楼里两套真正不同的公寓,经常在同一个平台上并排展示,面积、房间数、文案都几乎一样。跨平台这个限制,就是防止它们被"合并成一套房"的保险丝。

去重在管道中的位置:每条新房源的"安检门"

去重不是独立功能,而是内嵌在抓取管道的关键步骤 _filterBySimilarListings。每轮搜索中,每个平台的每条新房源都要过 checkAndAddEntry 这道安检门:

  1. 先查精确哈希层 → 命中则拦截
  2. 再查指纹层的候选桶 → 命中则拦截
  3. 都未命中 → 放行,入库并通知你,同时登记进缓存

被拦截的房源会被静默清理,你只会看到日志里一条 Filtering similar entry ... 的 debug 记录。

高性能设计:桶索引与原子刷新

如果每次都要拿新房源和缓存里所有房源两两比较,房源一多就撑不住了。Fredy 的优化思路:

  • 桶索引:按 jobId|房间数|面积 分组(如 job-1|3|78),查找时只探测 ±1 m² 的相邻三个桶,比较量从全库降到"可能匹配的个位数"
  • 桶容量上限:单桶最多 200 条,超出的最老记录先淘汰(见 MAX_BUCKET_SIZE)
  • 原子刷新:缓存每小时从 SQLite 重建一次,期间构建全新结构后一次性替换引用,避免边遍历边修改
  • 删除联动:房源被永久删除时调用 removeEntry 同步驱逐缓存,否则会出现"删掉的房源反复复活又被软删"的诡异 bug(精确哈希用引用计数,两条房源哈希相同时删一条不会误伤另一条)

Fredy Dashboard 界面与多平台数据概览

Fredy 的 Dashboard:219 条房源来自 Immoscout、Kleinanzeigen、Immowelt 等多个平台,去重后每条公寓只计一次

相关源码导读

模块 路径 职责
相似性缓存 similarityCache.js 两层缓存的登记、查询、驱逐
指纹算法 listingFingerprint.js 特征提取与重复判定规则
管道集成 FredyPipelineExecutioner.js 去重安检门
三平台真实用例 listingFingerprint.test.js ImmoScout / Immowelt / Kleinanzeigen 同一套房的三版数据

写在最后

Fredy 的去重机制给出了一个朴素但有价值的答案:跨系统数据对不齐时,别去"让数据对齐",而是找到"哪些信号天然稳定"——对一套公寓而言,那就是面积、房间数和它所在的地理位置。标题、价格、文案各说各话?没关系,它们只需要做"投票人",不用做"法官" ⚖️。

登录后查看全文
fredy