freehire 的 SEO 基线:五个全部失败的优化假设,以及 Google Jobs 驱动型求职搜索引擎的实证方法论
freehire 的 SEO 基线:五个全部失败的优化假设,以及 Google Jobs 驱动型求职搜索引擎的实证方法论
freehire 是"开源的求职者搜索引擎",其官方文档 SEO 基线(2026-08-31 基于 sc-domain:freehire.me Search Console 属性、2026-08-01 → 2026-08-28 数据窗口实测)做了一件少见的事:把五个"听起来显然正确"的 SEO 优化假设逐一用数据击落,并把失败过程完整存档——因为不写下来,这些想法每隔几个月就会被重新提出一次。读完本篇,你将掌握:如何在"78% 流量来自 Google Jobs 而非经典自然结果"这一前提下正确度量一个大型目录型站点(135 万文档)的 SEO 表现、如何避免第三方 SERP 追踪工具的结构性盲区、如何用二项分布期望检验"高转化页面子群"的选择偏差,以及如何在动搜索分类法(taxonomy)之前先算清"落选面"与"收益面"的不对称代价。
一、基线数字:Google Jobs 才是主渠道
2026-08-31 的实测数据(28 天窗口):
| Clicks | Impressions | CTR | Avg position | |
|---|---|---|---|---|
| 全部自然搜索 | 358 | 37,844 | 0.95% | 10.9 |
Google Jobs(JOB_DETAILS) |
282 | 29,696 | 0.95% | 5.2 |
经典结果(JOB_LISTING) |
39 | 924 | 4.22% | 9.4 |
78% 的展示和 79% 的点击来自 Google Jobs,而不是经典自然结果。 这一个事实决定了文中所有其他度量的解读方式——后面第一个被证伪的假设,正是忽略了它。
按板块统计"28 天内拿到至少 1 次展示"的页面覆盖率:
| 板块 | 提供的 URL 数 | 拿到展示 | 比率 |
|---|---|---|---|
/jobs/* |
1,351,207 | 7,987 | 0.59% |
/companies/* |
160,512 | 3,486 | 2.18% |
/collections/* |
103 | 11 | 10.7% |
/insights/* |
106 | 11 | 10.4% |
文档特别警告如何读后两行:在 103 个页面上算出的 10%"比率",实质是 11 个页面合计拿到 28 次展示、0 次点击。比率统计的是"至少 1 次展示"的页面数,对小板块的粉饰效果强到足以误导决策(见假设 5 的回马枪)。
权威度(DataForSEO,同日):30 个引用域(28 个根域、8 个 nofollow)、44 条反链、域名首次收录于 2025-02-07。
需求侧画像来自顶部查询:world vision vacancy in gambella、jobs in somalia、part time jobs singapore、engineering jobs in uganda today 2026、usina coruripe vagas、princess cruises careers。产生有效职位发布的国家分布为 US 25%、新加坡 10%、巴西 7%、丹麦 6%、印度 4%。这个站点赚到的流量是非技术、国际化的,而首页承诺的是"the open-source search engine for tech jobs"——这个矛盾是全文的暗线。
二、目录形状:1,351,207 个文档的富集字段覆盖
| 富集字段 | 携带该字段的文档数 | 占比 |
|---|---|---|
category |
1,291,759 | 96% |
skills(≥1) |
~920,000 | ~68% |
seniority |
417,402 | 31% |
salary_min |
144,595 | 11% |
salary_min ∩ seniority |
57,566 | — |
salary_min ∪ seniority |
504,431 | 37% |
需求与目录不匹配
目录本身是均分的——is_tech 报出 648,706 个技术岗对 643,289 个非技术岗。但需求不是:
| Clicks | 占比 | Impressions | 占比 | |
|---|---|---|---|---|
| 点名技术岗位或技术的查询 | 18 | 9.7% | 1,262 | 6.5% |
| 其他所有查询 | 168 | 90.3% | 18,125 | 93.5% |
一半目录是技术岗,不足十分之一的需求是。产生点击的查询是 world vision vacancy in gambella、jobs in somalia、part time jobs singapore、production assistant jobs vancouver、princess cruises careers。对全部 12,000 条查询按地理标记统计:乌干达 11 次点击、vagas(葡萄牙语)10 次、新加坡 5 次、索马里 3 次、埃塞俄比亚 3 次。
方法论备注:这覆盖期间 358 次点击中的 186 次(Search Console 会屏蔽长尾查询),且技术/非技术划分基于关键词列表分类,精确百分比应视为近似值。差距是一个数量级,任何合理的修正都抹不平。
文档特别强调一条取证纪律:这项度量刻意避免把 Search Console 页面 join 到 jobs API。两次尝试以同一种方式失败——单职位 API 对抽样职位只返回 23% 的 is_tech 和 23% 的 enrichment.category,而搜索索引报后者的覆盖率为 96%。无论原因是什么,"有字段"的子集不是目录的随机样本,跨该 join 度量的任何比率都不可靠。分类查询则完全不需要 join。
三、五个失败的假设(全文核心)
假设 1:"只有公司页能排名,职位页无法在重复文本上竞争"
想法来源: DataForSEO 的排名关键词导出。按估算流量排序的前 100 个 URL,100/100 是 /companies/*,没有一个 /jobs/*。
数据反驳: /jobs/* 拿到 358 次点击中的 331 次——92%。
为什么两者矛盾,以及通用教训: 第三方 SERP 追踪器抓取的是经典自然结果,它们看不见 Google Jobs 盒子。对一个 Google Jobs 占流量 78% 的招聘网站,DataForSEO 或 Ahrefs 的可见度估算对主渠道是结构性致盲的。不要用第三方追踪器来给这个站点的自然表现定级,Search Console 是唯一能看见该渠道的数据源。
假设 2:"结构化数据更丰富的职位表现更好,sitemap 应优先它们"
想法: salary_min 与 seniority 是填充 JobPosting 中 baseSalary 和 experienceRequirements 的字段。把职位 sitemap 拆成两档:优先档携带任一字段(目录的 37%),归档档装其余,让抓取预算偏向"在 Google Jobs 里有东西可赢"的职位。
检验方法: 取实际拿到展示的职位 URL,测量其中携带谓词(salary 或 seniority)的比例;与用同一方法测得的随机目录样本对比。
| 样本 | n | 携带 salary 或 seniority |
|---|---|---|
| 随机目录(对照) | 100 | 43.0% |
| 拿到 ≥1 次展示 | 381 | 25.2% |
结果:提升系数 ×0.68。 富集职位被检索出来的频率低于目录平均水平,而不是更高。谓词不仅无用,方向还是反的。
基于该想法的方案(openspec/changes/tier-job-sitemap-by-enrichment,含 proposal、design、tasks 和 spec delta 全套文件)被删除而未被实现——这是"先测量、后动工"流程的一个具体实例。
假设 3:"存在一批转化率高的职位卡片子群,找到它并复制它"
想法: 平均 CTR 是 0.95%,但有 184 个职位页拿到 4,357 次展示和 282 次点击——6.47%。找出它们与 6,407 个零点击页面的区别。
为什么这是循环论证: 那 184 个页面是因为"有点击"才被选出来的,然后才计算它们的 CTR。正确的对照是:零点击页面是否比均匀 CTR 模型预测的更常见:
| 每职位展示数 | 职位数 | 展示数 | 点击数 | CTR | 零点击·观测 | 零点击·0.95% 期望 |
|---|---|---|---|---|---|---|
| 1–4 | 5,063 | 8,814 | 53 | 0.60% | 99% | 98% |
| 5–9 | 900 | 5,820 | 43 | 0.74% | 96% | 94% |
| 10–29 | 511 | 7,889 | 81 | 1.03% | 90% | 86% |
| 30–99 | 105 | 4,865 | 75 | 1.54% | 68% | 65% |
| 100+ | 12 | 2,308 | 30 | 1.30% | 42% | 24% |
观测值追踪期望值。不存在高性能子群——CTR 大致均匀在 ~1%,随展示量轻微上浮。薪资字段有无(14.0% vs 13.2%)和雇佣类型(35.7% vs 34.0%)也分不开两组。
假设 4:"大多数公司页爬虫够不着,所以内链才是约束"
想法: /companies 按 job_count 降序排序,分页到 page=500 为止。offset=9,980 处列表的 job_count 是 20,所以沿内链的爬虫只能到达 ≥20 个在招职位的公司——约 10,000 / 160,512。其余 94% 只能靠 sitemap 发现。
检验: 实际拿到展示的公司页,是否落在可爬取集合里?
| 有产出的公司页 | 占比 | Impressions |
|---|---|---|
可爬取(job_count ≥ 20) |
14.1% | 145 |
仅 sitemap(job_count < 20) |
85.9% | 657 |
有产出公司页的中位 job_count:1。
结果: 86% 有效公司页是内链永远够不到的。sitemap 发现机制已经在干活,提高分页上限不会改变任何事。(大公司在每页上超额代表——14.1% 对 6.2% 的基率——但长尾仍然承载了量。)
假设 5:"程序化落地页是捕获这波需求的正确方式"
想法: 需求是地理性的(jobs in somalia、part time jobs singapore、engineering jobs in uganda today 2026),FilterCollection 机制(web/src/lib/collections.ts 等前端实现)把一个 slug 映射到任意 /jobs facet 参数、只有一个前端入口,且所有现有地理集合都钉死 work_mode: 'remote'——没有针对本地工作(on-site)的国家落地页,而这正是需求所要的。加国家页面看起来是"每国一行的改动"。
已上线页面的表现: 全部 103 个集合页在 28 天合计拿到 28 次展示、0 次点击。只有 10 个页面有过任何展示,最好的一个 10 次展示。
| 集合 | Clicks | Impressions |
|---|---|---|
frontend |
0 | 10 |
junior |
0 | 4 |
network-engineering |
0 | 4 |
| 其余 7 个 | 0 | 各 1–2 |
programmatic-seo-collections 变更已完成并部署,它的产出不排名。再加国家变体,就是再加一个"实测收益为零"的页面类型。
(该数据的早期解读——"collections 是全站展示比率最高的板块,103 里 11 个"——为真但无意义:比率统计 ≥1 次展示的页面,而每页的展示数只有 1 到 10。)
四、分类法的形状,对应着我们不再拥有的目录
基线测量时 vocab.CategoryValues 持有 37 个取值、覆盖目录 95.6%,所以覆盖不是问题;问题在形状:目录薄的地方切得很细,目录肥的地方不切。
| Category | 职位数 | 占比 |
|---|---|---|
management |
210,322 | 15.6% |
sales |
146,935 | 10.9% |
support |
101,177 | 7.5% |
| … | ||
developer_relations |
435 | 0.03% |
blockchain |
427 | 0.03% |
management 和 support 合计 311,499 个职位——目录的 23%——且两者都是标题词桶而非领域桶。300 个 management 标题抽样中 279 个含 "Manager":Tax Credit Property Manager、EHS Manager、Warehouse Manager、Senior Analog Engineering Manager 和 Art Studio Manager 共享一个 facet 值。support 中 300 个抽样里 219 个含 "support",把 Technical Support Engineer 和 Direct Support Professional(儿童居住照护)与 Customer Service Representative 并排。
按 management 筛选的求职者对工作内容一无所知。更糟的是,这些正是流量进来的分类——support 占有展示职位的 14.4%,management 占 12.9%。
值得注意:"这是不是管人的岗位"本来就是一个独立 facet:role_type = people_manager,仅从标题派生,覆盖 80,081 个职位。management 分类在错误的轴上回答同一个问题——分类应该说明工作在哪个领域,而 manager/IC 区分已经有自己的属性。
为什么 management 桶(在当时)应该维持原状
明显的后续动作——按领域重新路由那 210,322 个职位——被估算成本后拒绝。三个发现,重要性递增。
其一,没有可攻击的头。 在 800 个抽样 management 标题里,修饰 "Manager" 的词有 352 个不同取值,其中 256 个(73%)只出现一次。最常见的是 engineering(2.2%),而 {"engineering manager", "management"} 已经是显式的刻意映射。它以下全部 ≤1%:partner、business、restaurant、construction、production、property、EHS、warehouse、logistics、guest experience。
其二,大部分可路由的内容需要我们没有的分类。 前 30 名修饰词里真正有量的——restaurant、construction、property、EHS、warehouse、care、guest experience——在 vocab.CategoryValues 里没有归宿(见 internal/dict/vocab/vocab.go 中该列表及各取值的注释)。添加它们是"这是什么目录"的决策,不是词典修补。能进现有分类的(partner → sales、communications → marketing、logistics → operations、data → data_analytics)约 5–6% 的桶、约 12,000 个职位,代价是 15–20 个人工策划的别名——而 internal/dict/classify/dictionaries.go 已经论证过为什么 content、growth、performance 这类裸名词不能单独信任,因为它们同样命名了技术岗位。
其三,落选兜底是承重的。 {"manager", "management"} 当时是 categoryTable 的终止条目(基线测量时位于 dictionaries.go 附近),且 management 是 NonTechCategories 成员(vocab.go 中该集合的定义与注释),所以 is_tech 为 false,富集入队门(is_tech IS TRUE,见下文)永远不会把这些职位送进 LLM。收窄落选兜底,则大约 121,000 个裸 "Manager" 标题既得不到词典分类、也得不到 LLM 答案——正是 search.CategoryUnresolved 的定义(internal/search/search/document.go),而 cmd/reindex 的 splitJobs 会删除它们(cmd/reindex/main.go:CategoryUnresolved 的职位进入 deleteIDs,从索引中移除)。这些职位将同时离开站内搜索和 sitemap。
不对称性一锤定音:上行收益是 ~12,000 个职位的更好 facet,下行代价是 ~121,000 个职位掉出目录。
时间线备注:该基线写于 2026-08-31,而当前仓库的源码注释显示
management分类已于 2026-10 退役(vocab.go 中 "There is no management: it was retired 2026-10" 的说明,且CategoryValues已扩展至 52 个取值)。现在的机制是:经理类标题解析其所管理的手艺(restaurant manager → hospitality,见 dictionaries.go 的 MANAGERS 区块),"是否管人"由role_typefacet 回答;旧的category=management链接由搜索过滤器翻译为role_type=people_manager(internal/search/search/query_filter.go)。这与基线的分析结论一致——manager/IC 是独立轴——但说明基线是时间点快照,分类法其后已演进。
五、facet 覆盖与"哪些缺口可修"
| Facet | 全目录 | 技术类 | 非技术类 |
|---|---|---|---|
category |
95.6% | — | — |
countries |
93.2% | — | — |
employment_type |
38.6% | 34.1% | 43.2% |
seniority |
30.9% | 40.5% | 21.2% |
work_mode |
27.6% | 29.2% | 25.6% |
salary |
13.5% | 15.9% | 3.9% |
education_level |
6.9% | — | — |
role_type |
5.9% | — | — |
english_level |
5.7% | — | — |
ai_archetype |
0.5% | — | — |
缺口有两种成因,只有一种是我们能决策的:
salary与seniority在技术类里分别是 4× 和 2× 更好。这是富集入队门(is_tech IS TRUE)按设计工作:非技术职位从不到达 LLM。源码层面可验证:internal/platform/db/queries/enrichment.sql 的EnqueuePendingJobs以is_tech IS TRUE AND description <> ''入队,且注释解释了为何连is_tech IS NULL(词典与描述双向未决)也被刻意排除——在目录规模下该未决桶约占开放目录 65%,富集对其 ~91% 无产出。要填上这些字段,意味着把富集预算花在门刻意排除的 644,000 个职位上,而入队查询的注释正是论证该门为何关闭的依据。work_mode与employment_type在技术/非技术切分上持平——employment_type非技术侧反而更高——所以富集门解释不了它们。它们薄是因为职位本身没写明事实,而词典只在显式标记下赋值。量化更好检测能收回多少:127,437 个职位含 tokenremote,其中 90,262 个(71%)已有work_mode;hybrid是 74,834 对 39,861。可回收的约 70,000 个职位,对照 978,000 的缺口——7%。
度量纪律:不要用多词 q= 来估算——此处 Meilisearch 不做短语匹配,q=work from home 会返回含这三个词(任意位置)的 404,277 个文档。只用单 token。
六、顺带挖出的供给缺口
不是 SEO 发现,只因数据来自同一条查询而一并记录:
| 搜索者国家 | Clicks | Impressions | CTR | 目录内职位数 |
|---|---|---|---|---|
| 埃塞俄比亚 | 20 | 211 | 9.5% | 158 |
| 肯尼亚 | 28 | 420 | 6.7% | 713 |
| 尼日利亚 | 14 | 248 | 5.6% | 2,945 |
| 乌干达 | 14 | 291 | 4.8% | 119 |
| 美国 | 50 | 12,499 | 0.4% | 567,816 |
东非搜索者的转化率比站点均值(0.95%)高一个数量级,而撞上的目录只有约一百个职位。这是 ingest 集群的供给问题,不是可发现性问题。
2026-08-31 探测并排除了三条廉价供给路径:
- 策划已知雇主已穷尽:28 家知名非洲科技雇主中 19 家已在
sources/(仓库内的抓取源清单),能解析的 15 家合计仅贡献 412 个在招职位; - 区域聚合器是关闭的:Fuzu 返回 403,MyJobMag 是 Cloudflare 质询,BrighterMonday 与 Jobberman 既无 sitemap 也无
JobPostingJSON-LD; - 从雇主名猜 board slug 无产出:从 Ethiojobs 目录取 25 个名字 slugify 后探测公开 Greenhouse 与 Workable board API,0 命中。
第四条路径——把某个 board 的雇主目录当工作清单(而非来源)——被提出、被一个测量门控、并被该测量关闭:
ethiojobs.net/sitemap-companies.xml 列有 5,141 家雇主,每个公司页的 __NEXT_DATA__ 载荷携带雇主自有网站,形状恰是 {name, website}——与 cmd/harvest-ats resolve(见 cmd/harvest-ats/ 的解析与 resolve 实现)已消费的形态一致。提案的第一个任务是"先测可检测 board 率,再建任何东西":
| 步骤 | 结果 |
|---|---|
| 在目录中均匀抽样的公司数 | 280 |
| 携带网站 | 36(12.9%) |
| 解析到可检测 ATS board | 3 |
其中尚不在 sources/ 的 |
1 |
两个被拒样本是信息量最大的部分:NRC 的 Oracle board 和 Mastercard Foundation 的 Workday board 早已入库。每 280 家公司 1 个新 board,外推整个目录约 18 个——代价是爬 5,141 个页面并解析第三方的内部载荷。
注意网站率随样本增长而下降:33%(n=12)、18%(n=60)、12.9%(n=280)。前两个样本是聚簇抽样而非均匀抽样——小样本聚簇偏差的又一实例,与假设 3 的选择偏差同族。
重叠度从另一角度复现了"19/28":东非目录中面向国际经营的那一半,基本就是策划已经找到的一半。该地区雇主级 board 发现比其职位数暗示的更接近完成,剩下的埃塞俄比亚供给在本地雇主手中——他们既无 ATS 也无网站——只能通过爬 Ethiojobs 本身触达。
七、基线留下什么
站点在技术上可控的一切都在正常工作:sitemap 覆盖在 jobs 与 companies 两侧完整,JobPosting 结构化数据丰富到足以在平均位置 5.2 上赢下 Google Jobs 排位,页面是服务端渲染的,canonical 与重定向正确,关闭的职位离开 sitemap。
约束在需求侧,且都不是代码改动:
- 权威度。 30 个引用域是所有其他杠杆撞上的天花板。
- 定位。 实测受众是非技术、国际化的。这现在是事实,不是假设。
每月 358 次点击下,微优化算术不成立:把 CTR 从 0.95% 提到 1.3% 值约 130 次点击——前提是存在这样的杠杆,而假设 3 没有找到。
八、复现这份基线
Search Console 访问需要 ADC 上的 webmasters.readonly scope,以及启用了 API 的配额项目:
gcloud auth application-default login \
--scopes=https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/webmasters.readonly
gcloud auth application-default set-quota-project <project>
gcloud services enable searchconsole.googleapis.com --project=<project>
两个曾在此花费时间的陷阱,值得写进任何复现清单:
- Google Jobs 把展示归属到带
?utm_campaign=google_jobs_apply参数的 URL。锚定在干净/jobs/<slug>$上的正则只能匹配 6,596 行中的 33 行。 searchAnalytics每次调用最多返回 1,000 行,且按 clicks 降序。必须用startRow翻页,否则你看到的只是头部——而那正是产生假设 3 的选择偏差。
本文的通用方法论
这份基线可迁移的操作纪律有四条:(1)识别你的流量主渠道后再选度量工具——第三方 SERP 追踪对 Google Jobs 渠道致盲;(2)任何"高表现子群"发现都要用对照组期望(如均匀 CTR 下的零点击期望占比)检验选择偏差;(3)小样本比率(≥1 次事件的页面占比)在小板块上粉饰严重,看绝对量;(4)改动分类法/落选规则前,先量化"掉出目录"的下行面与"改善 facet"的上行面,用不对称性而非直觉决策。