freehire 的 SEO 基线:五个全部失败的优化假设,以及 Google Jobs 驱动型求职搜索引擎的实证方法论

原创2026-10-22 15:41:361,834 阅读
文章标签:后端前端搜索引擎网页爬虫数据工程AI 应用可观测性

freehire 的 SEO 基线:五个全部失败的优化假设,以及 Google Jobs 驱动型求职搜索引擎的实证方法论

freehire 是"开源的求职者搜索引擎",其官方文档 SEO 基线(2026-08-31 基于 sc-domain:freehire.me Search Console 属性、2026-08-01 → 2026-08-28 数据窗口实测)做了一件少见的事:把五个"听起来显然正确"的 SEO 优化假设逐一用数据击落,并把失败过程完整存档——因为不写下来,这些想法每隔几个月就会被重新提出一次。读完本篇,你将掌握:如何在"78% 流量来自 Google Jobs 而非经典自然结果"这一前提下正确度量一个大型目录型站点(135 万文档)的 SEO 表现、如何避免第三方 SERP 追踪工具的结构性盲区、如何用二项分布期望检验"高转化页面子群"的选择偏差,以及如何在动搜索分类法(taxonomy)之前先算清"落选面"与"收益面"的不对称代价。

一、基线数字:Google Jobs 才是主渠道

2026-08-31 的实测数据(28 天窗口):

Clicks Impressions CTR Avg position
全部自然搜索 358 37,844 0.95% 10.9
Google Jobs(JOB_DETAILS) 282 29,696 0.95% 5.2
经典结果(JOB_LISTING) 39 924 4.22% 9.4

78% 的展示和 79% 的点击来自 Google Jobs,而不是经典自然结果。 这一个事实决定了文中所有其他度量的解读方式——后面第一个被证伪的假设,正是忽略了它。

按板块统计"28 天内拿到至少 1 次展示"的页面覆盖率:

板块 提供的 URL 数 拿到展示 比率
/jobs/* 1,351,207 7,987 0.59%
/companies/* 160,512 3,486 2.18%
/collections/* 103 11 10.7%
/insights/* 106 11 10.4%

文档特别警告如何读后两行:在 103 个页面上算出的 10%"比率",实质是 11 个页面合计拿到 28 次展示、0 次点击。比率统计的是"至少 1 次展示"的页面数,对小板块的粉饰效果强到足以误导决策(见假设 5 的回马枪)。

权威度(DataForSEO,同日):30 个引用域(28 个根域、8 个 nofollow)、44 条反链、域名首次收录于 2025-02-07。

需求侧画像来自顶部查询:world vision vacancy in gambella、jobs in somalia、part time jobs singapore、engineering jobs in uganda today 2026、usina coruripe vagas、princess cruises careers。产生有效职位发布的国家分布为 US 25%、新加坡 10%、巴西 7%、丹麦 6%、印度 4%。这个站点赚到的流量是非技术、国际化的,而首页承诺的是"the open-source search engine for tech jobs"——这个矛盾是全文的暗线。

二、目录形状:1,351,207 个文档的富集字段覆盖

富集字段 携带该字段的文档数 占比
category 1,291,759 96%
skills(≥1) ~920,000 ~68%
seniority 417,402 31%
salary_min 144,595 11%
salary_min ∩ seniority 57,566 —
salary_min ∪ seniority 504,431 37%

需求与目录不匹配

目录本身是均分的——is_tech 报出 648,706 个技术岗对 643,289 个非技术岗。但需求不是:

Clicks 占比 Impressions 占比
点名技术岗位或技术的查询 18 9.7% 1,262 6.5%
其他所有查询 168 90.3% 18,125 93.5%

一半目录是技术岗,不足十分之一的需求是。产生点击的查询是 world vision vacancy in gambella、jobs in somalia、part time jobs singapore、production assistant jobs vancouver、princess cruises careers。对全部 12,000 条查询按地理标记统计:乌干达 11 次点击、vagas(葡萄牙语)10 次、新加坡 5 次、索马里 3 次、埃塞俄比亚 3 次。

方法论备注:这覆盖期间 358 次点击中的 186 次(Search Console 会屏蔽长尾查询),且技术/非技术划分基于关键词列表分类,精确百分比应视为近似值。差距是一个数量级,任何合理的修正都抹不平。

文档特别强调一条取证纪律:这项度量刻意避免把 Search Console 页面 join 到 jobs API。两次尝试以同一种方式失败——单职位 API 对抽样职位只返回 23% 的 is_tech 和 23% 的 enrichment.category,而搜索索引报后者的覆盖率为 96%。无论原因是什么,"有字段"的子集不是目录的随机样本,跨该 join 度量的任何比率都不可靠。分类查询则完全不需要 join。

三、五个失败的假设(全文核心)

假设 1:"只有公司页能排名,职位页无法在重复文本上竞争"

想法来源: DataForSEO 的排名关键词导出。按估算流量排序的前 100 个 URL,100/100 是 /companies/*,没有一个 /jobs/*。

数据反驳: /jobs/* 拿到 358 次点击中的 331 次——92%。

为什么两者矛盾,以及通用教训: 第三方 SERP 追踪器抓取的是经典自然结果,它们看不见 Google Jobs 盒子。对一个 Google Jobs 占流量 78% 的招聘网站,DataForSEO 或 Ahrefs 的可见度估算对主渠道是结构性致盲的。不要用第三方追踪器来给这个站点的自然表现定级,Search Console 是唯一能看见该渠道的数据源。

假设 2:"结构化数据更丰富的职位表现更好,sitemap 应优先它们"

想法: salary_min 与 seniority 是填充 JobPosting 中 baseSalary 和 experienceRequirements 的字段。把职位 sitemap 拆成两档:优先档携带任一字段(目录的 37%),归档档装其余,让抓取预算偏向"在 Google Jobs 里有东西可赢"的职位。

检验方法: 取实际拿到展示的职位 URL,测量其中携带谓词(salary 或 seniority)的比例;与用同一方法测得的随机目录样本对比。

样本 n 携带 salary 或 seniority
随机目录(对照) 100 43.0%
拿到 ≥1 次展示 381 25.2%

结果:提升系数 ×0.68。 富集职位被检索出来的频率低于目录平均水平,而不是更高。谓词不仅无用,方向还是反的。

基于该想法的方案(openspec/changes/tier-job-sitemap-by-enrichment,含 proposal、design、tasks 和 spec delta 全套文件)被删除而未被实现——这是"先测量、后动工"流程的一个具体实例。

假设 3:"存在一批转化率高的职位卡片子群,找到它并复制它"

想法: 平均 CTR 是 0.95%,但有 184 个职位页拿到 4,357 次展示和 282 次点击——6.47%。找出它们与 6,407 个零点击页面的区别。

为什么这是循环论证: 那 184 个页面是因为"有点击"才被选出来的,然后才计算它们的 CTR。正确的对照是:零点击页面是否比均匀 CTR 模型预测的更常见:

每职位展示数 职位数 展示数 点击数 CTR 零点击·观测 零点击·0.95% 期望
1–4 5,063 8,814 53 0.60% 99% 98%
5–9 900 5,820 43 0.74% 96% 94%
10–29 511 7,889 81 1.03% 90% 86%
30–99 105 4,865 75 1.54% 68% 65%
100+ 12 2,308 30 1.30% 42% 24%

观测值追踪期望值。不存在高性能子群——CTR 大致均匀在 ~1%,随展示量轻微上浮。薪资字段有无(14.0% vs 13.2%)和雇佣类型(35.7% vs 34.0%)也分不开两组。

假设 4:"大多数公司页爬虫够不着,所以内链才是约束"

想法: /companies 按 job_count 降序排序,分页到 page=500 为止。offset=9,980 处列表的 job_count 是 20,所以沿内链的爬虫只能到达 ≥20 个在招职位的公司——约 10,000 / 160,512。其余 94% 只能靠 sitemap 发现。

检验: 实际拿到展示的公司页,是否落在可爬取集合里?

有产出的公司页 占比 Impressions
可爬取(job_count ≥ 20) 14.1% 145
仅 sitemap(job_count < 20) 85.9% 657

有产出公司页的中位 job_count:1。

结果: 86% 有效公司页是内链永远够不到的。sitemap 发现机制已经在干活,提高分页上限不会改变任何事。(大公司在每页上超额代表——14.1% 对 6.2% 的基率——但长尾仍然承载了量。)

假设 5:"程序化落地页是捕获这波需求的正确方式"

想法: 需求是地理性的(jobs in somalia、part time jobs singapore、engineering jobs in uganda today 2026),FilterCollection 机制(web/src/lib/collections.ts 等前端实现)把一个 slug 映射到任意 /jobs facet 参数、只有一个前端入口,且所有现有地理集合都钉死 work_mode: 'remote'——没有针对本地工作(on-site)的国家落地页,而这正是需求所要的。加国家页面看起来是"每国一行的改动"。

已上线页面的表现: 全部 103 个集合页在 28 天合计拿到 28 次展示、0 次点击。只有 10 个页面有过任何展示,最好的一个 10 次展示。

集合 Clicks Impressions
frontend 0 10
junior 0 4
network-engineering 0 4
其余 7 个 0 各 1–2

programmatic-seo-collections 变更已完成并部署,它的产出不排名。再加国家变体,就是再加一个"实测收益为零"的页面类型。

(该数据的早期解读——"collections 是全站展示比率最高的板块,103 里 11 个"——为真但无意义:比率统计 ≥1 次展示的页面,而每页的展示数只有 1 到 10。)

四、分类法的形状,对应着我们不再拥有的目录

基线测量时 vocab.CategoryValues 持有 37 个取值、覆盖目录 95.6%,所以覆盖不是问题;问题在形状:目录薄的地方切得很细,目录肥的地方不切。

Category 职位数 占比
management 210,322 15.6%
sales 146,935 10.9%
support 101,177 7.5%
…
developer_relations 435 0.03%
blockchain 427 0.03%

management 和 support 合计 311,499 个职位——目录的 23%——且两者都是标题词桶而非领域桶。300 个 management 标题抽样中 279 个含 "Manager":Tax Credit Property Manager、EHS Manager、Warehouse Manager、Senior Analog Engineering Manager 和 Art Studio Manager 共享一个 facet 值。support 中 300 个抽样里 219 个含 "support",把 Technical Support Engineer 和 Direct Support Professional(儿童居住照护)与 Customer Service Representative 并排。

按 management 筛选的求职者对工作内容一无所知。更糟的是,这些正是流量进来的分类——support 占有展示职位的 14.4%,management 占 12.9%。

值得注意:"这是不是管人的岗位"本来就是一个独立 facet:role_type = people_manager,仅从标题派生,覆盖 80,081 个职位。management 分类在错误的轴上回答同一个问题——分类应该说明工作在哪个领域,而 manager/IC 区分已经有自己的属性。

为什么 management 桶(在当时)应该维持原状

明显的后续动作——按领域重新路由那 210,322 个职位——被估算成本后拒绝。三个发现,重要性递增。

其一,没有可攻击的头。 在 800 个抽样 management 标题里,修饰 "Manager" 的词有 352 个不同取值,其中 256 个(73%)只出现一次。最常见的是 engineering(2.2%),而 {"engineering manager", "management"} 已经是显式的刻意映射。它以下全部 ≤1%:partner、business、restaurant、construction、production、property、EHS、warehouse、logistics、guest experience。

其二,大部分可路由的内容需要我们没有的分类。 前 30 名修饰词里真正有量的——restaurant、construction、property、EHS、warehouse、care、guest experience——在 vocab.CategoryValues 里没有归宿(见 internal/dict/vocab/vocab.go 中该列表及各取值的注释)。添加它们是"这是什么目录"的决策,不是词典修补。能进现有分类的(partner → sales、communications → marketing、logistics → operations、data → data_analytics)约 5–6% 的桶、约 12,000 个职位,代价是 15–20 个人工策划的别名——而 internal/dict/classify/dictionaries.go 已经论证过为什么 content、growth、performance 这类裸名词不能单独信任,因为它们同样命名了技术岗位。

其三,落选兜底是承重的。 {"manager", "management"} 当时是 categoryTable 的终止条目(基线测量时位于 dictionaries.go 附近),且 management 是 NonTechCategories 成员(vocab.go 中该集合的定义与注释),所以 is_tech 为 false,富集入队门(is_tech IS TRUE,见下文)永远不会把这些职位送进 LLM。收窄落选兜底,则大约 121,000 个裸 "Manager" 标题既得不到词典分类、也得不到 LLM 答案——正是 search.CategoryUnresolved 的定义(internal/search/search/document.go),而 cmd/reindex 的 splitJobs 会删除它们(cmd/reindex/main.go:CategoryUnresolved 的职位进入 deleteIDs,从索引中移除)。这些职位将同时离开站内搜索和 sitemap。

不对称性一锤定音:上行收益是 ~12,000 个职位的更好 facet,下行代价是 ~121,000 个职位掉出目录。

时间线备注:该基线写于 2026-08-31,而当前仓库的源码注释显示 management 分类已于 2026-10 退役(vocab.go 中 "There is no management: it was retired 2026-10" 的说明,且 CategoryValues 已扩展至 52 个取值)。现在的机制是:经理类标题解析其所管理的手艺(restaurant manager → hospitality,见 dictionaries.go 的 MANAGERS 区块),"是否管人"由 role_type facet 回答;旧的 category=management 链接由搜索过滤器翻译为 role_type=people_manager(internal/search/search/query_filter.go)。这与基线的分析结论一致——manager/IC 是独立轴——但说明基线是时间点快照,分类法其后已演进。

五、facet 覆盖与"哪些缺口可修"

Facet 全目录 技术类 非技术类
category 95.6% — —
countries 93.2% — —
employment_type 38.6% 34.1% 43.2%
seniority 30.9% 40.5% 21.2%
work_mode 27.6% 29.2% 25.6%
salary 13.5% 15.9% 3.9%
education_level 6.9% — —
role_type 5.9% — —
english_level 5.7% — —
ai_archetype 0.5% — —

缺口有两种成因,只有一种是我们能决策的:

  • salary 与 seniority 在技术类里分别是 4× 和 2× 更好。这是富集入队门(is_tech IS TRUE)按设计工作:非技术职位从不到达 LLM。源码层面可验证:internal/platform/db/queries/enrichment.sql 的 EnqueuePendingJobs 以 is_tech IS TRUE AND description <> '' 入队,且注释解释了为何连 is_tech IS NULL(词典与描述双向未决)也被刻意排除——在目录规模下该未决桶约占开放目录 65%,富集对其 ~91% 无产出。要填上这些字段,意味着把富集预算花在门刻意排除的 644,000 个职位上,而入队查询的注释正是论证该门为何关闭的依据。
  • work_mode 与 employment_type 在技术/非技术切分上持平——employment_type 非技术侧反而更高——所以富集门解释不了它们。它们薄是因为职位本身没写明事实,而词典只在显式标记下赋值。量化更好检测能收回多少:127,437 个职位含 token remote,其中 90,262 个(71%)已有 work_mode;hybrid 是 74,834 对 39,861。可回收的约 70,000 个职位,对照 978,000 的缺口——7%。

度量纪律:不要用多词 q= 来估算——此处 Meilisearch 不做短语匹配,q=work from home 会返回含这三个词(任意位置)的 404,277 个文档。只用单 token。

六、顺带挖出的供给缺口

不是 SEO 发现,只因数据来自同一条查询而一并记录:

搜索者国家 Clicks Impressions CTR 目录内职位数
埃塞俄比亚 20 211 9.5% 158
肯尼亚 28 420 6.7% 713
尼日利亚 14 248 5.6% 2,945
乌干达 14 291 4.8% 119
美国 50 12,499 0.4% 567,816

东非搜索者的转化率比站点均值(0.95%)高一个数量级,而撞上的目录只有约一百个职位。这是 ingest 集群的供给问题,不是可发现性问题。

2026-08-31 探测并排除了三条廉价供给路径:

  1. 策划已知雇主已穷尽:28 家知名非洲科技雇主中 19 家已在 sources/(仓库内的抓取源清单),能解析的 15 家合计仅贡献 412 个在招职位;
  2. 区域聚合器是关闭的:Fuzu 返回 403,MyJobMag 是 Cloudflare 质询,BrighterMonday 与 Jobberman 既无 sitemap 也无 JobPosting JSON-LD;
  3. 从雇主名猜 board slug 无产出:从 Ethiojobs 目录取 25 个名字 slugify 后探测公开 Greenhouse 与 Workable board API,0 命中。

第四条路径——把某个 board 的雇主目录当工作清单(而非来源)——被提出、被一个测量门控、并被该测量关闭:

ethiojobs.net/sitemap-companies.xml 列有 5,141 家雇主,每个公司页的 __NEXT_DATA__ 载荷携带雇主自有网站,形状恰是 {name, website}——与 cmd/harvest-ats resolve(见 cmd/harvest-ats/ 的解析与 resolve 实现)已消费的形态一致。提案的第一个任务是"先测可检测 board 率,再建任何东西":

步骤 结果
在目录中均匀抽样的公司数 280
携带网站 36(12.9%)
解析到可检测 ATS board 3
其中尚不在 sources/ 的 1

两个被拒样本是信息量最大的部分:NRC 的 Oracle board 和 Mastercard Foundation 的 Workday board 早已入库。每 280 家公司 1 个新 board,外推整个目录约 18 个——代价是爬 5,141 个页面并解析第三方的内部载荷。

注意网站率随样本增长而下降:33%(n=12)、18%(n=60)、12.9%(n=280)。前两个样本是聚簇抽样而非均匀抽样——小样本聚簇偏差的又一实例,与假设 3 的选择偏差同族。

重叠度从另一角度复现了"19/28":东非目录中面向国际经营的那一半,基本就是策划已经找到的一半。该地区雇主级 board 发现比其职位数暗示的更接近完成,剩下的埃塞俄比亚供给在本地雇主手中——他们既无 ATS 也无网站——只能通过爬 Ethiojobs 本身触达。

七、基线留下什么

站点在技术上可控的一切都在正常工作:sitemap 覆盖在 jobs 与 companies 两侧完整,JobPosting 结构化数据丰富到足以在平均位置 5.2 上赢下 Google Jobs 排位,页面是服务端渲染的,canonical 与重定向正确,关闭的职位离开 sitemap。

约束在需求侧,且都不是代码改动:

  • 权威度。 30 个引用域是所有其他杠杆撞上的天花板。
  • 定位。 实测受众是非技术、国际化的。这现在是事实,不是假设。

每月 358 次点击下,微优化算术不成立:把 CTR 从 0.95% 提到 1.3% 值约 130 次点击——前提是存在这样的杠杆,而假设 3 没有找到。

八、复现这份基线

Search Console 访问需要 ADC 上的 webmasters.readonly scope,以及启用了 API 的配额项目:

gcloud auth application-default login \
  --scopes=https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/webmasters.readonly
gcloud auth application-default set-quota-project <project>
gcloud services enable searchconsole.googleapis.com --project=<project>

两个曾在此花费时间的陷阱,值得写进任何复现清单:

  1. Google Jobs 把展示归属到带 ?utm_campaign=google_jobs_apply 参数的 URL。锚定在干净 /jobs/<slug>$ 上的正则只能匹配 6,596 行中的 33 行。
  2. searchAnalytics 每次调用最多返回 1,000 行,且按 clicks 降序。必须用 startRow 翻页,否则你看到的只是头部——而那正是产生假设 3 的选择偏差。

本文的通用方法论

这份基线可迁移的操作纪律有四条:(1)识别你的流量主渠道后再选度量工具——第三方 SERP 追踪对 Google Jobs 渠道致盲;(2)任何"高表现子群"发现都要用对照组期望(如均匀 CTR 下的零点击期望占比)检验选择偏差;(3)小样本比率(≥1 次事件的页面占比)在小板块上粉饰严重,看绝对量;(4)改动分类法/落选规则前,先量化"掉出目录"的下行面与"改善 facet"的上行面,用不对称性而非直觉决策。

登录后查看全文
freehire