FreshRSS中XPath抓取与JSON模式的技术解析与实践

背景介绍

FreshRSS作为一款开源的RSS阅读器，提供了多种方式来获取和解析网络内容。其中XPath抓取和JSON模式是两种常用的内容获取方式。本文将通过一个实际案例，深入分析这两种技术在FreshRSS中的应用场景、工作原理以及最佳实践。

XPath抓取的工作原理与局限性

XPath是一种在XML文档中查找信息的语言，FreshRSS利用XPath表达式从HTML页面中提取结构化数据。在案例中，用户尝试从SpaceX官网获取更新内容时遇到了问题。

XPath抓取的基本流程是：

1. 下载目标网页的HTML内容
2. 使用XPath表达式定位新闻条目
3. 提取标题、内容、日期和链接等信息

然而，这种方式的局限性在于：

• 对JavaScript渲染的内容无效
• 依赖网页DOM结构稳定性
• 难以处理动态加载的内容

在SpaceX官网案例中，由于页面内容是通过JavaScript动态加载的，导致XPath只能获取到基础HTML中的旧内容，无法获取最新的更新信息。

JSON模式的原理与优势

FreshRSS 1.24.0版本引入了JSON抓取模式，这为解决动态内容问题提供了新思路。JSON模式通过以下方式工作：

1. 直接请求API接口获取结构化数据
2. 使用点表示法(dot notation)定位JSON中的特定字段
3. 映射JSON字段到RSS条目属性

相比XPath，JSON模式具有明显优势：

• 直接获取结构化数据，无需解析HTML
• 不受前端渲染影响
• 数据结构更加稳定可靠

实际应用中的配置技巧

在SpaceX案例中，正确的JSON模式配置应包括：

<outline text="spacex" type="JSON+DotNotation"
    xmlUrl="https://content.spacex.com/api/spacex-website/updates"
    htmlUrl="https://content.spacex.com/api/spacex-website/updates"
    description="Spacex"
    frss:jsonItem="."
    frss:jsonItemTitle="title"
    frss:jsonItemContent="contentBlocks[0].paragraph"
    frss:jsonItemUri="updateId"
    frss:jsonItemTimestamp="date"
/>

关键配置项说明：

• jsonItem: 指定包含条目数组的JSON路径
• `