MediaCrawler项目中小红书爬虫接口变更分析与解决方案

小红书API接口变更背景

近期，小红书对其网页端API接口进行了重要更新，导致MediaCrawler项目中原有的爬虫功能失效。这一变更主要体现在获取笔记详情的接口上，小红书新增了xsec_token这一关键参数作为安全验证机制。

接口变更详情

小红书原有的获取笔记详情API接口/api/sns/web/v1/feed发生了以下主要变化：

1. 新增必填参数xsec_token
2. 新增参数xsec_source，固定值为"pc_search"
3. 请求数据结构发生变化，需要包含image_formats等额外字段

技术解决方案

针对这一变更，开发者社区提出了有效的解决方案：

1. xsec_token获取方式：

   • 需要通过搜索接口获取临时的xsec_token
   • 该token具有时效性，不能长期使用

2. 修改后的API请求示例：

async def get_note_by_id(self, note_id: str, xsec_token: str) -> Dict:
    data = {
        "source_note_id": note_id,
        "extra": {"need_body_topic": "1"},
        "image_formats": ["jpg", "webp", "avif"],
        "xsec_source": "pc_search",
        "xsec_token": xsec_token
    }
    uri = "/api/sns/web/v1/feed"
    res = await self.post(uri, data)

3. 并发处理优化： 项目中对创作者笔记详情获取进行了并发优化，使用信号量控制最大并发数，提高了爬取效率。

注意事项

1. xsec_token的时效性问题：

   • 每个xsec_token都有使用期限
   • 频繁请求可能导致token失效
   • 需要设计合理的token刷新机制

2. 参数传递修正： 在实现过程中，需要注意note_id参数的传递方式，确保与接口要求一致，避免出现"source_note_id not found"的错误。

未来改进方向

1. 建立xsec_token的自动刷新机制
2. 增加接口异常处理，提高爬虫稳定性
3. 考虑使用代理池应对反爬策略

这一系列改进使MediaCrawler项目重新获得了稳定爬取小红书数据的能力，同时也为开发者应对类似平台接口变更提供了参考方案。