KindleEar项目Foreign Affairs和Economist电子书抓取问题解析

问题背景

在KindleEar项目中，用户报告了两个知名期刊电子书抓取失败的问题。这些问题涉及到Foreign Affairs和The Economist两个期刊的抓取脚本出现异常，导致无法正常生成电子书。

Foreign Affairs期刊抓取问题

错误表现

Foreign Affairs期刊的抓取脚本在执行过程中报错，错误信息显示："AttributeError 'HTMLForm' object has no attribute 'attrs'"。

问题根源

这个错误源于mechanize兼容层缺少了attrs接口。mechanize是一个模拟浏览器行为的Python库，在抓取网页内容时经常使用。在项目更新或依赖库版本变化后，某些接口可能不再兼容。

解决方案

仓库所有者已确认问题并修复了该错误，为mechanize的兼容层添加了缺失的attrs接口。用户只需更新到最新版本即可解决此问题。

The Economist期刊抓取问题

错误表现

The Economist期刊的抓取脚本在执行过程中报错，错误信息显示："KeyError 'cp2Content'"。

问题根源

这个错误是由于The Economist网站进行了改版，导致原有的JSON数据结构发生了变化。原本脚本期望在JSON数据中找到'cp2Content'字段，但改版后该字段已不存在。

解决方案

仓库所有者建议用户向官方calibre项目提交pull request，将脚本中的：

data = json.loads(raw)['props']['pageProps']['cp2Content']

修改为：

data = json.loads(raw)['props']['pageProps']['content']

技术建议

1. 定期检查抓取脚本：对于依赖网站结构的抓取脚本，建议定期检查其有效性，因为目标网站可能会随时改版。

2. 错误处理机制：在编写抓取脚本时，应该添加完善的错误处理机制，特别是对于JSON数据解析部分，应该检查关键字段是否存在。

3. 依赖库兼容性：当使用第三方库如mechanize时，需要注意版本兼容性问题，特别是当项目依赖的库有较大更新时。

4. 社区协作：遇到类似问题时，可以向开源社区报告，或者像仓库所有者建议的那样，直接向相关项目提交修复代码。

总结

电子书抓取脚本的维护是一个持续的过程，需要随着目标网站的改版而不断更新。KindleEar项目作为开源项目，依赖社区的力量来保持各个期刊抓取脚本的正常工作。用户遇到问题时，可以通过GitHub等平台报告问题，或者直接参与代码贡献来解决问题。