daily-arXiv-ai-enhanced 的项目扩展与二次开发

项目的基础介绍

daily-arXiv-ai-enhanced 是一个开源项目，旨在每日爬取 arXiv.org 上的论文，并利用大型语言模型（LLMs）对论文进行总结。该项目可以帮助研究人员快速了解最新的学术研究动态，提高学术文献的阅读效率。

项目的核心功能

项目的主要功能包括：

• 每日自动爬取 arXiv.org 上的论文。
• 使用 LLMs 对论文进行总结，目前支持中文总结。
• 将爬取的数据和总结结果存储在本地，并以 markdown 格式生成 README 文件。

项目使用了哪些框架或库？

该项目主要使用了以下框架或库：

• Python：项目的主要编程语言。
• requests：用于网络请求，爬取 arXiv.org 上的论文。
• BeautifulSoup：用于解析 HTML，提取论文信息。
• transformers：用于加载和运行大型语言模型。

项目的代码目录及介绍

项目的代码目录如下：

• .github/：包含 GitHub Actions 工作流配置文件。
• data/：用于存储爬取的数据。
• to_md/：包含将数据转换为 markdown 格式的脚本。
• .gitignore：指定 Git 忽略的文件。
• LICENSE：项目的许可证文件。
• README.md：项目的说明文件。
• pyproject.toml：Python 项目配置文件。
• readme_content_template.md：README 文件模板。
• run.sh：运行项目的脚本。
• template.md：用于生成 README 文件的模板。
• update_readme.py：更新 README 文件的脚本。
• uv.lock：用于锁定项目的 UV 环境状态。

对项目进行扩展或者二次开发的方向

1. 增加语言支持：目前项目仅支持中文总结，可以扩展支持其他语言，如英文、日文等。
2. 扩展模型选择：项目可以增加对不同类型的大型语言模型的支持，如 GPT、BERT 等，以提供更丰富的总结风格和效果。
3. 优化爬取策略：改进爬取算法，提高数据抓取的效率，并确保遵守 arXiv.org 的使用政策。
4. 增加交互功能：开发一个用户界面，允许用户自定义爬取类别、总结语言、模型选择等。
5. 数据存储与检索：将爬取的数据存储在数据库中，并开发检索功能，方便用户快速查找和阅读相关论文。
6. 社区协作：建立社区，让更多的研究人员参与进来，共同维护和更新这个项目，提高项目的质量和影响力。