github-action-with-python 的项目扩展与二次开发

项目的基础介绍

github-action-with-python 是一个开源项目，它基于 GitHub Actions 提供了使用 Python 语言实现的自动化工作流程示例。项目涵盖了自动化测试、爬虫任务以及 GitHub 官方工具的运用，展示了如何在 GitHub Actions 中执行 Python 代码。

项目的核心功能

1. YES24 cron Github Action：每天定时执行，从 YES24 网站抓取 IT 新书排行榜 TOP 40，并将结果上传到 GitHub Issue。
2. hello.py 执行的 Github Action：每当代码推送到 master 分支时，自动执行 hello.py 脚本。
3. Job 之间的文件共享：使用 upload-artifact 和 download-artifact 来在不同 Job 之间共享文件。

项目使用了哪些框架或库？

项目主要使用以下框架或库：

• Python：作为主要编程语言。
• Pytest：用于编写和执行测试代码。
• Requests：用于发起 HTTP 请求，常用于网页爬虫。

项目的代码目录及介绍

项目的代码目录结构如下：

• .github/
  • workflows/：存放 GitHub Actions 的工作流 YAML 文件。
• LICENSE：项目的许可文件，本项目采用 MIT 许可。
• README.md：项目的说明文件。
• crawling_yes24.py：实现 YES24 排行榜爬虫的 Python 脚本。
• github_utils.py：提供与 GitHub 交互的实用工具函数。
• hello.py：示例 Python 脚本，用于演示 GitHub Action 的执行。
• main.py：项目的主要执行脚本。
• requirements.txt：项目依赖的 Python 包列表。

对项目进行扩展或者二次开发的方向

1. 增加新的自动化任务：可以根据需要，增加新的 GitHub Actions 工作流，以执行不同的自动化任务。
2. 扩展爬虫功能：可以对 crawling_yes24.py 进行扩展，使其支持更多网站的数据抓取。
3. 优化现有工作流：改进现有工作流的性能，例如通过并发执行任务来提高效率。
4. 增加错误处理和数据验证：在爬虫和数据处理的代码中增加错误处理和数据验证逻辑，以提高程序的稳定性和数据的准确性。
5. 用户界面和交互：开发一个简单的 Web 界面或 CLI 工具，以便用户更方便地与爬虫和自动化工作流交互。

通过上述扩展和二次开发，可以使 github-action-with-python 项目更加完善，满足更多用户的需求。