Bilibili视频数据爬虫项目教程

1. 项目的目录结构及介绍

Bilivideoinfo/
├── LICENSE
├── README.md
├── idlist-sample.txt
├── output-sample.png
├── output-sample.xlsx
└── scraper.py

• LICENSE: 项目的开源许可证文件，本项目使用MIT许可证。
• README.md: 项目的说明文件，包含项目的基本介绍、使用方法和注意事项。
• idlist-sample.txt: 示例文件，包含需要爬取的视频链接或视频ID列表，每行一个。
• output-sample.png: 示例输出文件的截图，展示爬取结果的预览。
• output-sample.xlsx: 示例输出文件，爬取的数据将保存到此Excel文件中。
• scraper.py: 项目的启动文件，包含爬虫的主要逻辑。

2. 项目的启动文件介绍

scraper.py

scraper.py 是项目的启动文件，负责执行爬虫任务。以下是该文件的主要功能：

• 读取视频ID列表: 从 idlist-sample.txt 文件中读取需要爬取的视频链接或视频ID。
• 爬取视频数据: 使用 requests 和 BeautifulSoup 库爬取Bilibili视频的详细数据，包括标题、UP主信息、播放数、弹幕数、点赞数等。
• 保存数据: 将爬取的数据保存到 output-sample.xlsx 文件中，并以Excel格式输出。
• 错误处理: 如果爬取过程中出现错误，错误记录将保存到 video_errorlist.txt 文件中。

3. 项目的配置文件介绍

本项目没有专门的配置文件，所有配置和输入数据均通过以下文件进行：

• idlist-sample.txt: 该文件用于存储需要爬取的视频链接或视频ID列表。每行一个链接或ID，爬虫将根据此列表进行数据爬取。

使用方法

1. 准备视频ID列表: 将需要爬取的视频链接或视频ID列表存储在 idlist-sample.txt 文件中，每行一个。
2. 运行爬虫: 在终端或命令行中运行 python scraper.py，爬虫将开始执行并输出结果到 output-sample.xlsx 文件中。
3. 查看结果: 爬取的数据将保存到 output-sample.xlsx 文件中，您可以使用Excel打开查看。

注意事项

• 确保在运行代码之前已安装所需的Python库，如 requests、beautifulsoup4 和 openpyxl。
• 网络畅通是爬取数据的前提条件，请确保网络连接正常。