【亲测免费】 WeiboSpider 开源项目使用教程

1. 项目的目录结构及介绍

WeiboSpider 项目的目录结构如下：

WeiboSpider/
├── DataBase/
│   └── UrlRecord  # 存储需要爬取的页面URL的SQLite数据库文件
├── WeiboData/     # 存储爬取的微博数据的目录，每个用户单独一个数据文件
├── Config.txt     # 记录当前已经爬取的页面的ID，设置为1则重新爬取
├── Main.py        # 项目的启动文件
├── README.md      # 项目说明文档
└── requirements.txt # 项目依赖文件

目录结构介绍

• DataBase/: 存储需要爬取的页面URL的SQLite数据库文件。URL数据会在爬取的过程中持续添加。
• WeiboData/: 存储爬取的微博数据的目录，每个用户单独一个数据文件。
• Config.txt: 记录当前已经爬取的页面的ID，设置为1则重新爬取。
• Main.py: 项目的启动文件。
• README.md: 项目说明文档。
• requirements.txt: 项目依赖文件。

2. 项目的启动文件介绍

项目的启动文件是 Main.py。该文件包含了爬虫的主要逻辑和配置。

Main.py 文件介绍

• COOKIE 设置: 你需要设置为你自己的COOKIE，以便爬虫能够正常访问微博页面。
• 运行爬虫: 直接运行 Main.py 即可启动爬虫。

# Main.py 示例代码
import requests
import json
import time
from lxml import etree
import re

class Weibospider:
    def __init__(self):
        # 获取首页的相关信息：
        self.start_url = 'https://weibo.com/fbb0916?page=1'
        # 其他初始化代码...

    def run(self):
        # 爬虫运行逻辑...
        pass

if __name__ == "__main__":
    spider = Weibospider()
    spider.run()

3. 项目的配置文件介绍

项目的配置文件主要是 Config.txt。该文件记录了当前已经爬取的页面的ID，设置为1则重新爬取。

Config.txt 文件介绍

• 页面ID记录: 记录当前已经爬取的页面的ID。
• 重新爬取设置: 设置为1则重新爬取所有页面。

# Config.txt 示例内容
page_id=1

通过以上介绍，你应该能够了解 WeiboSpider 项目的目录结构、启动文件和配置文件的基本情况，并能够根据这些信息进行项目的配置和启动。