Facebook Scraper 项目启动与配置教程

1. 项目目录结构及介绍

Facebook Scraper 项目是一个用于抓取 Facebook 公共页面的工具，其目录结构如下：

• facebook_scraper/: 根目录，包含主要的 Python 代码文件。
  • __init__.py: 初始化文件，使 facebook_scraper 目录成为一个 Python 模块。
  • facebook_scraper.py: 核心代码文件，实现了抓取 Facebook 数据的核心功能。
  • tests/: 测试目录，包含项目的单元测试代码。
• tests/: 包含测试 Facebook Scraper 功能的代码。
• .flake8: Flake8 配置文件，用于配置代码风格检查。
• .gitignore: Git 忽略文件，指定 Git 应该忽略的文件和目录。
• LICENSE: 许可证文件，本项目采用 MIT 许可证。
• README.md: 项目说明文件，包含项目介绍、安装和使用说明。
• pyproject.toml: 项目配置文件，定义了项目的元数据和依赖。
• requirements-dev.txt: 开发环境依赖文件，包含了开发过程中需要的依赖。
• requirements.txt: 生产环境依赖文件，包含了运行项目所需的依赖。

2. 项目的启动文件介绍

Facebook Scraper 项目没有特定的启动文件。要使用这个工具，你通常会直接在 Python 环境中导入 facebook_scraper 模块，并调用其提供的函数。以下是一个简单的示例：

from facebook_scraper import get_posts

for post in get_posts('NintendoAmerica'):
    print(post['text'][:50])

这个示例会抓取名为 'NintendoAmerica' 的 Facebook 页面的帖子，并打印出每个帖子的前50个字符的文本内容。

3. 项目的配置文件介绍

Facebook Scraper 项目的配置主要通过代码中的参数进行。以下是一些主要的配置选项：

• base_url 和 start_url: 用于指定抓取的 Facebook 页面的基础 URL 和起始 URL。
• pages: 指定要抓取的页面数，默认是 10。
• timeout: 设置超时时间，默认是 30 秒。
• credentials: 提供可选的用户名和密码，用于登录 Facebook。
• extra_info: 布尔值，如果为 True，则会尝试获取帖子的额外信息，如反应。
• youtube_dl: 布尔值，如果为 True，则会使用 youtube-dl 来提取视频。
• post_urls: 帖子 URL 或 ID 列表，用于指定要提取的帖子。
• cookies: 用于指定包含 Facebook 登录 cookies 的文件路径或 CookieJar 对象。

这些配置选项可以在调用 get_posts 函数时作为参数传入，例如：

from facebook_scraper import get_posts

posts = get_posts('NintendoAmerica', pages=5, timeout=60)

在此示例中，我们配置了抓取 'NintendoAmerica' 页面的前 5 页帖子，并将超时时间设置为 60 秒。