Scrapegraph-ai项目中使用Gemini-Pro模型的配置指南

问题背景

在使用Scrapegraph-ai项目时，开发者可能会遇到一个常见问题：当尝试配置Gemini-Pro模型时，系统抛出"ValueError: Model 'gemini-pro' is not supported"错误。这个问题源于模型名称的格式规范要求。

正确的配置方式

经过项目维护者的确认，正确的Gemini-Pro模型配置格式应为：

graph_config = {
    "llm": {
        "api_key": "YOUR_GEMINI_API_KEY",
        "model": "google_genai/gemini-pro"
    },
    "headless": False
}

关键点在于模型名称需要包含前缀"google_genai/"，这指明了模型所属的提供商和接口类型。这种命名约定有助于系统准确识别和加载对应的模型接口。

关于无头模式的注意事项

在实际使用中，开发者还反馈了一个相关问题：当设置headless: True时，脚本可能会被目标网站屏蔽，即使使用了代理设置；而使用headless: False则能正常工作。

这种现象在网页抓取中很常见，原因可能包括：

1. 无头模式下的浏览器指纹特征更容易被识别
2. 代理设置可能没有正确应用到无头浏览器实例
3. 目标网站的反爬机制对无头浏览器的检测更为严格

解决方案建议

对于无头模式被屏蔽的问题，可以尝试以下方法：

1. 检查代理设置是否正确传递给了浏览器实例
2. 尝试修改浏览器指纹特征，如User-Agent等
3. 增加随机延迟，模拟人类操作行为
4. 考虑使用更高级的代理解决方案，如住宅代理

Scrapegraph-ai项目作为一个网页抓取工具，其设计考虑了这些实际应用场景，开发者可以根据具体需求调整配置参数以获得最佳效果。