Neo4j APOC扩展库对Vertex AI Gemini模型的支持优化

背景介绍

在Neo4j图数据库生态系统中，APOC扩展库提供了丰富的图算法和集成功能。随着Google Vertex AI平台推出Gemini系列模型，APOC团队正在评估如何更好地支持这一新模型架构。

当前技术现状

目前APOC中的vertexai过程使用:predict作为API端点后缀，但这一设计在新Gemini模型上不再适用。Gemini模型需要使用不同的API路径和请求体结构：

1. 端点URL变更为/models/gemini-pro:streamGenerateContent形式
2. 请求体结构发生了变化
3. 新增了对多模态输入(如图像)的支持

技术改进方案

新增stream方法

计划引入新的apoc.ml.vertexai.stream方法，专门适配Gemini模型的流式生成API。该方法将：

• 使用正确的API端点路径
• 支持新的请求体格式
• 保持与现有预测方法的兼容性

多模态支持

Gemini Pro Vision模型支持图像输入，未来可考虑扩展功能：

1. 图像描述生成
2. 图像内容摘要
3. 视觉问答能力

通用URL设计

借鉴Bedrock集成的经验，考虑增加通用URL方法，提供更灵活的模型端点配置能力，便于用户使用新发布的模型变体。

图像生成功能扩展

Vertex AI的图像生成API支持将结果存储到GCS并返回访问URL。这一功能值得在APOC中实现：

• 支持GCS存储选项参数
• 返回生成图像的访问URL
• 考虑与Bedrock图像生成API保持功能一致性

实施建议

1. 分阶段实现，先确保基础文本生成功能
2. 后续迭代增加图像相关功能
3. 保持API设计的一致性
4. 提供清晰的文档说明不同模型的使用方式

这一改进将使Neo4j用户能够更充分地利用Vertex AI平台的最新生成式AI能力，为图数据应用注入更强大的智能分析功能。