Vercel AI SDK 中 Gemini 2.0 Flash 模型图像响应验证问题解析

在近期使用 Vercel AI SDK 的 Google Vertex 集成时，开发者遇到了一个关于 Gemini 2.0 Flash 实验模型（gemini-2.0-flash-exp）的类型验证错误。这个问题特别值得关注，因为它涉及到多模态模型处理图像响应时的验证机制。

问题现象

当模型返回包含 base64 编码图像的响应时，系统会抛出 TypeValidationError 错误。值得注意的是，纯文本响应能够正常工作，只有图像响应会触发此问题。错误信息显示，验证系统期望 safetyRatings 数组中的每个对象都包含 category 和 probability 字符串字段，但实际接收到的却是空对象。

技术分析

从错误堆栈可以分析出几个关键点：

1. 验证机制使用了 Zod 库（版本 3.22.4）进行类型检查
2. 问题出现在安全评级（safetyRatings）的验证环节
3. 模型返回的响应中，safetyRatings 数组包含四个空对象，而验证器期望这些对象包含特定字段

根本原因

经过深入分析，发现问题的根源在于 Google Vertex API 对图像响应和文本响应采用了不同的安全评级返回格式。对于图像响应，API 可能返回空的安全评级对象，而 SDK 的验证逻辑没有考虑到这种情况。

解决方案

Vercel 团队已经发布了修复版本：

• @ai-sdk/google-vertex@2.2.19
• @ai-sdk/google@1.2.15

这些更新版本改进了验证逻辑，使其能够正确处理图像响应中的空安全评级对象。

最佳实践建议

对于使用多模态 AI 模型的开发者，建议：

1. 始终使用 SDK 的最新稳定版本
2. 在处理图像响应时，添加适当的错误处理逻辑
3. 考虑实现响应内容的类型守卫（type guard）以确保运行时安全
4. 对于实验性模型（如 gemini-2.0-flash-exp），要预期可能的API行为变化

这个问题展示了在使用前沿AI技术时可能遇到的边缘情况，也体现了开源社区快速响应和修复问题的价值。开发者在使用类似功能时，应当关注官方更新并及时升级依赖项。