Pydantic AI 中 BinaryContent 类型在 Evals 中的处理问题与解决方案

概述

在使用 Pydantic AI 框架进行模型评估时，开发者可能会遇到一个关于 BinaryContent 类型的编码问题。当尝试将包含二进制数据的 Case 输入转换为 JSON 可序列化格式时，系统会抛出 UnicodeDecodeError 异常。这个问题主要出现在使用 Gemini 模型处理二进制内容（如图片）的场景中。

问题背景

Pydantic AI 是一个强大的 Python 框架，用于构建和评估 AI 模型。它支持多种数据类型，包括专门用于处理二进制内容的 BinaryContent 类型。然而，在评估过程中，当开发者尝试使用包含 BinaryContent 的 Case 进行模型测试时，系统会在尝试将输入转换为 JSON 可序列化格式时失败。

问题表现

具体表现为：当开发者创建一个包含 BinaryContent 输入的 Case，并尝试使用 evaluate_sync 方法进行评估时，系统会抛出 UnicodeDecodeError 异常，提示无法将二进制数据解码为 UTF-8 格式。这是因为默认的 JSON 序列化过程期望所有数据都是 UTF-8 编码的文本，而二进制数据显然不符合这一要求。

技术分析

问题的核心在于评估系统内部的 to_jsonable_python 函数无法正确处理 BinaryContent 类型。这个函数负责将复杂的数据结构转换为可以被 JSON 序列化的 Python 基本类型，但在处理二进制数据时缺乏适当的转换逻辑。

解决方案

Pydantic AI 团队已经意识到这个问题，并在内部版本中进行了修复。修复方案主要包括：

1. 增强 to_jsonable_python 函数对 BinaryContent 类型的支持
2. 为二进制数据添加适当的序列化逻辑
3. 确保评估流程能够正确处理非文本输入

开发者可以通过升级到最新版本的 pydantic-evals 包来解决这个问题。新版本已经包含了针对二进制内容处理的改进。

最佳实践

对于需要处理二进制内容的 AI 评估场景，建议开发者：

1. 始终使用最新版本的 Pydantic AI 和相关组件
2. 明确指定 BinaryContent 的媒体类型（media_type）
3. 在评估前测试单个 Case 的处理情况
4. 考虑二进制数据的大小和性能影响

结论

Pydantic AI 框架对 BinaryContent 的支持是其处理多媒体 AI 场景的重要特性。通过最新版本的更新，开发者现在可以更顺畅地在评估流程中使用二进制输入，这对于图像识别、音频处理等应用场景尤为重要。随着框架的持续发展，我们可以期待更多针对复杂数据类型的优化和改进。