在Pydantic-AI项目中处理LLM工具调用参数格式问题

在基于Pydantic-AI构建AI代理时，开发者可能会遇到大型语言模型(LLM)返回的工具调用参数格式不符合预期的问题。本文将以一个实际案例为例，介绍如何优雅地解决这类数据格式问题。

问题背景

当使用Gemini等大型语言模型时，模型可能会返回不符合预期的JSON结构。例如在代码审查场景中，我们期望得到一个包含violations列表的对象，其中每个元素都是ViolationDetail类型的对象。但实际返回的可能是字符串形式的JSON，如：

{
  "violations": [
    "{\"file_path\": \"search_v2/config.py\", \"violation\": \"string...\"}"
  ]
}

解决方案

方案一：手动检查节点

Pydantic-AI提供了手动检查节点的能力，开发者可以在工具调用前对节点进行检查和编辑。这种方法适用于需要复杂预处理逻辑的场景。

方案二：使用Pydantic验证器

更优雅的解决方案是使用Pydantic的BeforeValidator，在数据验证阶段自动处理格式问题：

from pydantic import BaseModel, Field, BeforeValidator
from typing import Annotated, List
import json

def ensure_object(value):
    """将字符串形式的JSON转换为对象"""
    if isinstance(value, str):
        try:
            return json.loads(value)
        except:
            return value
    return value

class ViolationDetail(BaseModel):
    file_path: str = Field(..., description="违规文件路径")
    violation: str = Field(..., description="违规描述和改进建议")

class RuleCheckResult(BaseModel):
    violations: List[Annotated[ViolationDetail, BeforeValidator(ensure_object)]] = Field(
        [],
        description="代码中发现的规则违规列表"
    )

这种方法有以下几个优点：

1. 保持代码的简洁性
2. 将数据清洗逻辑与业务逻辑分离
3. 自动处理嵌套的JSON字符串
4. 与Pydantic的验证系统无缝集成

最佳实践建议

1. 对于简单的格式转换，优先使用Pydantic验证器
2. 对于复杂的预处理逻辑，考虑手动检查节点
3. 在模型定义中加入详细的字段描述，帮助LLM更好地理解预期格式
4. 考虑在提示词中明确说明预期的JSON格式要求

通过这种处理方式，开发者可以构建更健壮的AI代理系统，有效应对LLM输出不一致的问题，同时保持代码的清晰和可维护性。