如何在instructor项目中获取重试失败后的最后一次响应模型

在LLM应用开发中，数据验证是一个常见挑战。本文将以instructor项目为例，探讨如何处理模型验证失败时获取最后一次响应数据的技术方案。

问题背景

当使用instructor库进行结构化输出时，开发者经常需要对LLM返回的数据进行验证。一个典型场景是对字符串长度进行校验，但由于LLM在字符计数方面的固有缺陷，这种验证经常会失败。默认情况下，instructor会在重试次数用尽后抛出InstructorRetryException，而开发者往往希望即使验证失败也能获取最后一次的响应数据。

解决方案

方法一：使用事件钩子捕获响应

instructor提供了完善的事件钩子机制，可以在每次请求时捕获响应数据：

from instructor import from_openai
from pydantic import BaseModel, field_validator
import random

responses = []

def store_response(response):
    responses.append(response)

client = from_openai(openai.Client())
client.on("completion:response", store_response)

try:
    user = client.chat.completions.create(
        model="gpt-4",
        max_retries=2,
        messages=[{"role": "user", "content": "Create a user"}],
        response_model=User
    )
except InstructorRetryException:
    print("最后一次响应:", responses[-1])

这种方法通过注册回调函数，在每次LLM响应时保存数据，即使最终验证失败也能获取历史记录。

方法二：解析异常中的最后响应

更直接的方式是从异常对象中提取最后一次响应：

try:
    response = client.chat.completions.create(...)
except InstructorRetryException as e:
    last_response = eval(
        e.last_completion.choices[0].message.tool_calls[0].function.arguments
    )
    # 跳过验证直接创建模型实例
    response = User.model_validate(last_response, context={})

这种方法直接从异常对象中提取最后一次的响应数据，并可以跳过验证直接创建模型实例。

最佳实践建议

1. 优化提示工程：从根本上减少验证失败的概率。例如明确要求输出特定长度的字符串，并提供格式示例。

2. 分级验证：将验证分为严格验证和宽松验证，在重试失败后使用宽松验证。

3. 日志记录：建议记录所有失败的尝试，便于后续分析和提示优化。

4. 用户体验：即使验证失败，也应考虑向用户展示"最接近正确"的结果，而非直接报错。

技术原理

instructor库的验证机制基于Pydantic，当验证失败时会自动重试。重试次数用尽后，异常对象中会保留最后一次的完整响应数据。开发者可以利用这一特性实现优雅降级，在验证失败时仍能提供有价值的数据。

总结

处理LLM输出验证失败是开发中的常见需求。通过合理利用instructor提供的事件钩子和异常处理机制，开发者可以在保证数据质量的同时，提供更好的用户体验。建议结合具体业务场景，选择最适合的技术方案。