Magentic项目中处理Anthropic模型思考标记与函数调用的技术解析

背景介绍

在大型语言模型应用开发中，函数调用(function calling)是一个非常重要的功能，它允许模型在执行过程中调用开发者定义的外部函数来获取额外信息或执行特定操作。Magentic作为一个Python框架，提供了便捷的方式来集成这一功能。

问题现象

当使用Anthropic的Claude模型时，开发者遇到了一个特殊现象：模型在响应中会包含<thinking></thinking>标记内的内容，这是Anthropic特有的"思维链"(chain-of-thought)提示技术，用于提高函数调用的准确性。然而，这种结构导致Magentic框架在流式传输(streaming)响应时无法正确识别函数调用。

技术分析

1. 响应结构特点：

   • Anthropic模型的响应会先输出思考过程
   • 思考内容包裹在<thinking>XML标签中
   • 实际的函数调用内容在思考内容之后

2. 框架处理难点：

   • 在流式传输模式下，框架需要即时判断响应类型
   • 初始部分看起来像纯文本响应
   • 完整解析需要等待整个响应完成

3. 解决方案演进：

   • 早期版本(0.24.0之前)可以正常工作，因为完整响应一次性解析
   • 新版本引入流式处理后需要特殊处理思考标记

最佳实践

Magentic在0.34.0版本中引入了StreamedResponse类型，为这类复杂场景提供了优雅的解决方案：

from magentic import prompt, FunctionCall, StreamedResponse, StreamedStr

def get_weather(city: str) -> str:
    return f"The weather in {city} is 20°C."

@prompt(
    "Say hello, then get the weather for: {cities}",
    functions=[get_weather],
)
def describe_weather(cities: list[str]) -> StreamedResponse: ...

response = describe_weather(["Cape Town", "San Francisco"])
for item in response:
    if isinstance(item, StreamedStr):
        for chunk in item:
            print(chunk, sep="", end="")
        print()
    if isinstance(item, FunctionCall):
        print(item)
        print(item())

技术展望

未来可能会进一步扩展AssistantMessage类型，创建专门的AnthropicAssistantMessage子类，将思考内容作为额外属性暴露给开发者。这种设计既保持了API的通用性，又为特定模型提供了扩展能力。

总结

处理大型语言模型的特有行为是集成框架面临的常见挑战。Magentic通过引入StreamedResponse等抽象，既保留了流式处理的优势，又解决了Anthropic模型思考标记带来的解析问题，展示了良好的设计灵活性和扩展性。开发者在使用时应注意模型特定的行为模式，并选择合适版本的框架功能。