Qwen-Agent项目中Function Call调用Qwen2-72B-Instruct模型的注意事项

在使用Qwen-Agent项目调用Qwen2-72B-Instruct模型进行Function Call功能测试时，开发者可能会遇到返回结果不稳定的情况。本文将深入分析这一问题的原因，并提供解决方案。

问题现象

当开发者通过vllm部署Qwen2-72B-Instruct模型并测试Function Call功能时，发现返回的content内容有时以"[FUNCTION]"开头，有时则返回期望的"function_call"格式。这种不一致的行为会影响后续的功能调用处理。

根本原因分析

经过技术排查，发现问题的根源在于使用了错误的Chat Template格式。Qwen系列模型使用的是OpenAI的ChatML模板格式（包含<|im_start|>等特殊标记），而开发者错误地使用了Llama模型的模板格式（以[INST]标记开头）。

这种模板格式的不匹配导致模型无法正确解析输入提示，从而产生了不一致的输出行为。具体表现为：

1. 模型有时会按照Llama模板的预期输出格式返回结果
2. 有时又会尝试按照Qwen本身的ChatML模板格式处理

解决方案

要解决这个问题，开发者需要确保在启动vllm服务时正确指定Chat Template参数。对于Qwen2系列模型，应该使用其原生的ChatML模板格式，而不是Llama的模板格式。

正确的做法是：

1. 检查vllm启动命令，确保没有错误地指定--chat-template参数
2. 如果必须指定模板，应该使用Qwen系列模型专用的ChatML模板
3. 或者直接不指定该参数，让vllm自动使用模型自带的默认模板

最佳实践建议

为了避免类似问题，建议开发者在集成Qwen系列模型时注意以下几点：

1. 充分了解模型支持的输入输出格式要求
2. 在测试阶段仔细检查模型的响应格式是否符合预期
3. 查阅模型官方文档，确认正确的模板格式
4. 在复杂功能（如Function Call）测试时，先从简单案例开始验证

通过遵循这些实践，可以确保Qwen-Agent项目与Qwen2-72B-Instruct模型的集成更加稳定可靠，Function Call等功能也能按预期工作。