QwenLM/Qwen3项目中函数调用场景下的特殊符号输出问题分析与解决方案

问题现象

在Qwen2.5-72B-Instruct模型使用函数调用(Fncall)功能时，开发者发现当对话历史中存在连续用户消息或空助手回复时，模型会持续输出特殊符号"✿"。该问题在NVIDIA和Ascend不同硬件平台均能复现，且不受精度格式(fp16/bf16)或采样参数调整的影响。

根本原因分析

经过技术团队深入排查，发现问题源于以下两个关键因素：

1. 对话模板滥用：

   • 连续的用户消息未合并处理
   • 存在空的助手回复消息未清理
   • 函数调用结果未被完整保留在对话历史中

2. 训练数据特性：

   • 模型基于"✿FUNCTION✿"标记体系进行函数调用训练
   • 多轮对话场景下的特殊符号处理机制存在边界情况

解决方案

针对该问题，我们推荐以下最佳实践：

对话模板规范

1. 合并连续的用户消息为单条消息
2. 移除所有空的助手回复
3. 完整保留函数调用过程：

   <tool_call>
   {"name": "functionName", "arguments": {...}}
   </tool_call>
   

4. 确保包含函数调用结果：

   <tool_response>
   {...}
   </tool_response>
   

参数调优建议

1. 降低"✿"符号的生成概率
2. 保持对话历史的完整性：
   • 避免人为删除中间过程
   • 确保每轮交互都有明确的内容

技术启示

该案例揭示了大型语言模型在特定场景下的行为特点：

1. 对话历史的规范性直接影响模型输出质量
2. 函数调用等高级功能需要严格遵循训练时的数据格式
3. 多轮对话状态管理是工程实现的关键难点

版本兼容性说明

经测试，该问题在以下版本存在：

• Qwen2.5系列（包括72B-Instruct）
• Qwen2-7B-Instruct

建议用户关注官方更新，后续版本将优化相关处理逻辑。对于生产环境应用，建议通过完整的对话历史记录和规范的API调用规避此类问题。