llama.cpp项目中优化工具调用指令格式的技术实践

在大型语言模型(LLM)应用中，工具调用(tool calling)是一个关键功能，它允许模型与外部系统进行交互。然而，在实际使用过程中，开发者经常会遇到模型输出格式不一致的问题，特别是在使用XML标记时。本文将分享在llama.cpp项目中使用Qwen2.5-7B-Instruct模型时遇到的工具调用问题及解决方案。

问题背景

在使用Qwen2.5-7B-Instruct-1M-Q4_K_M模型进行工具调用时，开发者发现仅有30%的响应能够通过单元测试。分析失败案例后发现，主要问题在于模型未能正确闭合XML标签，特别是</tool_call>结束标签经常缺失。这种格式错误导致后续解析工具调用结果时出现失败。

技术挑战

XML作为一种结构化标记语言，理论上非常适合用于定义工具调用的输入输出格式。但在实践中发现，较小规模的模型(如7B参数)在处理XML嵌套结构时存在以下困难：

1. 标签闭合不完整：模型经常忘记闭合标签
2. 嵌套层级混乱：多层嵌套时标签匹配错误
3. 内容逃逸：工具调用参数中包含特殊字符时处理不当

创新解决方案

经过多次实验，开发团队决定放弃XML格式，转而采用更简单的文本标记方案：

1. 开始标记：使用### TOOL_CALL_START ###
2. 结束标记：使用### TOOL_CALL_END ###
3. 内容格式：保持JSON作为工具调用的参数格式

这种方案的优势在于：

• 标记更加显眼，容易被模型识别
• 不需要处理复杂的嵌套关系
• 避免了XML中的特殊字符转义问题
• 正则表达式更容易提取工具调用内容

实现细节

通过定制llama.cpp的Jinja模板，实现了新的工具调用格式规范。关键修改包括：

1. 在系统提示中明确工具调用格式要求
2. 提供多个完整的调用示例
3. 使用JSON作为参数序列化格式
4. 强调每个工具调用必须完整包含开始和结束标记

客户端解析逻辑也相应调整为使用正则表达式提取工具调用内容：

const toolCallRegex = /### TOOL_CALL_START ###\s*(.*?)\s*### TOOL_CALL_END ###/gs;

效果验证

采用新格式后，工具调用的成功率从30%提升至100%。模型输出的格式一致性显著提高，例如：

### TOOL_CALL_START ###
{"name": "aiCreatePlan", "arguments": {"id": "math_operation_plan"}}
### TOOL_CALL_END ###

### TOOL_CALL_START ###
{"name": "aiAddFunctionStepToPlan", "arguments": {"id": "1", "functionName": "aiAdd", "functionArgs": {"a": 5, "b": 5}, "reasonToAddStep": "First, add 5 to 5."}}
### TOOL_CALL_END ###

经验总结

这一实践表明，对于较小规模的LLM模型，简单明确的文本标记比复杂的XML结构更易于模型学习和遵循。在工具调用场景中，开发者应考虑：

1. 根据模型规模选择合适的标记方案
2. 提供清晰明确的格式规范
3. 包含足够的示例
4. 设计易于解析的输出格式

这种方案不仅适用于llama.cpp项目，也可推广到其他LLM应用开发中，特别是在资源受限环境下使用较小模型时。