TaskWeaver多LLM配置问题解析与解决方案

背景介绍

TaskWeaver作为一个先进的AI任务编排框架，支持通过配置多个大语言模型(LLM)来实现不同组件的功能分工。在实际应用中，用户可能希望为规划器(planner)和代码生成器(code generator)分配不同能力的LLM模型，以优化整体性能和成本效益。

问题现象

在TaskWeaver的最新版本中，当用户尝试通过配置文件(taskweaver_config.json)为不同组件指定不同的LLM时，发现系统并未按预期工作。具体表现为：

1. 规划器(planner)始终使用默认配置的LLM，忽略ext_llms中指定的llm_A配置
2. 代码生成器(code generator)能够正确识别并使用ext_llms中指定的llm_B配置

技术分析

通过分析TaskWeaver的源代码和配置加载机制，可以确定这是一个组件级配置加载的bug。规划器模块在初始化时未能正确读取ext_llms中的自定义LLM配置，而是直接回退到全局默认LLM设置。

临时解决方案

在官方修复发布前，用户可以采取以下配置策略：

1. 规划器LLM设置：在配置文件的全局llm部分设置规划器所需的模型参数
2. 代码生成器LLM设置：在ext_llms部分为代码生成器指定专用模型配置

示例配置调整如下：

{
  "llm.api_type": "azure",
  "llm.model": "gpt-4-32k-0613-32k-payg",  // 规划器使用GPT-4
  "ext_llms.llm_configs": {
    "codegen_llm": {
      "llm.model": "gpt-35-turbo-1106-16k-ptu"  // 代码生成器使用GPT-3.5
    }
  },
  "code_generator.llm_alias": "codegen_llm"
}

最佳实践建议

1. 模型选择策略：规划器通常需要更强的推理能力，建议使用GPT-4等高级模型；代码生成则可考虑性价比更高的GPT-3.5
2. 配置验证：部署前应通过简单测试验证各组件确实使用了指定模型
3. 版本关注：及时关注项目更新，该问题预计会在后续版本中修复

总结

TaskWeaver的多LLM支持功能虽然存在当前的小缺陷，但通过合理的配置策略仍能实现预期的模型分工效果。理解框架的配置加载机制有助于开发者更灵活地优化AI应用的工作流程和成本结构。