Supersonic项目大模型管理模块的技术架构演进

背景与需求分析

在Supersonic这个新一代BI+AI平台中，大模型调用已成为核心能力之一。随着平台功能不断扩展，原有的大模型配置方式逐渐暴露出两个关键问题：

1. 配置粒度不足：只能在系统全局或单个助理级别配置，无法实现跨助理的大模型共享（如多个助理复用同一套大模型配置）
2. 功能耦合度高：所有功能共享同一套大模型配置，无法针对不同技术场景选择最优模型（如SQL生成、自然语言处理等场景可能需要不同特性的模型）

技术解决方案

架构设计

新版本通过引入独立的大模型管理模块，实现了配置与功能的解耦：

1. 资源管理层：新增大模型连接管理界面，支持创建、维护各类大模型连接配置
2. 功能应用层：在助理配置中采用下拉选择机制，支持按场景灵活绑定大模型

核心改进点

1. 多级配置体系：

   • 基础连接配置：集中管理API密钥、端点等基础连接信息
   • 场景化绑定：支持为不同功能场景选择特定模型

2. 四大应用场景支持：

   • SQL生成：适合结构化数据处理的模型（如GPT系列）
   • 记忆评估：擅长上下文理解的模型（如GLM）
   • 多轮改写：长文本处理能力强的模型
   • 回答生成：通用对话模型

实现细节

前端实现

1. 新增大模型管理界面，采用与数据库管理类似的设计范式
2. 重构助理配置界面，将原来的单一配置改为：
   • 模型选择下拉框
   • 场景化配置面板
   • 参数覆盖机制（支持场景级参数定制）

后端改造

1. 新增大模型连接管理服务
2. 实现配置继承机制：
   • 默认使用全局配置
   • 支持助理级覆盖
   • 支持功能级特殊配置
3. 配置验证与缓存机制

技术价值

1. 资源利用率提升：通过共享配置减少重复配置
2. 场景适配优化：不同功能可以使用最适合的模型
3. 运维便捷性：集中管理所有大模型连接
4. 扩展性增强：为未来新增功能场景预留接口

最佳实践建议

1. 模型选型策略：

   • SQL生成建议选择代码生成能力强的模型
   • 对话场景优先考虑指令跟随能力
   • 评估类任务选择评分一致性高的模型

2. 配置管理建议：

   • 建立命名规范（如"GPT4-SQL-Prod"）
   • 对生产环境配置启用访问控制
   • 定期测试连接有效性

未来演进方向

1. 动态模型路由：根据query内容自动选择模型
2. 混合模型编排：单个功能支持多模型协作
3. 性能监控：增加模型响应时长、成功率等指标
4. 成本分析：按模型统计token消耗

该架构演进使Supersonic平台在大模型应用方面获得了企业级的管理能力，为复杂场景下的AI能力落地提供了坚实基础。