Supersonic项目中基于大模型的多数据集意图识别优化实践

在对话式数据分析系统中，用户自然语言查询的意图识别是核心挑战之一。当系统检测到多个相似数据集可能匹配用户查询时，传统规则引擎往往难以准确判断用户真实意图。腾讯音乐开源的Supersonic项目近期针对这一痛点进行了创新性改进，引入大模型技术优化多数据集选择逻辑，显著提升了意图识别的准确率。

背景与挑战

在Supersonic这类智能数据分析平台中，用户通过自然语言提出查询需求（如"查看上周销售额"）时，系统需要完成两个关键步骤：

1. 识别查询涉及的业务实体（如"销售额"指标）
2. 定位包含该实体的具体数据集

当不同数据集包含同名指标时（如"销售额"可能同时存在于"电商销售表"和"线下零售表"），传统方案通常采用规则匹配：

• 基于数据集最近使用时间
• 根据数据集元数据匹配度
• 人工预设优先级

这些方法存在明显局限：无法理解查询的上下文语义，导致在复杂场景下准确率骤降。

技术方案演进

Supersonic项目提出了两种基于大模型的改进方案：

方案一：基于历史SQL的语义推理

系统会分析用户近期执行的SQL查询序列，提取其中的语义模式。当出现多数据集冲突时，将以下信息输入大模型：

1. 当前查询的语义解析结果
2. 候选数据集的结构元数据
3. 用户历史查询的语义特征

大模型通过理解业务上下文（如用户近期一直在查询电商数据），可以更准确地推荐最相关数据集。

方案二：实时数据感知决策

在数据集选择阶段，系统会：

1. 从候选数据集中采样典型数据
2. 结合用户查询生成对比分析提示词
3. 由大模型判断哪个数据集的数据分布更符合查询意图

该方案虽然更精准，但会带来额外的数据访问开销。

实现效果与启示

目前Supersonic优先实现了方案一，在实际业务场景中观察到：

• 多数据集冲突场景的准确率提升40%+
• 用户显式修正数据集的次数减少60%
• 系统响应时间增加约200ms（主要来自大模型推理）

技术方案选择建议：

1. 对延迟敏感的场景可采用方案一
2. 对准确率要求极高的场景可尝试方案二
3. 可设计混合策略，根据冲突严重程度动态选择方案

未来方向

该实践为对话式BI系统提供了新思路：

1. 上下文感知的意图识别架构
2. 大模型与传统规则引擎的协同工作流
3. 持续学习机制（根据用户反馈优化模型表现）

这种技术路径不仅适用于数据集选择场景，也可扩展至查询条件推导、可视化方案推荐等衍生场景，值得自然语言处理和数据系统领域的开发者持续关注。