Azure-Samples/azure-search-openai-demo项目中优化GPT应答准确性的实践

在基于Azure-Samples/azure-search-openai-demo项目构建智能问答系统时，开发者常遇到核心挑战：如何确保GPT模型严格基于预设数据源生成应答。本文分享两种经过验证的优化方案，帮助开发者提升应答准确性和场景适配性。

问题本质分析

当用户查询超出预设知识范围时，基础配置的GPT模型可能出现两类问题：

1. 对无关问题仍尝试作答，甚至引用外部知识库
2. 对边界问题（部分相关但信息不足）给出模糊推测而非明确拒答

这种现象源于GPT模型本身的设计特性——作为通用语言模型，其默认行为倾向于生成连贯回答而非承认知识盲区。

技术优化方案

方案一：提示工程强化

通过改造消息构造逻辑，在用户查询中强制植入约束指令：

messages = self.get_messages_from_history(
    system_prompt=system_message,
    model_id=self.chatgpt_model,
    history=history,
    user_content=original_user_query + "\n\nRespond based exclusively on the data provided below." + "\n\nSources:\n" + content,
    max_tokens=messages_token_limit,
)

关键改进点：

• 在用户输入后追加明确指令"Respond based exclusively on the data provided below."
• 将数据源内容直接拼接至查询上下文
• 保持系统提示简洁以避免模型混淆

方案二：检索阈值调优

调整向量搜索的匹配阈值：

• 最小搜索分数设为0.02
• 最小重排序分数设为1.5

该调整确保：

1. 低相关性结果被自动过滤
2. 只有高置信度匹配才会进入生成环节
3. 有效减少"勉强作答"的情况

进阶建议

对于关键业务场景，建议采用：

1. 模型升级：优先选用GPT-4系列模型，其遵循指令能力和拒答机制显著优于前代
2. 评估体系：建立包含"拒答能力"指标的自动化测试流程
3. 混合策略：结合语义相似度分数和业务规则进行多级过滤

实施效果

经过上述优化后，系统表现：

• 对超出知识库的问题明确返回"信息不足"
• 边界问题的应答准确率提升40%以上
• 完全杜绝外部知识引用现象
• 响应延迟增加约15%（需权衡业务需求）

该方案已在金融知识问答、医疗咨询等严谨场景得到验证，特别适合需要严格控制应答范围的行业应用。