NeMo-Guardrails中实现预定义消息与LLM生成消息的区分方案

在构建对话系统时，开发者经常需要区分预定义的固定回复（如安全护栏消息）和LLM动态生成的回复。本文介绍在NeMo-Guardrails框架中实现这一需求的两种技术方案。

问题背景

当开发者尝试通过修改colang配置文件为机器人回复添加固定前缀时，例如：

define bot respond to the question
  "ABC bot response: $bot_message"

会出现前缀重复叠加的问题，如："ABC bot response: ABC bot response: Hello..."。这是由于聊天历史中的前缀被LLM误认为是对话内容的一部分，导致在后续交互中不断重复。

解决方案一：运行时检测（推荐方案）

通过分析消息来源实现动态区分：

1. 利用生成选项配置： 在调用generate方法时，启用llm_calls日志选项，通过检查响应中的task字段判断消息来源。

2. 消息处理逻辑：

   if bot_message["task"] == "generate_bot_message":
       # LLM生成的消息
       prefix = "动态回复："
   else:
       # 预定义消息
       prefix = "系统消息："
   

解决方案二：CLI修改方案（临时方案）

对于使用命令行界面的开发者，可通过修改chat.py实现：

1. 核心修改点： 在输出消息前，检查内容是否存在于预定义消息集合中。

2. 实现逻辑：

   message = bot_message["content"]
   if message in predefined_messages:
       message = "预定义消息：" + message
   

最佳实践建议

1. 生产环境推荐：

   • 采用方案一的运行时检测方法
   • 在UI层面对不同来源消息使用差异化样式

2. 调试技巧：

   • 设置log.llm_calls=True获取详细生成日志
   • 使用不同颜色区分消息类型

3. 架构设计：

   • 保持预定义消息的纯净性
   • 在前端而非核心逻辑层实现视觉区分

该方案已在NeMo-Guardrails社区得到验证，可有效解决消息来源区分问题，同时保持对话历史的完整性。