UI-TARS多轮交互提示词格式设计与实践解析

背景与问题概述

在UI-TARS项目的实际应用场景中，智能体需要处理复杂的多轮交互任务。开发者反馈在OSWorld环境测试时，发现当任务涉及多轮观察-动作序列时，模型表现不佳。核心问题集中在历史信息的整合方式和提示词结构设计上。

典型错误模式分析

通过案例研究，我们观察到几个典型问题表现：

1. 历史引用混乱：智能体在后续步骤中错误引用早期截图中的GUI元素
2. 动作参数异常：生成的动作指令出现"start_box='='"等格式错误
3. 多模态信息整合失效：当对话轮次超过图像处理上限时，信息截断策略影响任务连续性

技术实现方案

消息队列架构设计

正确的消息队列应遵循以下结构：

1. 系统提示词（固定首条）
2. 初始任务指令+首张截图（用户角色）
3. 智能体响应（助手角色）
4. 后续观察-动作对（交替用户/助手角色）

关键实现细节

# 历史动作整合示例
previous_actions = "\n".join([
    f"Step {i+1}: {action}" 
    for i, action in enumerate(self.actions)
]) if self.actions else "None"

# 多模态消息构造
messages = [{
    "role": "user",
    "content": [
        {"type": "text", "text": PROMPT_FOR_COMPUTER + instruction},
        {"type": "image_url", "image_url": current_screenshot}
    ]
}]

性能优化策略

1. 图像缓存管理：建议设置max_image=5，保留最近5张关键截图
2. 动作历史压缩：对早期步骤进行语义摘要而非完整记录
3. 异常检测机制：增加动作语法校验层

模型选择建议

实践发现：

• SFT版本在任务完成率上表现更稳定
• DPO版本需要更精细的提示工程
• 72B参数模型需特别注意图像处理限制

最佳实践方案

1. 采用OSWorld项目最新实现的uitars_agent.py作为基础
2. 对于复杂任务，建议：
   • 保持最近3-5步的完整轨迹
   • 对早期步骤进行关键信息提取
   • 在系统提示中明确当前步骤序号

典型问题解决方案

针对动作参数异常问题，可采用：

# 动作解析增强
def parse_action(text):
    if '=' in action_params:
        return sanitize_params(action_params)
    return default_action

总结与展望

UI-TARS在多步任务中的表现依赖于精心设计的提示架构。未来改进方向包括：

1. 开发自适应历史管理模块
2. 增强跨步骤的视觉-语言对齐
3. 优化长序列任务的记忆机制

通过系统化的提示工程和架构设计，可显著提升智能体在复杂交互场景中的表现稳定性。