MLX-Swift-Examples项目中LLMTool的多媒体提示构建问题解析

在MLX-Swift-Examples项目的LLMTool组件中，开发者发现了一个关于多媒体内容(图片/视频)提示(prompt)构建的重要问题。这个问题影响了模型接收和处理多媒体输入的能力，值得深入分析其技术细节和解决方案。

问题背景

LLMTool是该项目中处理大型语言模型交互的核心组件，负责构建发送给模型的提示信息。当用户输入包含图像或视频内容时，系统需要构建特殊的提示结构来同时传递文本和多媒体信息。

技术问题分析

在原始代码实现中，当检测到输入包含图像或视频时，提示构建逻辑存在两个关键缺陷：

1. 角色分配错误：系统提示(system prompt)被错误地标记为"user"角色，而实际上它应该使用"system"角色。这会影响模型对提示优先级的理解。

2. 内容缺失：代码只包含了系统提示，完全遗漏了用户实际要询问的内容(user prompt)，导致模型无法获取完整的交互上下文。

解决方案

修复方案需要同时解决上述两个问题：

1. 正确的角色分配：将系统提示放在"system"角色的消息中，确保模型能正确识别其作为系统指令的性质。

2. 完整的提示结构：需要构建两条独立的消息字典，一条包含系统提示，另一条包含用户实际问题和多媒体内容。

技术实现细节

正确的实现应该类似以下结构：

let messages: [[String: Any]] = [
    [
        "role": "system",
        "content": generate.system
    ],
    [
        "role": "user",
        "content": [
            [
                "type": "text",
                "text": userPrompt
            ],
            // 多媒体内容部分...
        ]
    ]
]

这种结构确保了：

• 系统指令和用户输入分离
• 多媒体内容与文本提示正确组合
• 角色分配符合LLM交互规范

影响范围

这个问题会影响所有使用LLMTool处理多媒体输入的场景，可能导致：

• 模型无法正确理解用户意图
• 多媒体内容处理异常
• 交互结果不符合预期

总结

正确处理LLM提示构建是确保模型交互质量的关键。特别是在多媒体场景下，提示结构需要更加严谨。MLX-Swift-Examples项目通过这次修复，完善了其多媒体处理能力，为开发者提供了更可靠的LLM交互基础组件。