PyRIT项目中使用Mistral模型时角色交替问题的解决方案

问题背景

在PyRIT项目中，当开发者尝试使用Mistral-7B-Instruct-v0.2模型作为PromptSendingOrchestrator的评分器(Scorer)时，遇到了一个关于对话角色交替的400错误。错误信息明确指出："Conversation roles must alternate user/assistant/user/assistant/..."，这表明模型期望的对话格式是严格交替的用户和助手角色。

问题分析

这个问题特别出现在使用SelfAskLikertScorer进行评分时。通过调试发现，根本原因在于系统提示(system prompt)的角色设置不正确。在OpenAIChatTarget的默认实现中，系统提示被标记为"system"角色，但Mistral这类指令调优模型对角色交替有更严格的要求。

解决方案

通过修改OpenAIChatTarget中系统提示的角色设置，将角色从"system"改为"assistant"，可以解决这个问题。具体修改如下：

self._memory.add_request_response_to_memory(
    request=PromptRequestPiece(
        role="assistant",  # 关键修改点
        conversation_id=conversation_id,
        original_value=system_prompt,
        converted_value=system_prompt,
        prompt_target_identifier=self.get_identifier(),
        orchestrator_identifier=orchestrator_identifier,
        labels=labels,
    ).to_prompt_request_response()
)

技术原理

这个修改之所以有效，是因为：

1. Mistral等指令调优模型通常设计为处理严格的用户-助手对话交替模式
2. 系统提示作为对话的一部分，如果标记为"system"角色，会打破这种交替模式
3. 将系统提示标记为"assistant"角色，保持了对话流的连续性，符合模型的预期输入格式

最佳实践建议

1. 对于指令调优模型，建议统一使用"user"和"assistant"两种角色
2. 系统指令可以作为第一个"assistant"消息发送
3. 在实现自定义评分器时，注意检查对话历史的角色交替情况
4. 考虑为不同的模型类型实现特定的角色处理逻辑

总结

在PyRIT项目中使用Mistral等指令调优模型时，正确处理对话角色交替是确保功能正常工作的关键。通过调整系统提示的角色设置，可以解决常见的400错误，使评分器能够正常工作。这个解决方案不仅适用于Mistral模型，对于其他有类似角色要求的指令调优模型也同样有效。