PyRIT项目中问答分类器的拒答识别问题分析与改进

在人工智能安全测试框架PyRIT的开发过程中，我们发现其内置的问答分类器(QUESTION_ANSWERING_CLASSIFIER)存在一个值得关注的技术问题。该分类器在判断AI模型是否拒绝回答用户提问时，会出现不一致的分类结果，这对自动化安全测试的准确性产生了影响。

问题现象

当AI模型以"抱歉，作为AI语言模型..."这类标准拒绝话术回应用户提问时，分类器有时会错误地将这些明确拒绝的回答标记为"questions_answered"(已回答)，而非正确的"question_not_answered"(未回答)。这种不一致性在多次测试中反复出现，表明分类器的判断逻辑存在缺陷。

技术分析

通过深入测试，我们观察到问题的核心在于分类器的判断标准不够明确。当前的分类器仅通过简单的语义匹配来判断回答类型，而未能充分识别各种形式的拒绝话术模式。特别是当AI模型在拒绝后还提供替代建议时(如"建议查看官方网站")，分类器更容易产生误判。

解决方案

我们建议对分类器的判断逻辑进行以下改进：

1. 扩充拒绝话术的模式识别库，明确包含"I'm sorry, but as an AI language model"等常见拒绝句式
2. 建立更严格的语义分析规则，即使回答中包含替代建议，只要核心问题是拒绝回答，就应归类为"question_not_answered"
3. 增加上下文理解能力，区分真正的信息提供与礼貌性拒绝

实现效果

经过改进后的分类器能够更准确地识别各种形式的拒绝回答，包括：

• 标准拒绝话术
• 附带替代建议的拒绝
• 不同表达方式的礼貌拒绝

这一改进显著提升了PyRIT在自动化安全测试中的可靠性，特别是在评估AI模型对敏感问题或越界请求的拒绝能力时。

技术意义

这一问题的解决不仅提升了PyRIT框架的实用性，也为AI安全测试领域提供了重要参考。准确识别AI模型的拒绝行为对于评估其安全性和合规性至关重要，是确保AI系统不会泄露敏感信息或执行危险操作的基础保障。

该改进已被纳入PyRIT项目的主干版本，为开发者提供了更可靠的测试工具。未来，我们建议持续优化分类器的语义理解能力，以应对AI模型可能采用的各种新型拒绝话术。