Giskard项目中的扫描器标签使用指南

概述

在Giskard项目中，scan方法是用于检测模型潜在问题的重要工具。其中only参数允许用户指定只运行特定类型的检测器，但该功能的相关文档尚不完善。本文将详细介绍Giskard扫描器中可用的标签系统及其使用方法。

扫描器标签系统

Giskard的检测器通过@detector装饰器注册，每个检测器可以关联一个或多个标签。这些标签用于在扫描过程中进行筛选控制。当使用only参数时，系统只会运行那些包含至少一个指定标签的检测器。

文本生成模型的可用检测器

对于文本生成(text_generation)类模型，目前主要有以下几种检测器可用：

1. Jailbreak检测器：用于识别模型是否容易受到越狱攻击
2. Faithfulness检测器：检测模型输出的忠实度
3. 字符注入检测器：检查模型对特殊字符注入的抵抗能力
4. 提示注入检测器：评估模型对提示注入攻击的防御能力

使用注意事项

1. 模型类型匹配：不同检测器适用于不同类型的模型。例如"performance_bias"检测器仅适用于分类和回归模型，不适用于文本生成模型。

2. 错误处理：当指定不存在的标签或与模型类型不匹配的标签时，系统会抛出"No issue detectors available"错误。未来版本可能会改进这一错误提示，明确指出是标签不存在还是不适用。

3. 标签获取：目前需要查看检测器源代码或文档来了解可用标签，未来可能会提供list_detectors()等方法来动态查询。

最佳实践

1. 在使用only参数前，先确认模型类型和适用的检测器
2. 对于文本生成模型，可以从基本的Jailbreak和Faithfulness检测开始
3. 逐步扩展检测范围，加入字符注入和提示注入等安全相关检测
4. 关注项目更新，及时获取新增检测器信息

通过合理使用标签系统，用户可以更精准地控制扫描过程，针对性地检测模型可能存在的特定问题。