Giskard项目参数配置问题解析：如何正确控制模型检测样本量

在Giskard项目的使用过程中，开发者经常需要通过参数配置来控制检测过程中的样本数量和需求数量。近期发现部分用户在使用num_samples和num_requirements参数时遇到了预期效果不一致的问题，这实际上是由于对参数配置方式的误解导致的。

问题本质

Giskard的扫描功能提供了精细化的控制参数，其中num_samples用于控制检测时采样的样本数量，而num_requirements则决定了每个检测项需要验证的需求数量。这两个参数的乘积直接影响最终对模型的调用次数。

核心问题在于：这些参数必须通过正确的检测器名称（而非标签名称）来指定。例如，信息泄露检测对应的检测器名称是llm_information_disclosure，而不是简单的information_disclosure。

正确配置方式

正确的参数配置格式应为：

params = {
    "llm_information_disclosure": {
        "num_samples": 2,
        "num_requirements": 2
    }
}

这种配置下，Giskard会按照预期进行：

• 采样2个样本（num_samples）
• 每个样本验证2个需求（num_requirements）
• 总计产生4次模型调用（2×2）

技术原理

Giskard的检测架构采用分层设计：

1. 检测器层：实现核心检测逻辑
2. 标签层：提供用户友好的分类

参数配置必须作用于检测器层才能生效。当用户错误地使用标签名称时，配置实际上未被应用，系统会回退到默认参数值，导致检测样本量超出预期。

最佳实践建议

1. 明确检测器名称：通过文档或API查询准确的检测器名称
2. 验证配置效果：检查扫描报告中的"Estimated calls"是否符合预期
3. 渐进式调整：从较小数值开始，逐步增加以获得质量与效率的平衡
4. 组合使用：可以同时为多个检测器配置不同参数

理解这一机制后，开发者可以更精确地控制Giskard的检测行为，在保证检测质量的同时优化资源使用效率。这对于大规模模型检测场景尤为重要，能够显著降低计算成本和时间开销。