Garak项目v0.11.0版本发布：全面增强LLM安全评估能力

Garak是一个专注于大型语言模型(LLM)安全评估的开源框架，它通过系统化的测试方法来识别和评估语言模型中的各种安全风险。该项目由NVIDIA团队主导开发，旨在为研究人员和开发者提供一套全面的工具集，用于检测模型可能存在的潜在问题、偏见和安全隐患。

核心功能增强

新型安全探测插件

本次发布的v0.11.0版本引入了两个重要的安全探测插件：

1. SQL查询异常探测：专门针对LLM可能存在的SQL查询异常进行检测，模拟特殊输入，评估模型是否会产生不规范的数据库查询语句。

2. Mistral生成器支持：新增了对Mistral系列模型的支持，扩展了框架的模型兼容性，使安全评估覆盖更多主流LLM架构。

多语言处理能力提升

版本显著增强了多语言处理能力：

• 实现了多语言机器翻译功能，支持跨语言的安全评估场景
• 优化了语言标识处理，将原有的bcp47字段统一更名为更直观的lang字段
• 改进了特殊词汇处理机制，提升了对非英语内容的检测准确性

评估体系优化

探测分级系统

v0.11.0引入了一套全新的探测分级机制：

• 将安全探测分为不同等级(Tier)，便于用户根据需求选择适当强度的测试
• 通过枚举类型实现分级管理，确保分类的一致性和可扩展性
• 默认配置与实践中常用的设置保持同步，提供更合理的开箱即用体验

评分校准改进

基于Vijil.ai提供的数据支持，本版本对评分系统进行了重要校准：

• 更新了2025年第二季度的评分校准数据
• 扩展了更多探测类型的校准支持
• 优化了默认聚合算法，使评估结果更具代表性
• 引入了安全等级风格的评分标识，直观展示绝对和相对安全评分

技术架构改进

性能与稳定性

• 实现了多进程日志配置，解决了并发环境下的日志记录问题
• 新增max_workers参数控制，防止文件描述符耗尽
• 优化了资源缓存机制，减少重复计算和下载
• 改进了异常处理，特别是对HuggingFace检测器的错误处理更加健壮

用户体验优化

• 提供了更友好的CLI错误提示，帮助用户快速定位输入错误
• 简化了翻译器加载信息的显示逻辑
• 增加了轻量级探测默认设置，降低入门门槛
• 支持从多模态提示中提取文本内容，扩展了评估场景

安全检测能力提升

不当内容检测改进

• 更新了默认的不当内容检测模型，提高识别准确率
• 重命名了特殊生成探测模型，使其检测目的更加明确
• 清理了英语特殊词汇库中的歧义词汇，减少误报

潜在异常优化

• 重构了潜在异常检测逻辑，减少了排列组合爆炸问题
• 统一使用attempt.notes["triggers"]记录触发条件，提高数据一致性
• 支持多触发器检测，增强了PromptInject探测器的灵活性

开发者工具完善

文档与示例

• 将"扩展开发"文档从"贡献指南"中独立出来，提供更清晰的结构
• 修复了多处文档格式问题，提升可读性
• 增加了文件类说明的准确性

测试与验证

• 新增ARM64架构的Linux测试支持
• 优化测试存储策略，减少资源占用
• 修复了多项测试用例中的问题，提高测试可靠性

Garak v0.11.0版本通过上述多项改进，为LLM安全评估提供了更全面、更精确的工具集。无论是研究机构还是企业开发者，都可以利用这些增强功能，更有效地识别和防范语言模型中的各类安全隐患，推动AI系统向更安全、更可靠的方向发展。