deepteam 的安装和配置教程

项目基础介绍

deepteam 是一个简单易用的开源大型语言模型（LLM）安全测试框架，用于对语言模型系统进行安全性测试。该框架集成了最新的研究成果，能够模拟使用先进技术（如绕过限制和输入注入）的敌手攻击，帮助识别可能未知的问题，如偏见和隐私信息泄露。

deepteam 在本地机器上运行，同时使用LLM进行模拟和评估。无论你的LLM系统是RAG管道、聊天机器人、AI代理还是语言模型本身，deepteam都能帮助你在用户发现之前发现安全风险和潜在问题。

主要编程语言

该项目主要使用 Python 编程语言。

项目使用的关键技术和框架

deepteam 使用了以下关键技术：

• 绕过限制技术：模拟攻击者尝试绕过模型的安全限制。
• 输入注入：将非预期内容注入到模型的输入中，试图改变其响应。
• 安全评估：使用deepteam内置的评估框架对模型进行安全性评估。

此外，deepteam 框架支持集成OWASP Top 10 for LLMs 和 NIST AI RMF等标准指南。

准备工作

在开始安装deepteam之前，请确保以下准备工作已经完成：

• 安装了 Python 环境（建议使用 Python 3.6 或更高版本）。
• 安装了 pip 包管理工具。
• 确保你的系统可以连接到互联网，以安装所需的依赖包。

安装步骤

以下为deepteam的详细安装步骤：

1. 克隆deepteam仓库到本地环境：

   git clone https://github.com/confident-ai/deepteam.git
   cd deepteam
   

2. 安装项目依赖：

   pip install -r requirements.txt
   

3. 设置环境变量 OPENAI_API_KEY，deepteam在生成非预期输入和评估LLM输出时需要使用这个密钥。如果你打算使用自己的LLM模型，请按照文档说明进行配置。

4. 创建一个测试文件 red_team_llm.py 并定义一个模型回调函数 model_callback：

   # red_team_llm.py
   async def model_callback(input: str) -> str:
       # 在这里替换成你的LLM应用程序代码
       return f"I'm sorry but I can't answer this: {input}"
   

5. 导入deepteam中的问题和测试模块，并运行红队测试：

   from deepteam import red_team
   from deepteam.issues import Bias
   from deepteam.tests.single_turn import InputInjection
   
   # 使用你定义的model_callback
   bias = Bias(types=['race'])
   input_injection = InputInjection()
   risk_assessment = red_team(model_callback=model_callback, issues=[bias], tests=[input_injection])
   
   # 运行测试
   python red_team_llm.py
   

按照以上步骤操作，你就可以成功安装并配置deepteam项目，开始对LLM系统进行安全性测试了。