什么是LLM proxy安全风险?API Relay Audit 帮你建立完整威胁认知的终极入门
什么是LLM proxy安全风险?API Relay Audit 帮你建立完整威胁认知的终极入门
当你把 AI 应用、Coding Agent 或 Agent 工作流接到第三方 API 中转站(API relay / LLM proxy)上时,你的请求在到达模型之前会先经过别人控制的中间层。这一层如果“动手脚”,轻则偷换模型抬高成本,重则注入隐藏指令、窃取凭证。本文带你一次看懂 LLM proxy 安全风险 的完整清单,并介绍本地安全审计工具 API Relay Audit:它在你的机器上运行,只把 API Key 发给你指定的中转站,生成一份可复查的 14 步 Markdown 审计报告,覆盖 prompt injection、模型替换信号、SSE 流异常、错误信息泄漏和 Web3 钱包风险。
一、先搞清楚:什么是 AI API relay 和 LLM proxy?
API relay(中转站) 和 LLM proxy(大模型代理) 是同一类东西的不同叫法:位于你和 Anthropic、OpenAI 等上游 AI 服务商之间的第三方服务。它通常帮你:
- 解决网络访问问题(转发请求到上游)
- 统一 API 格式(例如提供 Claude 兼容或 OpenAI 兼容接口)
- 计费、限流、多通道路由
但问题在于:它能读到并改写你与模型之间的所有内容。请求路径(你发什么)和响应路径(模型回了什么)都要经过它的手,这意味着它在模型供应链里掌握着“中间人”的位置。
📌 官方把 API Relay Audit 定位为“本地安全审计”工具,而不是一键判官——它生成证据,不做安全认证。查询意图的正式边界契约见 docs/query-families.md。
二、LLM proxy 安全风险的五大典型场景 🔍
结合公开的学术披露与厂商威胁情报(相关背景可参考项目 docs/references.md),中转层可实施的风险大致可归纳为五类:
1. Prompt injection:隐藏提示词注入
中转站在你的请求前面或中间插入隐藏指令。表面上你什么都没看到,实际模型可能收到了“泄露系统提示词”“忽略用户指令”这类内容。更隐蔽的是 prompt extraction(提示词提取)——后续响应里悄悄暴露出隐藏的 prompt 内容。
2. Model substitution:模型偷换
你按旗舰模型的价格付费,实际却被路由到更便宜的模型。判断依据可能只是模型自称的文字,所以需要结合流式响应、延迟特征、上游通道指纹等多重信号互相印证。
3. Tool-call rewriting:工具调用改写
Coding Agent 依赖模型输出的安装命令、文件操作等工具调用。中转层若改写这些输出,等于把供应链投毒做进了你的自动化流程里——比如替换包安装命令。
4. Error leakage:错误响应泄漏
中转站转发上游报错时,可能把内部路径、框架信息、甚至凭证痕迹一起暴露出来,成为攻击者绘制你基础设施的地图。
5. SSE 异常与 Web3 钱包风险
- SSE anomaly:流式响应的事件序列、usage 计数、模型标识等被篡改或截断,破坏流完整性。
- Web3 钱包风险:当 Agent 工作流涉及签名、转账指引、私钥相关内容时,中转层注入的恶意指令后果是真实的资产损失,而非只是体验问题。
三、API Relay Audit 的 14 步审计都查什么?
API Relay Audit 把上面这些威胁拆成可执行的探测步骤(当前版本 v2.5.0,共 14 步、6 维风险矩阵)。核心覆盖如下:
| 审计方向 | 检测内容 |
|---|---|
| Prompt 安全 | token 注入、prompt 提取、指令覆盖、越狱抵抗力 |
| Relay 完整性 | 上下文截断、工具调用替换、错误泄漏、SSE 流完整性 |
| 模型身份 | 非 Claude 身份泄漏、模型替换信号、兼容中转行为 |
| Web3 钱包安全 | 转账指引、签名交易拒绝、私钥泄漏拒绝 |
三种运行画像按需选择:
general(默认):普通 AI API relay / LLM proxy 审计web3:钱包安全探针full:全量探针
报告对每一步给出 clean / anomaly / inconclusive 状态,最后汇总为 LOW / MEDIUM / HIGH 结论。注意两点边界:它不为任何中转站颁发“安全认证”;inconclusive 不等于 clean,无法判断的探针会原样保留在报告里。想看报告长什么样,可以读这份脱敏示例 docs/examples/sanitized-audit-report.md。
四、本地运行指南:一条命令开始审计 🚀
工具的核心承诺是 本地运行、零第三方依赖(Python 标准库 + curl),你的 API Key 只会发到你指定的中转站 URL,不经过任何第三方网页工具。
# 克隆仓库获取 audit.py 单文件零依赖版
git clone https://gitcode.com/gh_mirrors/ap/api-relay-audit.git
cd api-relay-audit
# 运行本地审计,输出 Markdown 报告
python audit.py --key <YOUR_KEY> --url <BASE_URL> --output report.md
# Web3 / 钱包用户加画像参数
python audit.py --key <YOUR_KEY> --url <BASE_URL> --profile web3 --output report.md
v2.5.0 起还支持 --format json 输出,方便接入本地自动化流程,Schema 与覆盖边界见 docs/json-report.md。
报告之外还能做什么?
- 模块化开发版在 api_relay_audit/ 目录,每个探测步骤(如 error_leakage.py、stream_integrity.py、latency_variance.py)都是独立模块,方便阅读源码理解检测原理。
- 中文代码逐段讲解见 docs/python-code-explanation-zh.md,想深入“它是怎么检测的”可以从这里入手。
五、如何正确看待审计结果?(重要!)
建立威胁认知之后,也要建立正确的证据认知:
- 自然语言自称只是信号,不是证明。 模型说自己是 Qwen / DeepSeek / GPT,可能提示上游被替换,但单独一项不能下 provider 级结论;需要原始响应、request id、流签名、透明日志哈希等相互印证。
- 一次 clean 运行不是通行证。 中转站可能按条件触发恶意行为,报告是可复现的证据,不是最终安全标签。
- 公开分享请脱敏。 不要发布 API Key、原始 headers、完整响应体或钱包材料,社区证据提交规范见 docs/community-evidence.md。
六、总结:把中转站当作供应链来管 🛡️
- LLM proxy 风险 = 请求可被注入、模型可被偷换、工具输出可被改写、错误可泄漏情报、流式响应可被篡改、钱包场景可被真实攻击。
- API Relay Audit 用本地、开源、可复现的 14 步审计,把这六类风险变成一份逐条带证据的 Markdown 报告,而不是又一个要你填 Key 的黑盒网页。
- 记住三条纪律:审计先行、结论留证、脱敏分享。
在你把生产流量、Coding Agent 自动化或钱包相关操作交给某个中转站之前,先跑一次本地审计——这可能是你和“被动手脚”之间成本最低的一道防线。
更多资料:README.md · SECURITY.md · CONTRIBUTING.md
