5分钟上手lev:pip安装后如何零配置加载校准好的决策模型
5分钟上手lev:pip安装后如何零配置加载校准好的决策模型
lev 是一个基于 Qwen3.5-4B + LoRA 的开源校准决策模型:pip install 之后,一行 lev.load() 零配置加载,就能对文本做出带校准概率的判断——无需调 prompt、无需解析 JSON、零输出 token。本文将带你用 5 分钟完成安装、加载和推理。
lev 是什么:一次前向,回答所有判断问题
lev 的工作方式很特别:给它一段上下文(state)和一组类型化问题(是/否、单选、打分),它在一次前向传播中从 logits 直接读出答案,返回你提供的选项上的校准概率。
| 问题类型 | 你提供 | 你得到 |
|---|---|---|
noul |
是/否问题 | noul = P(yes) |
choice |
指令 + 选项 | 选中项 + probabilities + confidence |
score |
指令 + 2~10 级有序量表 | 期望分值 + probabilities + confidence |
关键特性:
- 🎯 答案空间即选项集——模型无法返回你选项之外的标签(结构性保证)
- ⚡ 0 输出 token——没有生成、没有 JSON 解析、没有重试
- 📊 概率已校准——可以直接做阈值门控,例如 0.9 以上自动处理,以下转人工
- 🚀 S1Bench 全部 13 个子集平均准确率 68.9%,4B 参数即可在单卡 H100 运行
适合高频判断场景:工单路由、内容审核、意图检测、分诊、质量打分。
第一步:一条命令安装 lev(5分钟上手步骤1)
前置要求:
- Python 3.12+
- 实时使用需要 CUDA GPU(CPU 也能跑,但 4B 模型每次调用要几秒)
pip install "lev[serve] @ git+https://gitcode.com/hf_mirrors/interfaze-ai/lev#subdirectory=packages/lev"
serve 扩展会自动装好 torch、transformers、peft 和 HTTP 服务端。首次加载会下载底座模型(Qwen3.5-4B,约 8 GB)和 lev 适配器(约 200 MB)。也可以先 git clone https://gitcode.com/hf_mirrors/interfaze-ai/lev 再本地安装。
第二步:lev.load() 零配置加载并推理(5分钟上手步骤2)
import lev
model = lev.load("interfaze-ai/lev")
state = "Hi, I was charged twice for my order #4471 and I want a refund."
questions = {
"intent": {
"type": "choice",
"instructions": "What does the customer want?",
"criteria": {
"refund": "wants money back",
"cancel": "wants to cancel an order",
"other": "anything else",
},
},
"urgent": {"type": "noul", "instructions": "Does this need a human within the hour?"},
}
result = model.system_one(state, questions)
print(result.answers["intent"].choice) # refund
print(result.answers["intent"].probabilities) # {'refund': 0.84, ...}
print(result.answers["urgent"].noul) # 0.43
print(result.usage.output_tokens) # 0
以上为官方 checkpoint 的真实输出。所有问题共享一次前向传播:问 3 个问题和问 1 个问题耗时几乎相同。这就是"零配置"的含义——README.md 中完整示例还包含 score 量表问题,可直接照抄。
lev.load() 幕后自动完成了哪些配置
你什么都没写,lev.load 却读完了整个发布清单并完成装配:
- 读取 lev_release.json——自动确定底座模型(Qwen3.5-4B)、LoRA rank=32、训练步数(18750)与 prompt 格式
- 应用 calibration.json 中按问题类型/读数模式/选项规模档位拟合好的温度系数,让概率真的可靠
- 加载候选路径头 mode_b_head.pt 与 LoRA 权重 adapter_model.safetensors,并校验配套分词器 chat_template.jinja、tokenizer.json
第三步:自建 HTTP 决策服务(可选)
lev serve --checkpoint interfaze-ai/lev --host 0.0.0.0 --port 8000
服务暴露 Jev 兼容的 /v1/systemone 端点,TypeSafe SDK 客户端改个 base URL 即可直连;GET /health 会报告当前 checkpoint、校准是否生效。服务端把每个请求的所有问题打包进一次前向,支持并发,非法问题返回 422 及原因。
性能实测:单次调用 69 ms
一次调用就是所有问题的批量前向:问 1 个还是 8 个问题、60 个选项还是是/否,计算量几乎不变。H100 上短请求引擎计算 69 ms(优化前 169 ms),吞吐量从 1.02 提升到 6.36 items/s。
使用边界:这些坑先知道
- ⚠️ 最小改动输入和细粒度评分是弱项——一个词之差、五级以上的量表上最易出错
- ⚠️ 校准拟合自训练分布——用你的数据先验证概率,再基于它做门控
- ⚠️ 问题之间相互独立——答案互不条件化,联合判断请编码成单个
choice或分阶段提问 - 仅支持英文;实时使用建议 GPU
常见问题(FAQ)
Q:不写任何配置,概率为什么还能直接当门槛用? A:加载时自动应用了训练后拟合的温度校准(calibration.json),且按任务族迁移能力挑选,而非只在留出集上拟合。
Q:问更多问题会更慢吗? A:不会。一次批量前向覆盖全部问题,60 选项的多选与是/否成本相同。
Q:它和通用 LLM 做分类有什么区别? A:lev 不生成任何 token,答案直接读自 logits,因此不可能跑出选项集之外;代价是只支持类型化问题,不支持任意 JSON schema。
小结
| 步骤 | 操作 |
|---|---|
| 1️⃣ 安装 | pip install "lev[serve] @ git+..."(Python 3.12+) |
| 2️⃣ 加载 | lev.load("interfaze-ai/lev"),零配置 |
| 3️⃣ 推理 | model.system_one(state, questions),0 输出 token |
| 4️⃣ 服务化 | lev serve,一行起 HTTP 服务 |
lev 让"判断"从生成式 LLM 的 token 游戏,变成一次前向的读数游戏——5 分钟装好,0 配置直接用。更多细节见 README.md 的基准测试与训练章节。

