vera-large 还是 vera-core-2?局限、选型与家族全景完整指南
vera-large 还是 vera-core-2?局限、选型与家族全景完整指南
vera-large 是 scar-ai 推出的家族中最大、最精准的 System 1 决策模型(约 26B 参数,基于 Qwen3.8-27B 骨干)。它不生成任何文本,而是对"状态 + 问题"一次性输出带校准概率的类型化答案。如果你纠结该选 vera-large 还是更轻量的 vera-core-2,本文将用一份基准对比 + 局限清单 + 选型决策树,帮你快速做出判断,并顺带带你认识 vera 家族四位成员。
vera-large 是什么?为什么值得了解
一句话概括:vera-large 是一个"只做判断、不写文章"的决策模型。
- 非自回归(non-autoregressive):所有问题在一次前向传播中并行回答,不逐 token 生成,也就没有"幻觉"可言;
- 输出结构化结果:每个问题返回类型化答案 + 完整概率分布,可直接用于"置信度门控"流程;
- 全文读取,绝不截断:状态、问题与选项描述完整进入模型,长政策文档也能一次读完;
- 接口即协议:它与 Jev 使用同一套
POST /v1/systemone线格式,现有客户端改个 base URL 就能接入。
三种问题类型覆盖绝大多数判断场景:
| 类型 | 说明 | 典型用途 |
|---|---|---|
choice |
2~255 个选项中选择 | 工单分派、意图分类、工具选择 |
score |
2~10 级有序打分,返回期望分 + 完整分布 | 紧急度、风险等级、情感强度 |
noul |
是/否 概率 | 合规检查、流失风险判断 |
更多细节见 README.md 的 Use cases 与 Benchmarks 章节,模型实现可参考 vera_model.py 与 vera_schema.py。
关键数据:vera-large vs vera-core-2 基准对比
在 Jev Decision Index 0.4.1 公开榜单(分数经随机基线校正,0 为瞎猜、100 为满分)上,两兄弟差距明显:
| 模型 | 参数量 | Full | Public | knowledge | language | retrieval | tools | ECE ↓ |
|---|---|---|---|---|---|---|---|---|
| vera-large | 25.6B | 65.26 | 67.75 | 51.2 | 75.7 | 69.5 | 83.0 | 0.051 |
| vLLM-SR d3(27B 级参照) | 26.1B | 67.15 | 65.45 | 55.3 | 68.0 | 66.9 | 82.6 | 0.043 |
| Jev 1.14(参照) | – | 60.24 | 60.70 | 57.1 | 61.2 | 63.5 | 73.8 | 0.080 |
| vera-core-2 | 1.9B | 30.60 | 41.28 | 21.4 | 43.9 | 53.8 | 61.5 | 0.046 |
几个值得注意的信号:
- 🏆 vera-large 以 65.26 的 Full 分超过同为 26B 级的 vLLM-SR d3 的 Public 分,榜单排名 =6/241;
- 📉 单项短板在 knowledge(51.2),比 d3 低 4.1 分——知识密集型决策是它最弱的一环;
- 🤏 vera-core-2 的 Full 分(30.60)不足 vera-large 的一半,但 Public 分(41.28)与 Full 分的差距说明它在公开可复现任务上表现尚可;
- 两者校准错误(ECE)都在 0.05 量级,"说 80% 概率就真有 80% 把握",这点上小模型并不掉链子。
⚠️ 选型前必读:vera-large 的四大局限
来自官方 Limitations 章节,逐条翻译成"人话":
- 硬件门槛高:bf16 权重约 51 GB,需要 80GB 级显卡(H100 80GB / RTX PRO 6000 96GB / MI300X)起步,或用 vLLM 张量并行切到双卡;CPU 上不可行。小 footprint 场景请选 vera-core-2(约 2B)或 vera-spark。
- 知识密集决策偏弱:Decision Index 上 knowledge 项 51.2,是全榜单各维度中最低分。
- 未针对浏览器/计算机操作类 agent 调优:想做这类场景,需先用你自己 agent 的轨迹做微调。
- 长文本不免费:请求从不截断,超长的状态会按长度比例消耗显存与时间(默认
--max-model-len32,768 tokens,超出直接拒绝而非裁剪)。
引擎兼容性也要提前确认:
| 引擎 / API | 状态 |
|---|---|
vera-serve / vera.load(...).predict(...) / transformers AutoModel |
✅ 支持 |
vLLM(经 vera-serve --engine vllm 或 engines/ 适配器) |
✅ 支持 |
| SGLang | ❌ 暂不支持(全注意力层要求读全 prompt) |
| Ollama / llama.cpp / GGUF | ❌ 不支持(无 GGUF 决策读出架构) |
| OpenAI 风格 chat / completions 客户端 | ❌ 模型打分而非生成文本,天然不兼容 |
🧭 选型决策:4 个问题定位你的答案
| 你的情况 | 推荐 |
|---|---|
| 有 80GB+ 显存,追求生产级准确率 | vera-large |
| 只有一张消费级/中小显存 GPU,需要低延迟、低成本 | vera-core-2(约 2B) |
| 场景以知识问答、事实检索为主 | 两者都偏弱,优先考虑 d3 类模型或给 vera 微调 |
| 只需边缘设备 / 嵌入式级别的极简部署 | vera-spark(约 630M) |
好消息是:vera 家族所有成员共享同一套 System One 接口与线格式,从 vera-core-2 平滑升级到 vera-large 只需换一行模型名,业务代码零改动——这大幅降低了"先小后大"的试错成本。
vera 家族全景:四位成员一图流
| 成员 | 参数量 | 定位 |
|---|---|---|
| vera-large(本仓库) | ~26B | 最大、最精准,旗舰级决策 |
| vera-core-2 | ~2B | 同套"读选项"方式的小身材版本 |
| vera-core | ~2B | 第一代 2B vera |
| vera-spark | ~630M | 紧凑型,资源受限场景首选 |
四者都是通用基座,官方均建议针对自己的业务做微调后再上线。
🚀 快速上手:两步跑起 vera-large
与 vera-core-2 共用同一个 vera-s1 包(Python ≥ 3.10):
pip install -U "vera-s1[fast]"
首次使用会自动下载权重(约 51GB)并缓存。最小调用示例:
import vera
agent = vera.load("scar-ai/vera-large")
state = "Hi, we were billed twice for March. Please refund the duplicate today."
questions = {"department": {"type": "choice",
"instructions": "Which department should handle this?",
"criteria": {"billing": "invoices, refunds",
"other": "everything else"}}}
result = agent.predict(state, questions)
print(result["answers"]["department"]["choice"]) # billing
print(result["answers"]["department"]["probabilities"]) # 校准概率
如需 HTTP 服务,vera-serve --model scar-ai/vera-large --port 8200 即可暴露 Jev 兼容的 POST /v1/systemone 端点,支持 vLLM 引擎(--engine vllm);vLLM 独立接入的骨干导出与适配代码在 engines/export_backbone.py 和 engines/vera_engine.py。
主要文件速查
- README.md:基准、快速开始、局限、家族说明(本文数据来源)
- config.json / arch.json:架构配置与加载器架构标志
- vera_model.py / vera_schema.py:核心模型与请求/响应 schema
- pipeline_vera.py:transformers 的
decisionpipeline 实现 - tokenizer.json / chat_template.jinja:Qwen3.8 分词器与提示模板
结论:有 80GB 级 GPU 且对准确率敏感,直接上 vera-large;显存有限或先做 POC,vera-core-2 是最经济的起点——同一接口随时可换,这是 vera 家族给选型者留足的最大余地。