爆火决策模型刚被 Ollama 0.35 收编:91ms 出判断、零 API 成本,本地玩转 Jev 同款
爆火决策模型刚被 Ollama 0.35 收编:91ms 出判断、零 API 成本,本地玩转 Jev 同款
2026 年 9 月 29 日,Ollama 0.35 的发布在 AI 工程圈激起不小波澜:它不再只是"又一个支持更多模型的本地推理器",而是首次把 Jev 风格的决策模型正式收编进本地运行时——新增 /v1/systemone 端点,首日即上线三款轻量级决策模型,单次决策中位延迟低至 33ms、典型值 91ms,API 成本直接归零。而这场"路线切换"的主角之一,正是 Bespoke Labs 开源的 Nimble 决策模型:一个基于 Qwen3.5-9B 的 LoRA 适配器,本体只有约 165 MiB。
本文将结合社区实测数据与 Bespoke-Nimble-9B 仓库源码,回答三个问题:Ollama 0.35 到底新增了什么?33ms 和 91ms 是怎么测出来、又为什么能这么快?以及"零 API 成本"对 AI 决策工程究竟意味着什么。
一、先看背景:Jev 为什么能"火出圈"
要理解这次更新的分量,得先理解 Jev 引发的范式争论。Jev 由 OpenAI 前研究员创立的 TypeSafe AI 推出,定位是"System One Model"——摒弃生成能力,专精于多选项概率化判断。它不写作文、不解释、不编故事,只对给定的一组选项输出带置信度的判断。社区基准显示,Jev 端到端响应仅 70–500ms,相比常规大模型推理速度提升约 193.6 倍,输入成本低至每百万 token 0.042 美元,输出 token 永久免费。它用强化学习校准决策(RLCD)来提升概率可信度,支持并行判断、LLM 验收与模型路由。
这套设计戳中了工程界的痛点:大量 AI 决策根本不需要"写作文"。客服工单进来,系统只需要三个答案——这是账单问题还是技术问题?要不要升级?紧急度多高?用前沿大模型回答,每次调用要花钱、延迟可能到秒级,返回的还是一段自由文本,代码还得解析、校验、重试。Jev 及其开源复刻们则把"判断"本身做成了有类型、可直接编程消费的接口。
开源生态跟进极快:Laya(421M、ModernBERT 编码器、单次前向输出多选项概率分布)、Verdict(118M、CPU 亚毫秒级、ECE 校准强)等 8 个开源复刻项目陆续出现。Nimble 是其中基于 Qwen 路线的一员——它不做编码器改造,而是直接微调 Qwen3.5-9B,判断准确率达到 90.12%。而 Ollama 0.35 的收编,相当于给这条路线补上了"最后一公里":把决策模型变成任何人都能本地一键运行的软件。
二、Ollama 0.35 新增了什么:Choice / Noul / Score 三类结构化输出
Ollama 0.35 的核心变化,是通过新的 /v1/systemone 端点支持 Jev 风格决策模型(底层基于 TypeSafe 的 Jev API 语义)。与"发 prompt 等生成"不同,它让你发送一个状态对象 + 一组命名问题,模型在单次请求里返回带类型的答案。首日上线三款模型:
- Nimble:Bespoke Labs 开源的 9B 决策模型,也是这次的主力,在 Apple M5 Max 本地平均每次决策 91ms;
- tev1:Together AI 的 4B 实验模型,从 Qwen3.5 微调而来;
- tev1:0.8b:0.8B 参数的最小版本,面向边缘与极低算力环境。
三个模型除了主决策结果,还会返回每个选项的概率与置信度——应用层直接读取类型化字段,无需解析、无需校验 schema、也不会遇到模型"想解释一下"导致的边界情况。
API 支持三种问题类型,恰好对应决策任务的三种基本形态:
- Choice:从你定义的条件映射里选一个选项(离散分类 / 路由);
- Noul:即 Bernoulli 问题,对一个是非陈述返回 0 到 1 之间的概率(布尔判断);
- Score:把状态放到 2 到 10 级的有序评分标准上(分级打分)。
多个问题可以针对同一状态并行评估——社区文章里明确提到:"问五个问题和问一个问题,耗时差不多。"这一设计与 Nimble 的架构同源:查看 schema_config.json 的训练契约,训练数据中三类任务恰好就是 choice(8080 条)、noul(2412 条)、score(1534 条)三种 kind,评测注册了 bespoke-eval(324 条)与 jevbench-eval(534 条)两套基准。也就是说,Ollama 接口的三类问题类型,与模型训练时对齐的任务形态是一一对应的,不是临时包装。
在 inference.py 的参考实现里,这种映射看得更清楚:字段类型为 boolean 时标记 kind='noul',命中 score_fields 的整数值枚举字段标记 kind='score',其余为普通 choice。noul 结果返回 probability_true,score 结果返回概率加权期望分数:
if row.get("kind") == "score":
result["prediction"] = int(choices[index])
result["expected_score"] = sum(int(v) * p for v, p in zip(choices, probs.tolist()))
三、33ms 与 91ms 是怎么测出来的:从源码看"不生成、只打分"
社区传播最广的两个数字是 33ms 与 91ms,它们其实来自不同环境:
- 91ms(典型值):Ollama 官方在 Apple M5 Max 上本地运行 Nimble(9B),单次决策的平均耗时;
- 33ms(中位数):独立测试在 RTX 5060 Ti 上对多个决策模型实测,中位延迟区间为 33ms–73ms,其中表现最好的模型(也是准确率最高的 Nimble)中位延迟约 33ms。
作为对照:TypeSafe 托管版 Jev API 端到端需要 236–276ms(已含网络时间)。也就是说,本地方案对托管 API 有 3–8 倍的往返时间优势——而且还没算上 API 计费。
为什么能这么快?答案藏在源码的推理路径里。 打开 inference.py,核心函数 candidate_logits 揭示了一切:
def candidate_logits(model, inputs):
logits = model(input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"],
use_cache=False, logits_to_keep=1).logits[:, -1, :].float()
selected = logits.gather(1, inputs["candidate_ids"])
return selected.masked_fill(~inputs["candidate_mask"], -torch.inf)
这里有三层关键设计:
- 不做自回归解码。
logits_to_keep=1表示只计算最后一个位置的 logits——模型把整个上下文一次前向传播读完,直接得到答案位置的输出分布,不需要逐步生成 token。生成式 LLM 的延迟随输出长度线性增长,而决策模型的延迟基本只由输入长度决定,这是 91ms 级延迟的根本原因。 - 候选 token 打分而非全词表采样。
candidate_ids是预先算好的候选答案 token ID(在 parallel_schema.py / extended_schema.py 中,通过"在答案边界追加候选码并校验其确为单个普通 token"的方式获得),gather只取这些位置的 logits,非候选位置用-inf屏蔽。整个推断空间被收窄到"选项集合"这一个点上。 - 一次 softmax 出全部分布。
decision_result中probs = scaled_logits.softmax(-1),温度默认 T=1.0(见 temperature_config.json,temperature_fitted: false,官方特别提示不要沿用旧版 checkpoint 的 2.179 校准值)。一次前向即得到所有选项的概率、argmax 预测以及 logits,结果直接是类型化 JSON。
此外,提示词构造也刻意优化了并行性。parallel_schema.py 用 __PARALLEL_FIELD_TARGET__ 占位符渲染整个 chat 模板后 rsplit,得到公共前缀 start 与后缀 end,每个字段的 prompt 只是 start + 字段名 + end——多个字段共享同一段上下文前缀,这对 KV cache 与 prompt cache 极其友好,也正是"多问题并行评估、耗时几乎不增加"的工程基础。每个字段最多支持 255 个选项(≤26 个用 A–Z 单字母编码,更多时用 AA–JT 这类在词表中确为单 token 的大写码,见 serving_schema.py 与 schema_config.json 中的 candidate_codes/candidate_token_ids 完整码本);输入超过 8192 token 时直接拒绝而非截断,保证"有界判断"的契约不被悄悄破坏。
四、零 API 成本对 AI 决策工程意味着什么
"零 API 成本"不是一个营销话术,而是一笔可以算清的账:
- 单价层面:Jev 托管 API 收费约每百万输入 token 0.042 美元、输出免费——已经比主流大模型便宜两个数量级,但本地跑成本仍是绝对的零;
- 业务层面:一个每月处理 4 万张客服工单的创业公司,用前沿大模型做路由判断按 OpenRouter 基准约 115 美元/月,换成本地决策模型是 0 美元。这不是"小幅优化",而是成本结构从线性增长变成固定成本;
- 延迟税层面:每一次托管 API 往返,都是用户可感知的延迟成本。单次 236ms 的 API 调用叠加到高并发决策链路上,意味着排队、超时、重试与降级逻辑;本地 33ms 的决策则把"判断"压到了与正则表达式同一量级的心智模型里。
更深一层,零成本让决策能力的使用方式发生了质变:当单次判断便宜到可以忽略,你就不必再"省着用 AI"。客服工单路由、AI Agent 的模型路由与工具调用安全校验、内容审核的大规模分类打标、意图识别与安全护栏——这些高并发、有边界的判断场景,过去只能靠正则或 prompt 分类器将就,现在可以直接上带概率的模型化判断,且数据完全不出内网,隐私与合规团队的压力也随之释放。
同时也要诚实划出边界。决策模型不是万能钥匙,社区实测与官方文档都指出了它的限制:
- 不生成文本:它做分类、路由、评分、判断,但不会帮你写回复文案。顺的模式是"决策模型做判断,LLM 写回复"的分工;
- 只吃文本:图片、音频、PDF 不能作为输入,状态必须是字符串、字符串数组或键值对;
- 算术与日期是弱项:数字比较、日期判断、对抗性内容上并不可靠,需要靠任务设计规避;
- 选项顺序敏感:独立基准显示重排选项可能改变答案,Jev 翻转率 0–1.9%,部分本地模型更易受影响——有界判断的稳定性需要在实际部署中验证。
知道边界,才知道该把它放在技术栈的哪一层。
五、把 Nimble 跑起来的工程姿势
最后,落到实际开发。从 README.md 与 inference.py 看,Nimble 的加载和打分极简:下载适配器、装依赖、导入 NimbleModel,一个 score(context, schema) 调用即完成判断:
from inference import NimbleModel
model = NimbleModel("nimble-model")
result = model.score(
context="The store accepts returns within 30 days. This item was bought 12 days ago.",
schema={
"eligible": {
"type": "boolean",
"description": "Is this item within the store return window?"
}
},
)
print(result["output"])
print(result["fields"]["eligible"]["probabilities"])
返回结构里既有 output(每个字段的最终预测),也有每个字段的完整 probabilities(逐选项概率)与 logits——score 字段额外带概率加权期望分数,boolean 字段带 probability_true。定义选择类字段用 type="enum" + choices 列表 + description,可选的 choice_descriptions 用于给每个选项补充语义说明;打分字段用整数值枚举(如 ["0", "1", "2"])并放进 score_fields 参数。
值得称道的是这个仓库的工程严谨性:schema_config.json 中通过 prompt_source_sha256 对 candidate_schema.py、parallel_schema.py、extended_schema.py 逐一哈希锁定,serving_config.json 同样校验服务端源码与训练码本的一致性,加载时任何 prompt 构造或候选编码的漂移都会直接报错——保证"训练时怎么问,推理时还怎么问"。训练侧还有完整数据审计:12026 条训练行、8468 个训练组、5370 个训练家族,组件覆盖 contrastive-addition、safety-local、retrieval-classification-local 以及 Banking77、MultiNLI、BoolQ、AG News、DBpedia、TREC 等公开数据集;provenance.json 明确标注 weights_unchanged_from_evaluated_checkpoint: true,发布即评测权重,杜绝"榜单权重和发布权重不一致"的行业陋习。
结语:这次更新发的是信号
Ollama 0.35 表面上新增了一个端点、三款模型,实际上传递了一个更强的信号:AI 技术栈里最有价值的部分,可能什么都不生成,只告诉你的代码下一步该做什么——毫秒级,带一个可置信的概率。
过去两年行业追逐的是更大的模型、更长的上下文、更惊艳的生成;而决策模型这条支线证明,有界判断可以且应该被做成像数据库索引一样的基础设施:小模型、简单 API、几乎可忽略的延迟、零边际成本、数据不出内网。当判断从"每次都要花钱的奢侈调用"变成"本地随手可用的系统组件",路由、审核、护栏、评分这些工程动作的架构假设都会被重写——这就是 91ms 与零成本背后真正的工程意义。