OpenThai-SystemOne vs Jev vs Nimble:3款System One决策模型终极对比,小模型在泰语场景能赢多少

原创2026-11-13 22:17:021,378 阅读
文章标签:人工智能大模型NLP微调本地部署Qwen

OpenThai-SystemOne vs Jev vs Nimble:3款System One决策模型终极对比,小模型在泰语场景能赢多少

OpenThai-SystemOne 是一款开源的泰语+英语 System One 决策模型(0.8B、Apache-2.0),与 TypeSafe 的 Jev、Bespoke Labs 的 Nimble-9B 同台竞技:单次前向推理即返回校准概率,不做文本生成。本次实测显示——在 13 个公开基准上它几乎追平 9B 模型,而在泰语场景中以 0.8B 的体量直接领先 Nimble-9B。下面用数据拆解"小模型到底能赢多少"。

一、先搞懂:System One 决策模型是什么?

传统大模型"生成文本再让你猜",而 System One 决策模型走的是另一条路:直接输出概率。你给它一个"状态"(任意文本或 JSON)和若干带类型的"问题",它一次前向计算就返回每个选项的概率与置信度。

三种问题类型覆盖绝大多数判断场景:

类型 输入 输出
choice 指令 + 最多 255 个选项 选中项、概率分布、置信度
score 指令 + 2~10 个有序等级 概率加权分数(可为小数)
noul 是/否问题 p(是)

典型用途:工单路由、内容审核、意图识别、RAG 相关性判断,以及 computer-use / 浏览器 Agent 的动作选择(点哪个元素、调哪个工具)。

OpenThai-SystemOne 泰语决策模型真实输出演示图

二、选手档案:3 款模型 + 1 个陪跑

模型 出品方 规模 开放性 一句话定位
OpenThai-SystemOne iApp Technology / OpenThai 0.8B ✅ 开源 Apache-2.0,权重+代码全公开 泰语专精的"快枪手",基于 Qwen3.5-0.8B 持续预训练约 50 亿泰语 token
Jev TypeSafe AI 未公开 ❌ 闭源商业 System One 品类的定义者,OpenThai 的请求/响应契约正是对齐它的 POST /v1/systemone
Nimble-9B Bespoke Labs 9B ❌ 闭源 体量最大,公开基准成绩稳定
Tev1 0.8B / 4B(Together AI,陪跑) Together AI 0.8B / 4B 部分开源 用于横向参照同体量模型

OpenThai-SystemOne 的核心改造在 modeling.py:把 Qwen3.5-0.8B 的 24.8 万词表 LM head 替换为 256 路 SlotHead,选项用控制 token <|ts_opt_0|> … <|ts_opt_254|> 引入,第 255 槽位专门留给"弃权"(abstain,即"以上选项都不合适")——这也是它相对 Jev 的一个扩展点。

三、公开基准对决:0.8B 追平 9B 有多接近?

三者用完全相同的 13 个子集、相同的切分与采样方式实测(choice/noul 报准确率,score 报精确等级匹配):

子集 类型 OpenThai 0.8B Nimble-9B Jev 1.13.0
paws noul 94.0 82.8 89.2
squad2 noul 89.3 80.6 82.9
multinli choice 89.0 85.3 82.9
massive-en-US choice 88.3 86.9 87.4
massive-de-DE choice 88.3 83.4 86.9
aegis2 noul 83.2 81.2 80.4
boolq noul 79.7 86.0 89.7
civil_comments noul 79.0 70.3 81.0
helpsteer2 score 41.6 39.0 34.1
宏平均 74.3 74.8 76.0

解读:

  • 🏁 宏平均 74.3 vs 74.8,0.8B 与 9B 的差距只有 0.5 分;
  • 13 个子集中 OpenThai 在 4 个上反超 Nimble-9B(NLI、毒性检测、摘要一致性、helpfulness 打分);
  • 但在阅读理解类是/否任务(boolq 79.7 vs 89.7)、PubMedQA 三方选择(64.0 vs 77.2)上仍明显落后 Jev——这正是"小模型的天花板"。

参照系:Bespoke 官方数据中原始 Qwen3.5-0.8B 仅 45.4 分,泰语 CPT + 决策头改造直接拉升近 30 分。

四、主场作战:泰语评测数据才是胜负手

公开基准以英文为主,而 OpenThai 的设计目标就是泰语。以下泰语留出集从未参与训练:

泰语评测集 类型 样本量 准确率 ECE
Prachathai67k 新闻主题 choice 3501 98.1 0.004
MASSIVE-th 意图(60 类) choice 5007 90.0 0.043
SIB-200 泰语主题(7 类,整库留出) choice 204 77.9 0.084
XNLI-th choice 2490 77.1 0.045
Wongnai 点评星级(1-5) score 6203 63.5 0.039
Wisesight 社交情感(最弱集) choice 2671 51.6 0.353

同批次还有一条英文亮点:xLAM 工具选择 884 条 99.4%(F1 0.986),说明 Agent 动作选择这种场景小模型非常够用。

更有说服力的是 Ollama 通道下的横向对比(同一批记录、同一 0.35 版 /v1/systemone 接口):

模型 泰语 8 集宏平均 延迟(1 问 / 3 问)
OpenThai 0.8B(Q8_0) 82.5 23 / 136 ms
Nimble 9B 78.3 69 / 392 ms
Tev1 4B 75.4 66 / 406 ms
Tev1 0.8B 62.7 22 / 102 ms

结论清晰:泰语场景下,0.8B 的 OpenThai 不仅赢过同量级,还反超 4B 和 9B 模型 4~10 分,延迟却是 Nimble-9B 的 1/3。 分集来看,Prachathai 主题 97.8 vs 61.5、Wongnai 评分 64.0 vs 52.1(Nimble),优势相当悬殊。

五、部署与速度:40ms 一次决策意味着什么

  • H100 上单次决策约 40~48 ms(单问题含 255 个选项);MacBook M3 Max 上 3 问题泰语工单约 154 ms;
  • 输出 token 数为 0——不生成任何文本,延迟天然稳定;
  • 本地部署零门槛,Ollama ≥ 0.35 即可:
ollama pull iapp/openthai-systemone

请求/响应契约与 TypeSafe 完全对齐(见 types.py),原本写给 Jev SDK 的代码可以不改指向 OpenThai。仓库内置远端代码加载,trust_remote_code=True 即可跑;也提供 config.json 中的完整模型结构(24 层、262k 上下文、bfloat16)。

六、诚实说缺点:小模型的边界在哪

官方 README 难得地保留了真实翻车案例,这也是它值得信任的原因:

  • 5 级细粒度评分是重灾区:summeval-relevance 仅 21.7(Jev 35.0)、helpsteer2 41.6,且 score 头校准偏差大;
  • 英文校准弱于泰语(中位 ECE 0.15 vs ≤0.05),训练数据刻意泰语为主;
  • 77 路近义意图(banking77)45.4、泰语社交情感(wisesight)51.6 仍是短板,可用 order_invariant 模式缓解选项顺序偏差(banking77 可拉到 63+);
  • 不是推理模型,不做多步验证与算术;
  • 官方建议:看 confidence 字段,低置信度案件路由给大模型或人工。

Siam AI 提供的 H100 GPU 训练算力支撑开源泰语决策模型

七、选型建议:三个模型怎么选?

你的场景 推荐
泰语业务(客服、审核、意图、主题),要低成本高并发 ✅ OpenThai-SystemOne,本地 Ollama 即可跑
英文为主、任务涉及深度阅读理解/长文摘要评分 Jev 或 Nimble-9B
已有 TypeSafe SDK 代码、想换本地开源方案 OpenThai——契约 1:1 兼容,直接切
Agent 工具选择、UI 元素点击(computer-use) OpenThai 或 Tev1 0.8B,速度优先

一句话总结:要泰语、要快、要便宜,选 OpenThai;要英文上限,选 Jev/Nimble。

八、快速上手:项目结构一览

OpenThai-SystemOne 证明了 System One 品类的一个新可能:决策类任务不需要"更大的脑",需要的是"更对的训练"。

登录后查看全文
OpenThai-SystemOne