OpenThai-SystemOne vs Jev vs Nimble:3款System One决策模型终极对比,小模型在泰语场景能赢多少
OpenThai-SystemOne vs Jev vs Nimble:3款System One决策模型终极对比,小模型在泰语场景能赢多少
OpenThai-SystemOne 是一款开源的泰语+英语 System One 决策模型(0.8B、Apache-2.0),与 TypeSafe 的 Jev、Bespoke Labs 的 Nimble-9B 同台竞技:单次前向推理即返回校准概率,不做文本生成。本次实测显示——在 13 个公开基准上它几乎追平 9B 模型,而在泰语场景中以 0.8B 的体量直接领先 Nimble-9B。下面用数据拆解"小模型到底能赢多少"。
一、先搞懂:System One 决策模型是什么?
传统大模型"生成文本再让你猜",而 System One 决策模型走的是另一条路:直接输出概率。你给它一个"状态"(任意文本或 JSON)和若干带类型的"问题",它一次前向计算就返回每个选项的概率与置信度。
三种问题类型覆盖绝大多数判断场景:
| 类型 | 输入 | 输出 |
|---|---|---|
choice |
指令 + 最多 255 个选项 | 选中项、概率分布、置信度 |
score |
指令 + 2~10 个有序等级 | 概率加权分数(可为小数) |
noul |
是/否问题 | p(是) |
典型用途:工单路由、内容审核、意图识别、RAG 相关性判断,以及 computer-use / 浏览器 Agent 的动作选择(点哪个元素、调哪个工具)。
二、选手档案:3 款模型 + 1 个陪跑
| 模型 | 出品方 | 规模 | 开放性 | 一句话定位 |
|---|---|---|---|---|
| OpenThai-SystemOne | iApp Technology / OpenThai | 0.8B | ✅ 开源 Apache-2.0,权重+代码全公开 | 泰语专精的"快枪手",基于 Qwen3.5-0.8B 持续预训练约 50 亿泰语 token |
| Jev | TypeSafe AI | 未公开 | ❌ 闭源商业 | System One 品类的定义者,OpenThai 的请求/响应契约正是对齐它的 POST /v1/systemone |
| Nimble-9B | Bespoke Labs | 9B | ❌ 闭源 | 体量最大,公开基准成绩稳定 |
| Tev1 0.8B / 4B(Together AI,陪跑) | Together AI | 0.8B / 4B | 部分开源 | 用于横向参照同体量模型 |
OpenThai-SystemOne 的核心改造在 modeling.py:把 Qwen3.5-0.8B 的 24.8 万词表 LM head 替换为 256 路 SlotHead,选项用控制 token <|ts_opt_0|> … <|ts_opt_254|> 引入,第 255 槽位专门留给"弃权"(abstain,即"以上选项都不合适")——这也是它相对 Jev 的一个扩展点。
三、公开基准对决:0.8B 追平 9B 有多接近?
三者用完全相同的 13 个子集、相同的切分与采样方式实测(choice/noul 报准确率,score 报精确等级匹配):
| 子集 | 类型 | OpenThai 0.8B | Nimble-9B | Jev 1.13.0 |
|---|---|---|---|---|
| paws | noul | 94.0 | 82.8 | 89.2 |
| squad2 | noul | 89.3 | 80.6 | 82.9 |
| multinli | choice | 89.0 | 85.3 | 82.9 |
| massive-en-US | choice | 88.3 | 86.9 | 87.4 |
| massive-de-DE | choice | 88.3 | 83.4 | 86.9 |
| aegis2 | noul | 83.2 | 81.2 | 80.4 |
| boolq | noul | 79.7 | 86.0 | 89.7 |
| civil_comments | noul | 79.0 | 70.3 | 81.0 |
| helpsteer2 | score | 41.6 | 39.0 | 34.1 |
| 宏平均 | 74.3 | 74.8 | 76.0 |
解读:
- 🏁 宏平均 74.3 vs 74.8,0.8B 与 9B 的差距只有 0.5 分;
- 13 个子集中 OpenThai 在 4 个上反超 Nimble-9B(NLI、毒性检测、摘要一致性、helpfulness 打分);
- 但在阅读理解类是/否任务(boolq 79.7 vs 89.7)、PubMedQA 三方选择(64.0 vs 77.2)上仍明显落后 Jev——这正是"小模型的天花板"。
参照系:Bespoke 官方数据中原始 Qwen3.5-0.8B 仅 45.4 分,泰语 CPT + 决策头改造直接拉升近 30 分。
四、主场作战:泰语评测数据才是胜负手
公开基准以英文为主,而 OpenThai 的设计目标就是泰语。以下泰语留出集从未参与训练:
| 泰语评测集 | 类型 | 样本量 | 准确率 | ECE |
|---|---|---|---|---|
| Prachathai67k 新闻主题 | choice | 3501 | 98.1 | 0.004 |
| MASSIVE-th 意图(60 类) | choice | 5007 | 90.0 | 0.043 |
| SIB-200 泰语主题(7 类,整库留出) | choice | 204 | 77.9 | 0.084 |
| XNLI-th | choice | 2490 | 77.1 | 0.045 |
| Wongnai 点评星级(1-5) | score | 6203 | 63.5 | 0.039 |
| Wisesight 社交情感(最弱集) | choice | 2671 | 51.6 | 0.353 |
同批次还有一条英文亮点:xLAM 工具选择 884 条 99.4%(F1 0.986),说明 Agent 动作选择这种场景小模型非常够用。
更有说服力的是 Ollama 通道下的横向对比(同一批记录、同一 0.35 版 /v1/systemone 接口):
| 模型 | 泰语 8 集宏平均 | 延迟(1 问 / 3 问) |
|---|---|---|
| OpenThai 0.8B(Q8_0) | 82.5 | 23 / 136 ms |
| Nimble 9B | 78.3 | 69 / 392 ms |
| Tev1 4B | 75.4 | 66 / 406 ms |
| Tev1 0.8B | 62.7 | 22 / 102 ms |
结论清晰:泰语场景下,0.8B 的 OpenThai 不仅赢过同量级,还反超 4B 和 9B 模型 4~10 分,延迟却是 Nimble-9B 的 1/3。 分集来看,Prachathai 主题 97.8 vs 61.5、Wongnai 评分 64.0 vs 52.1(Nimble),优势相当悬殊。
五、部署与速度:40ms 一次决策意味着什么
- H100 上单次决策约 40~48 ms(单问题含 255 个选项);MacBook M3 Max 上 3 问题泰语工单约 154 ms;
- 输出 token 数为 0——不生成任何文本,延迟天然稳定;
- 本地部署零门槛,Ollama ≥ 0.35 即可:
ollama pull iapp/openthai-systemone
请求/响应契约与 TypeSafe 完全对齐(见 types.py),原本写给 Jev SDK 的代码可以不改指向 OpenThai。仓库内置远端代码加载,trust_remote_code=True 即可跑;也提供 config.json 中的完整模型结构(24 层、262k 上下文、bfloat16)。
六、诚实说缺点:小模型的边界在哪
官方 README 难得地保留了真实翻车案例,这也是它值得信任的原因:
- 5 级细粒度评分是重灾区:summeval-relevance 仅 21.7(Jev 35.0)、helpsteer2 41.6,且 score 头校准偏差大;
- 英文校准弱于泰语(中位 ECE 0.15 vs ≤0.05),训练数据刻意泰语为主;
- 77 路近义意图(banking77)45.4、泰语社交情感(wisesight)51.6 仍是短板,可用
order_invariant模式缓解选项顺序偏差(banking77 可拉到 63+); - 不是推理模型,不做多步验证与算术;
- 官方建议:看
confidence字段,低置信度案件路由给大模型或人工。
七、选型建议:三个模型怎么选?
| 你的场景 | 推荐 |
|---|---|
| 泰语业务(客服、审核、意图、主题),要低成本高并发 | ✅ OpenThai-SystemOne,本地 Ollama 即可跑 |
| 英文为主、任务涉及深度阅读理解/长文摘要评分 | Jev 或 Nimble-9B |
| 已有 TypeSafe SDK 代码、想换本地开源方案 | OpenThai——契约 1:1 兼容,直接切 |
| Agent 工具选择、UI 元素点击(computer-use) | OpenThai 或 Tev1 0.8B,速度优先 |
一句话总结:要泰语、要快、要便宜,选 OpenThai;要英文上限,选 Jev/Nimble。
八、快速上手:项目结构一览
- 模型说明与全部评测数据:README.md
- 模型结构定义:modeling.py(SlotHead、逐类型温度校准)
- 请求类型与契约:types.py
- 控制 token 与序列排布:formatting.py
- 模型配置:configuration.py 与 config.json
- 对话模板:chat_template.jinja
- 本地安装:
pip install openthai-systemone,或git clone https://gitcode.com/hf_mirrors/iapp/OpenThai-SystemOne后直接加载权重
OpenThai-SystemOne 证明了 System One 品类的一个新可能:决策类任务不需要"更大的脑",需要的是"更对的训练"。

