一个引擎两副脑子:两个小补丁,让AI既会秒答又肯深思
一个引擎两副脑子:两个小补丁,让AI既会秒答又肯深思
你有没有被AI急死过?
要么它秒回,但答得离谱;要么它答得挺准,但你得盯着屏幕等上大半分钟。
最近在开源圈被反复讨论的 GEV-26B-Decide,给出了一个很有工程师味道的答案:给AI装两副脑子,但只让它住一间房。
更妙的是,为了省下这间房,作者给推理引擎 vLLM 打了两个补丁,一个 11 行,一个 13 行。今天咱们不聊代码,就聊聊这两个小补丁背后,那些特别值得琢磨的取舍。
一、它到底是个啥?一个会“涂答题卡”的AI
先破个误区:这不是一个陪你聊天的模型。
你给它一道题、几个选项,它不写长篇大论,而是直接给每个选项打一个概率:A 有 72% 可能对,B 有 18%,C 只有 10%。
打个比方,别人考试要写完整解题过程,它直接把答题卡涂了,还顺带告诉你“我对我这个答案有多确定”。
它内部是两套系统,灵感来自人脑:
系统一(直觉):像开了二十年车的老司机,看见前车刹车灯亮,脚已经踩下去了。不用想,一次计算就给答案。
系统二(深思):像你第一次去陌生商场找洗手间,得停下来看导览图、一步步推理。它会把题目在脑子里过一遍,慢慢想。
底层是谷歌 Gemma-4 的 26B 模型,但每次只调用大约 4B 的参数——就像一家几千人的大公司,来一个活儿只叫相关的几个部门开个短会,其他人继续摸鱼。这也是它能跑得快的原因。
二、好戏开场:为什么非得“挤在一个引擎里”
关键就在一个字:显存。
26B 的模型,权重就占了大约 50GB。如果按最省事的思路——“直觉”起一个服务、“深思”再起一个服务,等于把同一份 50GB 装了两遍,直接 100GB 起步。
一张 80GB 的卡,还没开始干活就已经趴下了。别忘了还要留地方放对话缓存(KV cache)、处理并发请求。
这就像一家餐厅,明明只有一间厨房,你非要请两位主厨,各带一套锅碗瓢盆,还得各开一个门脸。
于是作者的思路非常“抠门”:大脑只留一份,直觉做成一副可以随时戴上、随时摘下的眼镜。
这副“眼镜”,行话叫 LoRA。你可以把它理解成贴在原模型旁边的一张小抄——薄薄一层参数,贴上就变成“决策专家”,摘下就还原成原汁原味的 Gemma-4。
所以这个项目最硬气的一句话是:深思模式用的就是没动过一个字的原模型,直觉模式只是多贴了一张小抄。 一份权重,靠切换小抄来切换人格。
三、vLLM 为啥一开始不答应?一道门禁,一个暗坑
想法很美好,但推理引擎 vLLM 当场给了两个“不”。
第一道是门禁。
vLLM 对 LoRA 有一条硬规定:模型的词表不能超过 258048 个词。而 Gemma-4 的词表是 262144 个。
就差 4096 个词,直接报错,门都不让进。
为什么会有这条线?因为 LoRA 在输出层要按词表大小开一块显存,词表越大越费显存,引擎干脆画了条线自保。
第一个补丁干的事很朴素:把门槛从 258048 抬到 262144,刚好放 Gemma-4 进门,同时告诉引擎“输出层这一块的 LoRA 请照常处理”。
第二个坑就阴险多了。
Gemma-4 内部有些模块挂着两个“门牌号”,其实是同一个房间。引擎激活小抄时会挨个门牌号走一遍,走到第二个门牌号一看“这屋没东西”,顺手就把刚放进去的小抄给清空了。
结果是什么?
服务正常启动,日志干干净净,请求正常返回,一切看起来都很美好——但小抄其实没生效,答案只是比应该的差了一点点。
这比直接崩溃可怕十倍。崩溃了你会去修;这种“静默降级”,你可能上线三个月都发现不了,只会觉得“这模型好像也就那样”。
第二个补丁只有 13 行:按“物理房间”去重,优先选真正放了东西的那个门牌号。巧的是,这个修复思路来自 vLLM 上游社区的贡献,作者做的是把它回移到自己的版本上。
四、最漂亮的一招:把“决策头”伪装成词表里的 24 个字
这一段是整篇里最像“魔术”的地方,值得单独说说。
本来,这个模型的决策头就是一个 24 格的小打分器:是/否两格、0 到 5 分六格、A 到 P 十六格选项。问题在于,vLLM 的 LoRA 只认标准层,不认识这个“外挂小脑袋”。
常规做法是改引擎,加一堆新逻辑。但作者选了一条更轻的路:不改造引擎,让这个小脑袋“长得像”输出层。
具体怎么长?把 24 个格子对应到词表里 24 个固定字符上。于是模型“说出”这 24 个字符的概率,正好等于它给每个选项打的分;再加一点点偏置、按题型做温度校准,概率就齐活了。
这一招的漂亮之处在于“不打扰”:小抄没贴上时,输出和原模型完全一致。所以深思模式一点没被污染,两个系统真正做到了井水不犯河水。
代价也有:服务端必须把返回概率的上限调大,否则选项一多就会被截断;如果你自己直接调接口,还得手动把采样参数还原成“不裁剪”的状态——默认设置会把概率悄悄掐掉一截。这类“默认值陷阱”,往往是工程落地时最耗时间的地方,比写代码累多了。
五、省下来的显存,是用什么换的?三道取舍
天下没有白吃的午餐,这份账单作者写得挺坦诚。
第一道:共享引擎,就等于共享排队。
急事和慢事挤在同一条队里。浏览器点击那种 45 毫秒就要答案的活儿,和一道要思考 30 秒的数学题,用的是同一张卡。更直观的例子是:开启“投机解码”能让深思快 1.8 到 1.9 倍,但 64 个并发下,直觉决策的吞吐会从每秒 257 次掉到 140 次。
想两头都要?难。这就是典型的“按下葫芦浮起瓢”。
第二道:打补丁,就等于绑版本。
这套方案是跟着 2026 年 9 月的 vLLM 开发版调出来的。上游一升级,补丁可能就得重新验证一遍。作者自己也把这条写进了限制说明里。
这也是所有“魔改派”的共同宿命:你跑得比别人快,但你也得一直盯着别人的更新。
第三道:概率要原汁原味,配置就得让路。
为了保证每个选项的概率不被偷偷截断,服务启动参数得固定放开一堆限制。自由度换准确度,很公平。
六、那到底值不值?看疗效
先看速度:一张 B200 上,单次直觉决策的中位数是 45 毫秒。人眨一次眼大约 100 到 400 毫秒——也就是说,你眼睛还没眨完,它已经做完判断了。64 个并发下,每秒能出 257 个决策。
再看“该想才想”有多克制:
- 扫雷找安全格:直觉 21%,自适应思考后 86%
- Wordle 猜词:52% 直接干到 100%
- 四子棋:54% 到 99.5%
- 数独:76% 到 99.5%
更关键的是它不瞎想。GSM8K 那种小学数学题,只有 5% 的题目触发了思考;而 Wordle 有 98% 的题都老老实实想了。省下来的时间,全是真金白银。
考试类基准也一样:GPQA 从 42.9 涨到 78.6,MMLU-Pro 从 65 涨到 84.6,综合决策指数从 58.02 提到 62.48。
真干活也不含糊:让它在真实浏览器里点按钮,60 个多步骤任务完成了 95%,每次点击约 85 毫秒;换成机械臂抓方块,一次决策 61 毫秒。
但反面的例子同样清楚:
- 银行客服意图分类,思考后反而从 88 掉到 85——想太多,把本来对的改错了
- 专家级难题(HLE)依然接近瞎猜,思考只是把它拉回“掷骰子水平”
- 下象棋,两道题里就有一道的思考撞满字数上限,棋力却没长进
- 最慢的时候,一道题要等 33 秒
这份“成绩单 + 病历本”一起交出来的态度,在开源圈其实挺少见。
七、普通人能上手吗?说点实在的
老实讲,这不是那种装在你笔记本上陪你聊天的模型。
官方给的配置是:单张 80GB 显卡起步,跑的是全精度版本。这个门槛,基本把普通玩家挡在门外了。
不过社区里流传着一个 4bit 量化版,把权重压到 17GB 左右,一张 24GB 的消费级显卡就能跑起来——那是另一个仓库的活儿,量化本身也有自己的精度账要算,别指望完全无损。
那它适合谁?
- 做自动化点击、网页操作 Agent 的团队:85 毫秒一步,成功率还高,这性价比很难拒绝
- 做意图分类、工单路由、客服分流的团队:分类这种活儿根本不需要思考,直觉模式又快又稳
- 做机器人视觉决策的研究者:零机器人数据训练,却能对着摄像头图判断左右上下
- 以及,喜欢看“别人怎么做工程取舍”的技术发烧友
不适合谁?想要一个中文写作搭子的,以及所有需要高 stakes 决策还不想加人工复核的场景——官方自己都写了,英文为主,别裸奔上生产。
八、写在最后
这次真正值得看的,其实不是又一个榜单分数。
而是那种很“工地”的解题姿势:改不动模型,就去改引擎的边界;与其多加载一份 50GB 的权重,不如打两个十几行的小补丁。
它不优雅,但它省下了半张显卡;它有代价,但代价被清清楚楚写在了说明书里。
开源项目最动人的地方,往往不是它有多强,而是它愿意告诉你:我在哪儿偷了懒,我又在哪儿付了账。
最后抛个问题给你:
如果只能二选一,你愿意要一个“永远 45 毫秒但偶尔答错”的直觉派,还是一个“等半分钟但更靠谱”的深思派?
或者你更贪心一点——觉得AI就该先自己掂量一下,拿不准再想?
评论区聊聊你的选择。