上线两天近 800 星,最近一小时还在加速:这个小团队把“调优老手的手感”写进了一份技能包
上线两天近 800 星,最近一小时还在加速:这个小团队把“调优老手的手感”写进了一份技能包
在大模型圈子里,有一件很反常识的事:同一个模型、同一张显卡,换个人来跑,速度能差两三倍。
不是模型变聪明了,也不是显卡换了,纯粹是“会不会调”。
以前这门手艺基本靠口口相传:老手盯着风扇声、摸一摸机器烫不烫、看一眼论坛上抄来的启动参数,改一个数字,跑一遍,感觉快了,就这么定了。至于到底是真快了,还是机器刚好凉快了一点——没人说得清。
最近有个叫 inference-optimisation 的开源项目,干的就是把这件事从“玄学”变成“流程”。它上线两天就攒到近 800 颗星,而且更反常的是:第二个 24 小时涨得比第一个还猛,到现在已经破千星、八十多个 fork,评论区还在往上滚。
一个新项目通常是第一天冲高、第二天回落。它反着来,说明这不是“看一眼觉得有意思”,而是真的有人回去把它用上了,然后又拉人来用。
一、它到底交付了什么?说出来有点意外:不是软件
很多人第一反应会以为这是个加速工具,装上就能让模型变快。
不是。
它更像一份装订整齐的老师傅笔记:一份总的操作流程,五份随时翻查的参考手册(怎么算速度上限、怎么避免测量出错、有哪些可调的开关、各家引擎和显卡的坑、怎么把成果发布出去),外加四个不挑引擎的小工具——一个测速器、一个算上限的计算器、一个防止两个任务抢显卡的排队器、一个专门看“显存到底吃了多少”的探针。
你把这一整套丢给 Claude Code 这类 AI 编程助手,它就会从一个“会写代码的实习生”,变成一个有耐心、有纪律、会记账的调优师傅。
你不用跟它说“帮我调快一点”,你可以直接说:把这台机器上这个模型的速度榨一榨,显存不能超过 46G,长文本必须稳。
然后它自己开工。
二、第一件事不是调,是先告诉你“最多能多快”
这是整套东西里最狠的一招,也是最反直觉的一招:动手之前,先把物理上限算出来。
道理特别朴素:模型每吐一个字,都得把一大堆数据从显存里搬一遍。搬运速度是有物理上限的,就像水管粗细决定了最大流量。把“每吐一个字要搬多少数据”除以“这台机器的实测搬运速度”,就能算出一个天花板——这台机器上,这个模型最快大概能跑多少。
算出来之后再干活,意义完全不同。
举个例子:有人在英特尔 Arc B390 笔记本核显上折腾一个 35B 的模型,一开始是每秒 43.6 个字,目标定的是 100。按老办法,就是一路试参数,试到放弃为止。
但先算天花板会发现:100 这个数字,只有在“投机解码”能一次猜对两个词的前提下才成立,而这个模型自带的猜测模块,猜第二个词时命中率只有 14%。所以现实一点的目标是 88 到 97。
最后它跑到了 53,也就是理论天花板的 55%,剩下的差距是底层计算效率的问题,不是参数没调对。
这个区别很重要:一个是“我怎么这么菜,怎么调都到不了 100”,一个是“我已经拿到该拿的,剩下的是另一个工种的事”。
少掉的是无意义的自我怀疑和通宵。
三、第二件事:所有“变快了”,都要先过一遍“是不是错觉”
调优圈有句不太好听但很真实的话:大部分所谓的性能提升,都是测量误差。
这个项目把这句话写成了铁律,而且给的数据特别扎心:
同一个配置,隔一个小时再测,能从 53.8 掉到 49.5;笔记本插着电和用电池,能差 8% 到 10%;后台哪怕只是开了个稍微忙的程序,显卡速度能从 107 掉到 75。
所以你看到的那些“一键提速 40%”的教程,很多只是刚好在机器最凉快的时候测了一次。
它的应对办法笨但有效:
每次只改一个东西。 改两个,你就永远不知道是哪个起了作用。
对照实验要“夹心”。 先测旧配置,再测新配置,再测一遍旧配置。新的必须赢过前后两个旧数据,才算赢。只跟一次旧数据比,不算。
同一个配置至少测六遍,取中位数。 不看最好那一次,看中间那一次。
全程记账。 每一次尝试、每一个数字、为什么通过、为什么被否,都写进一份记录里。包括失败的那些。
最后这条最有意思:这份笔记里最值钱的部分,不是成功清单,是失败清单。
四、战绩有多硬?笔记本核显和四张 H200 都在名单上
不看概念,看数字。项目里列出的都是带硬件型号、带测量方法的实测:
一台英特尔 Arc B390 核显笔记本(64G 统一内存):单用户从每秒 43.6 字提到 53 字,四个人同时用从 84.7 提到 103;读 25 万字长文档的预处理速度从 297 提到 628,翻了一倍多;能同时撑住的满长度对话从 1 路扩到 4 路;开机启动从 113 秒压到 43 秒。
一张英特尔 Arc Pro B70 专业卡:跑 27B 模型,单用户每秒 91.2 字,16 个人同时用能到 365。同一张卡换另一套常见方案,只有 25。差距接近四倍。
一张 RTX 3090:跑同一个模型,写散文每秒 96 字,写代码能到 141 字。写代码更快不奇怪——代码规律性强,“猜下一个词”更容易猜中。
四张 H200:这个最戏剧性。之前的状态是“一上负载就崩”,调完之后稳定跑到每秒 229 字,长文档预处理每秒 17546 字,六项验收全过。
还有一个特别值得说的细节:有一次测出每秒 117 字的“逆天成绩”,团队回头一查,发现是模型卡进了死循环,在不停地输出“1. 2. 3. 4.”的编号列表。数字好看,内容是废话。
所以这套流程里有一条硬规定:任何“最快记录”,都必须同时通过长文档找针测试——在几万字的文档里藏三个随机码,让模型原样找出来。找不出来,速度再快也不算数。
五、为什么第二个 24 小时比第一个更陡?
这才是这次最值得琢磨的地方。
第一,今年“技能包”成了 AI 圈的基础设施。 以前想让 AI 助手干专业活,得写一大堆提示词,还得反复纠正。现在大家慢慢接受了一种更省事的方式:把专业流程写成一个文件夹,AI 需要时自己翻。写一次,之后每次都能用。这类项目的关注度今年整体在往上走。
第二,本地跑模型的人突然变多了。 一方面是显卡贵、云服务按量计费肉疼;另一方面是消费级硬件真的能跑了——连笔记本核显都能跑 35B 的模型,这在两年前不可想象。人一多,“怎么调快”就从极客玩具变成了普遍需求。
第三,也是最关键的:大家被“玄学调参”坑够了。 论坛上抄来的参数,换张卡就失效;教程里的“提升 50%”,自己一测根本没有;调了半天不知道有没有用,也不知道什么时候该停。这个项目解决的其实不是技术问题,是信任问题——它让每一个数字都能被追问“你怎么测的”。
所以第一波是“收藏一下,看着挺专业”,第二波是“我照着跑了一遍,真省了我两天”。
星标的曲线,本质上是从“感兴趣”到“真管用”的转化曲线。
而且它自己也在被检验。项目开出来没几天,就有人在 issue 里挑出了实打实的毛病:算上限的小工具在多人并发时把并发数算了两遍,导致四用户的上限被高估了四倍;排队脚本用了一个 Mac 上根本没有的命令,苹果用户直接报错。提出的人连改法都写好了。
这种“刚发出来就有人拿着放大镜看”的状态,恰恰是一个项目开始被认真对待的信号。
六、普通人用得上吗?门槛在哪,怎么"蹭"到好处
先说清楚:这东西不是给完全不懂技术的人一键安装的。它要求你机器上已经有个跑起来的模型服务,然后才能去测、去调。纯小白装不上。
但它的价值远不止“能跑起来的人”这么多。就算你一行都不执行,光是翻它的失败清单,就能躲掉一堆坑:
投机解码不是越多越好。 苹果 M4 上加三个猜测草稿,速度反而从 6.35 掉到 3.25。猜得太猛,验证的成本超过了收益。
量化不是越狠越好。 有一种显存压缩方式,在一个只有少数层需要缓存的模型上,把速度从 45.4 直接砍到 27。
启动慢可能不是模型的问题。 有人加载 27G 权重花了 26 分钟,查出来是文件读取方式的问题,换一种加载策略,几秒钟就好了。
别在笔记本用电池的时候做性能测试。 这一条能省掉无数“为什么我测出来跟别人不一样”的困惑。
对自媒体创作者、做小工具独立开发者、公司里被拉去“搞一下本地部署”的那位同事——这些经验的价值,可能比多买一根内存条还高。
至于真正想用的人,流程也简单得有点朴素:把它放进 AI 助手的技能目录,然后说一句人话,比如“把这台机器上这个模型的速度榨一榨,显存别超过 40G”,剩下的它自己排班、自己测、自己记账、自己判断什么时候该停。
写在最后
这个项目真正打动人的地方,不是那些翻倍的数字,而是它承认了一件很多人不愿意承认的事:
调优不是魔法,是一门需要记账的手艺。
它把“我调快了”拆成了:先算物理上限、一次只改一个变量、夹心对照、至少六次取中位数、长文档验证、失败也要记录。每一步都不聪明,但每一步都在防止你骗自己。
在一个人人都在喊“提效十倍”的年代,愿意花力气证明“这个提升是真的”,反而成了稀缺品。
最后一个问题留给你:你有没有为了“让模型快一点”,通宵改过一堆自己都看不懂的参数?最后到底快了多少,还是只是感觉快了?
评论区聊聊,说不定你的踩坑经历,就是别人明天要走的弯路。