Jev 大陆用不了?开源平替 Kev 杀疯了:一张 RTX 3090 就能免费跑通

原创2026-10-19 17:22:272,254 阅读
文章标签:人工智能大模型机器学习深度学习微调LoRA本地部署模型推理服务模型评测

Jev 大陆用不了?开源平替 Kev 杀疯了:一张 RTX 3090 就能免费跑通

最近 AI 圈有个词悄悄火了:决策模型。

它出自一家叫 TypeSafe 的公司,产品名叫 Jev,专门帮 AI 程序干"判断题、选择题、打分题"这类活,比如"这条工单该不该升级""这句话是骂人还是客气话"。不少做 Agent 的开发者对它赞不绝口,因为它快、稳、还不瞎编。

但中国开发者一查,发现三个扎心的事实:Jev 是闭源的、按量收费的,而且在大陆根本访问不了。

就在这个节骨眼上,一个开源项目 Kev 横空出世,直接冲上了热搜。外媒的报道标题很直白:TypeSafe 的 Jev 有了开源克隆版,免费就能在自己的显卡上跑,一张 RTX 3090 级别的游戏卡就够。

今天就把这件事给你掰扯清楚。

一、Jev 是个啥?Kev 又是啥?

先说 Jev。咱们平时用的大模型是"写作文的"——你问它问题,它一段话一段话往外蹦,蹦什么全凭概率,有时还会一本正经地胡说八道。

Jev 反着来。它不写文章,只做判断。你把一段内容丢给它,再给它几个"带选项的问题",比如:

  • "这条投诉要不要立刻转人工?"(是 / 否)
  • "该归哪个部门管?"(退货 / 物流 / 账单)
  • "客户现在有多火?"(平静 / 烦躁 / 暴怒)

它一口气全部答完,而且每个答案都附带一个概率:归"退货"的概率 47%,归"物流"28%……

打个比方:普通大模型像一个即兴演讲口才极好的学生,Jev 则像一位只打勾、只评分的阅卷老师——不废话,不给模糊答案,每道题还给一个把握度。阅卷老师最有用的地方就在这:把握度低于 80 分的题,直接转给人工复核,80 分以上的放心自动处理。

Kev 就是这位"阅卷老师"的开源平替。它由 React 生态著名开源大佬 Jared Palmer 打造(就是那个把 React Router 做到人手一份的人),基于开源的 Qwen 底座训练,接口和 Jev 完全一致——原来调用 Jev 的代码,把地址改成你自己电脑上的 Kev,一行都不用改。

更关键的是,它用的是 Apache 2.0 协议:软件全免费,商用也免费,代码和模型权重随便用。你唯一要付的,是电费。

二、到底有多牛?三个地方让人直呼"狠"

1. 门槛低到离谱:从笔记本到 3090,全家桶随便挑

Kev 一次发布了四个尺寸,全是"一人之力"就能伺候的级别:

  • Kev-0.8B:4GB 显存的显卡甚至老笔记本就能跑;
  • Kev-4B:24GB 显卡,RTX 3090、4090 正好;
  • Kev-9B:同样 24GB 显卡就能装下;
  • Kev-27B:需要一张 80GB 的大卡,精度最顶。

对比一下 Jev:那是人家机房里的云端服务,你碰都碰不到,还得按调用付费。Kev 最大的卖点就是把"云端才能享受的东西"搬回了你的桌子上。苹果 Mac 用户也别羡慕,它同样支持 Apple Silicon,32GB 内存的 Mac 就能跑 4B 版本。

2. 精度真的能打:27B 版和 Jev 只差一口气

别以为免费平替就是"能跑就行"。项目方专门用一堆Kev 从没见过的新数据集做了盲测(就是防止自己开卷考试):

  • Jev 的准确率 85.7%;
  • Kev-27B 做到 85.1%,几乎追平;
  • 更便宜的 Kev-4B 也有 81.7%,只落后 4 个点。

速度方面更夸张:Kev-4B 在顶级显卡上回答一短文的 6 个问题,模型计算时间只要十几毫秒。什么概念?比眨一下眼快多了,工单系统这种高并发场景根本不会成为瓶颈。

Kev 的在线实验界面:贴一段投诉工单,五个问题一次问完,每个选项都给出概率

上面这张图就是 Kev 的"玩具房"(Playground)界面。左边贴着一段真实的客服投诉——"鞋晚到了两周、尺码还不对,卡里还被扣了两笔钱";右边 670 毫秒内,六个问题全部给出答案:归"退货组"的概率 91%,"需要退款"0.53,"客户情绪:烦躁"……每一道题都是概率条,一目了然。

3. 最骚的操作:拿它下国际象棋

项目组还放了一个彩蛋玩法:把国际象棋棋盘扔给它,"怎么走"是一道选择题,"谁占优"是一道打分题。

Kev 下棋演示:28 个合法走法变成 28 个选项,模型给出概率分布

你看右侧:28 个合法走法各带一个概率,它挑了 Nx d5(0.68);下方还顺手评估了局面"白棋稍好"(2.02 分)。它其实没学过下棋,纯粹靠"选择题"的通用能力硬解——这恰恰说明决策模型的能力边界比你想的宽。

Kev 家族与 Jev 的精度对比:多数场景 27B 版已追平

三、为什么中国开发者对它格外上头?

翻了翻国内社区的讨论(CSDN 上已经有人写了从入门到实战的系列长文),大家对 Kev 的兴趣可以归结成三句话:

第一,Jev 在大陆不可用。 云端 API 连不上,是硬伤,没得商量。

第二,Jev 闭源,你没法"喂它业务知识"。 你的分类规则、你的行业黑话、你的客服话术,Jev 一概不学。而 Kev 是开源可微调的——社区实测,用约 1000 条自己的工单标签微调一次 Kev-4B,准确率从 67.7% 提到 73.6%,能自动处理的决策比例从 34% 涨到 48%,一次训练成本大约 1 美元。

第三,接口是"即插即用"的。 团队已经在用 Jev 的,只要把服务地址从云端切到自建服务器,业务代码零改动,迁移成本几乎为零。

简单说:Jev 是"租来的裁判",Kev 是"能带回家的裁判",而且还能按你家的规矩重新培训。

四、普通人怎么上手?门槛高不高?

分三档,各取所需:

尝鲜党:打开 Hugging Face 上现成的网页版 Demo,浏览器里直接玩,什么都不用装。

发烧友:有 3090/4090 的,把仓库拉到本地,装好环境,一条命令就能把 Kev-4B 跑起来。之后它就是个本地的小服务,工单、审核、分类,随便造。这里提醒一句小坑:包管理器里搜"kev"出来的那个同名小软件是八百年前的老古董,跟这个项目没关系,认准开源仓库就行。

想省事的开发者:也可以不折腾本地硬件,用云上 GPU 平台一条命令部署成你自己的专属接口,没人用的时候自动关机,不花钱。

所以它适合谁?做智能客服、内容审核、工单分发的团队;给自己 Agent 加"判断力"的开发者;以及所有想免费研究"决策模型"这条新赛道的人。普通吃瓜群众呢?记住一个概念就够了——大模型正在分家,"会说话的"和"会做判断的"是两种东西,后者才是未来企业级 AI 里真正干活的那批。

五、写在最后

Jev 的出现,让"让 AI 做判断"第一次变得又便宜又快;而 Kev 的出现,则把这件事变成了免费、开放、人人可训的公共能力。

从"用不起、连不上"到"一张游戏卡就能跑通",中间只隔了一个开源社区。这大概也是开源最浪漫的地方:它永远会把昂贵的东西,变成免费的。

最后抛个问题给大家:如果 AI 从"陪你聊天"进化成"替你做判断",你最希望它先替你判断什么事? 是帮你分拣每天 999+ 的邮件,还是审核你写的每条动态?评论区聊聊。

登录后查看全文
kev