不懂就说不:这个德国开源大模型,靠一场“三人牌局”把AI睁眼说瞎话的毛病砍掉了近3倍

原创2026-10-26 22:44:141,636 阅读
文章标签:大模型基础模型人工智能模型量化

不懂就说不:这个德国开源大模型,靠一场“三人牌局”把AI睁眼说瞎话的毛病砍掉了近3倍

先想象一个特别真实的场景。

你所在的公司花了大价钱,把几百份合同、技术手册、会议纪要喂给AI,做了个内部知识库。上线第一天,同事问:“这份供货合同里,质量异议的期限是几天?”

AI回答得又快又顺:“15个工作日。”

听着挺像那么回事。可你翻遍合同才发现,里面写的是“10个工作日”,AI说的那个数字,是它自己“想当然”编出来的。

更麻烦的是,它编得跟真的似的,语气、格式、条理一应俱全。你没法一眼看出哪句有出处、哪句是胡诌,只能一条条回头核对。这一下午,就没了。

这就是整个AI行业最头疼的“幻觉”。而最近,德国AI公司 Aleph Alpha 开源的一个模型,专门冲着这个毛病下手了。

它叫 Kolibri-1,中文可以叫“蜂鸟”。它的绝活不是更会聊天,而是在该说“我不知道”的时候,真的敢说“我不知道”。

一、先说清楚:它到底是个啥?

Kolibri-1 是一个总参数 781 亿的大模型,采用“混合专家”架构。

翻译成人话:这就像一家有384位专家的公司,每来一个活儿,只叫其中最对口的6位专家上桌,其他人该干嘛干嘛。所以它名义上有781亿参数,真正干活时只动用约34.6亿,能力按大模型的规格配,成本按小模型的账单付。

它还有几个硬指标:

  • 上下文最长可撑到 100万 token,相当于一次读完整套招标文件;
  • 德语、英语双语深度优化,德国公共部门、汽车、航空航天这类客户是它的目标用户;
  • Apache 2.0 协议开源,权重可商用;
  • 支持“思考力度”四档调节,从“直接答”到“往死里想”;
  • 能调用工具,能自己查资料、跑流程。

但如果它只是“又一个大模型”,那没什么好聊的。真正让它出圈的,是训练时用的一套方法——Merlin-Arthur 协议,圈内简称 M/A。

二、为什么说幻觉是“知识库落地”的头号杀手?

这里得说一个行业里不太好意思讲透的事实:现在的AI,是被“鼓励瞎猜”训练出来的。

考试逻辑很简单:空着,0分;蒙一把,好歹有四分之一的概率对。于是模型学会了“无论如何都要给个答案”。

放到知识库里就更要命了。你给它一段资料,它答对了,你觉得它能干;它没找到依据,还是硬答一个,你也看不出来。

有人会说:让它给个出处不就行了?

问题在于,引用是“先有答案、后找依据”。它完全可以顺手摘一句原文里真实存在、但压根不解决这个问题的话,贴在你面前。看着有凭有据,其实是张“合法的假发票”。

所以行业里真正的分水岭不是“答对率90%还是92%”,而是:

一份90分但错的那一条没有任何标记的答卷,和一份90分但明确告诉你“这条我看资料里没写”的答卷,哪个敢真正放到客户面前?

三、它的解法:让三个角色演一场“找茬戏”

Merlin-Arthur 这个名字,来自计算机理论里的“交互式证明”。听着玄,其实特别像职场。

一场戏,三个角色:

Arthur,就是最后要上线的那个模型,也就是“你”。它拿到一个问题,加一份资料,只能做两件事:要么回答,要么说“这份材料回答不了”。

Merlin,是你身边那个靠谱的同事。他把文件里真正关键的那一句留下,把废话、干扰项全划掉,然后递给你,说:“看这段就够了。”

Morgana,是那个专门坑你的同事。她做的事情正好相反——把最关键的那一页抽走,只留下看起来还挺相关的内容,然后笑眯眯地递给你,看你会不会硬着头皮往下编。

关键在于:Arthur 拿到的材料上,没有任何标签告诉他这是谁准备的。

它只能靠自己判断:这份材料,到底是把答案摆在我面前了,还是把答案抽走了?

判断对了,两边都得分;判断错了,两边都扣分。“不管三七二十一先答了再说”这条路,被彻底堵死了。

那谁来决定抽走哪一句?靠的是一套叫 AtMan 的可解释性方法:把资料一句一句地“遮住”,看模型对正确答案的把握掉多少。掉得越多,说明这句越关键。

这就像把一份稿子逐句涂黑,看哪一句一涂掉,整段话就说不通了。

这样一遍扫下来,成本只跟文件长度成正比,不需要穷举天文数字般的组合。Merlin 从“最不重要”那头开始删,Morgana 从“最重要”那头开始删——同一份排名,两头读。

四、实测数据有多直观?

先说最直观的一个分数:接地得分。

这个分数衡量的是“答案里有多少能证明是从你给的资料里来的”。它是保底值,只会低估、不会虚高。

在 SQuAD 这套经典问答测试里:

  • Kolibri-1:23.4
  • 上一代 Kolibri Origin:0.0
  • 对比的某开源 35B 模型:23.0
  • 另外几个同场模型:0.0、0.0、6.3

从 0 到 23.4,不是“稍微好一点”,而是从“完全无法证明”到“能拿出证据”。

再看“该说不知道时,它说了没有”:

  • 在 AA-Omniscience 测试中,不瞎编的比例从 15.0% 提到了 44.0%——差不多是原来的近3倍;
  • 换个角度看,会硬编的比例从约85%降到约56%;
  • 在一项“资料里没有答案时该不该闭嘴”的测试中,克制率从 73.9% 提升到 85.6%;
  • 在专门设计来“钓鱼”的 Honeypot 测试里,80.8 分,而上一代只有 25.3 分。

更有意思的是一个真实案例:德国一条氢气管道的审批卷宗,2万多到3万字的材料,100 道法律判断题,其中 22 道正确答案是“卷宗里没说清楚”。

结果:

  • 用 M/A 训练的模型,22 道里答对了 20 道;
  • 同一个模型、同样的数据,不用 M/A 训练:11 道;
  • 几个更大的前沿模型:16 道、16 道、16 道、6 道。

全部 100 道题里,M/A 模型一共只下了 5 个错误结论;不用这套方法的同款模型,错了 32 个。

这里最值得玩味的一点:这22道题的正确答案,是“无法判断”。一个敢在关键时刻说“卷宗没写”的AI,对律师、医生、审计员来说,价值可能比一个答对率再高两个点的AI大得多。

五、代价是什么?普通人能玩吗?

先把丑话说在前面:这套东西不是给家用电脑准备的。

模型光权重就要 约 78GB 显存,官方给出的最低配置是 2 张 A100 80GB、或者 1 张 H200 / B200。想在自己笔记本上跑,是不现实的。

它的正确打开方式是:企业服务器、私有云、本地机房。好处也很明确——数据不出门,合同、病历、图纸都在自己家里转。

至于训练侧的代价:这套“三人牌局”训练比普通微调贵,每一步大约是多花 3.5 到 4 倍时间。但好消息是,它收敛得快,几百步就见效,属于一次性投入,摊到后面的长期使用上并不夸张。

对国内的开发者和团队来说,更值得抄的可能不是这个78B模型本身,而是这套思路:

你不用去找人标注成千上万条“这题没有答案”的数据,让模型自己把关键证据抽走,就能批量制造“这题确实没法答”的训练样本。

而这恰恰是企业最缺的东西——公开数据集里标好“无解”的题一大把,可你们公司档案室里那堆图纸和合同,没人有空去标。

六、写在最后

这几年我们看大模型,习惯了比分数:谁又高了两分,谁又登顶了榜单。

但真正要把AI放进业务里,问题往往不是“它够不够聪明”,而是“它靠不靠谱,我能不能放心签字”。

一个会说“这份材料里没有”的AI,短期看好像“弱”了一点;长期看,它省下的是人一条条复核的时间,是法务反复确认的成本,是那种“它说得那么肯定,应该没错吧”的侥幸心理。

所以最后想问问你:

如果让你选,你更想要一个答题正确率90%、但错了不告诉你的AI助手,还是一个**正确率85%、但每次没把握都会举手说“这条我查不到”**的AI助手?

评论区聊聊,你被AI“一本正经胡说八道”坑过的经历。

登录后查看全文
Kolibri-1