System 1 与 System 2:把“快思考”做成产品,DeepOpen 踩中了 AI 下半场哪根弦

原创2026-10-24 16:10:031,728 阅读
文章标签:人工智能大模型模型推理服务强化学习NLP

System 1 与 System 2:把“快思考”做成产品,DeepOpen 踩中了 AI 下半场哪根弦

9 月,一家由明星研究员创办的 AI 实验室发布了一个“不写字”的模型,发布会上的关键词是“突破”。

几乎同一时间,技术社区把另一个开源项目翻了出来:同样的思路,人家 2025 年 3 月就发了论文,权重全公开,代码能跑,速度还快好几倍。

Dev.to 评论区点赞最高的一句调侃是:“你是不是时空旅行者?”

玩笑归玩笑,这个叫 DeepOpen 的开源项目,确实问出了一个所有人都该想一想的问题:

我们是不是一直在用最贵的工具,干最便宜的活?

一、先说个扎心的场景

想象一下你公司的客服邮箱。

每天早上涌进来 800 封邮件:有人要退款,有人骂系统崩了,有人问发票抬头怎么改,还有人在钓鱼链接里伪装成你的银行。

这些邮件该分给谁、急不急、这人是不是快被气跑了——这些判断,一天要做上万次。

过去两年,标准答案是什么?接一个大模型。

结果呢?每封邮件等半秒到两秒,模型洋洋洒洒写一段分析,你还得再写个程序,从这段话里把“财务部”三个字抠出来。抠错了,流程就乱了;模型心情好,还会给你编一个不存在的部门。

更麻烦的是钱。按量计费,一天几万次调用,账单会以肉眼可见的速度往上爬。

这就是 DeepOpen 想解决的问题。它不讲故事,只讲一句话:

不是所有 AI 任务都需要“思考”,有些只需要“反应”。

二、它到底是个啥?给 AI 配一条“反射神经”

心理学里有个很出名的说法,叫 System 1 和 System 2。

System 1 是快思考:看到一辆车冲过来,你不用推理,身体先躲了。System 2 是慢思考:算 17×24,你得掏出纸笔,一步一步来。

今天的大模型,基本是 System 2 的怪物——知识渊博、能写会说,但每说一个字都要“想一下再吐一个字”,像老式打字机,一个字一个字往外蹦。

DeepOpen 走的是另一条路:它压根不写字。

你把一段文字丢给它,再问它几个“选择题”,它一次性看完全文,直接给答案,不带一个多余的字。

打个比方:大模型是个刚招进来的名校博士,什么都懂,但你让他去前台判断“这封邮件该转财务还是技术”,他要先跟你分析半小时行业背景。

DeepOpen 更像公司里干了十年的前台大姐——扫一眼信封,就知道该往哪个部门送,还顺口告诉你:“这封挺急的,那个客户语气不对,可能要跑。”

它的回答只有三种姿势,全是大白话:

  • 选一个:这封邮件归哪个部门?(会给出每个选项的概率)
  • 打个分:这个客户有多生气?0 到 3 分。
  • 答是否:这封邮件是不是钓鱼?(给一个 0 到 1 的“是”的概率)

没有长篇文章,没有“综上所述”,没有 JSON 解析,也没有“我编一个部门给你”。

三、它到底有多牛?三个反常识

第一,快得不像 AI

在特斯拉 T4 显卡上实测,它回答一个问题只要 32.8 毫秒。

人眨一次眼,大约 100 到 400 毫秒。也就是说,你眼睛还没闭上,它已经答完了。

如果一次问 10 个问题,总耗时 72.3 毫秒,平均一题 7.2 毫秒;一次问 50 个,平均一题 6.8 毫秒。单张 T4 每秒能处理 100 到 300 多个问题。

作为对照,同赛道的商业产品 Jev,第三方实测的单次响应在 236 到 276 毫秒之间。差了大约 6 到 7 倍。

这个差距在实验室里叫“性能”,在业务里叫“能不能扛住早高峰”。

第二,它不会“编”,因为它没机会编

大模型最让人头疼的毛病是幻觉——一本正经地胡说八道。

DeepOpen 从设计上就把这条路堵死了:它不生成任何文字,只输出你事先定义好的选项和概率。

就像考试只出选择题,它连“自由发挥”的答题卡都没有。你想让它编,它也没地方写。

这对企业来说意味着什么?意味着后面那套“解析、校验、兜底、重试”的工程代码,可以少写一大半。

第三,它说“八成把握”,就真是八成

这一点最容易被忽略,但可能是最值钱的。

大模型也会说“置信度 0.95”,但那只是它在预测“什么样的词听起来比较自信”,背后没有任何数学保证。它可以在完全不懂的时候,依然信心爆棚。

DeepOpen 的概率是用一套叫 RLCD 的强化学习方法训出来的,核心思路很朴素:只有当你报出的概率接近真实情况时,才给你最高奖励。

翻译成人话:说“我有 90% 把握”然后答对,奖励最高;说“我有 90% 把握”结果答错,罚得最狠;老老实实说“我只有 60% 把握”,反而不会被亏待。

训练之后,它的“校准误差”从 0.466 降到 0.081,而 Jev 公开的数据是 0.246(这个数字越低越好)。

这有什么用?用处大了。

你可以直接在产品里写一条规则:把握超过 85% 的,系统自动处理;低于 85% 的,转人工。

实测下来,只让它回答最有把握的那 50% 的请求,准确率能到 92.2%。剩下的一半交给真人——这不是“AI 替代人”,这是“AI 先把简单的活干掉,把难的留给人”。

速度、准确率、语言覆盖与校准度对比

四、最见功力的一招:先看“这是哪国字”,再决定派谁上

这个故事,普通读者听着可能最有共鸣。

DeepOpen 有三个模型:一个专攻英文,一个通吃 100 多种语言,一个专做结构化决策。

问题来了:如果一个高棉语的工单,被丢给了英文模型,会发生什么?

答案是:准确率 0%,但它会告诉你“我有 95.2% 的把握”。

这就是 AI 最可怕的样子——不是不会,而是不会还以为自己会。而且这种情况下,你设再高的“置信度门槛”都没用,因为它压根不会触发警报。

所以 DeepOpen 干了一件很“笨”但很聪明的事:在模型动脑子之前,先检查这是哪国文字。

这个检测模块是纯 Python 写的,不依赖任何第三方库,跑一次不到 1 毫秒。它先看字符长什么样——是拉丁字母、汉字、天城文还是高棉文,再决定把活派给哪个模型。

效果很直接:51 种语言里,纯英文模型只有 23 种能打,加上路由之后,45 种都能用了。13 种非英文语言的意图识别准确率,从 0.306 拉到 0.451。

当然,工程上也有坑。项目文档里写得很实在:如果没做“预加载”,流量在几种语言之间来回切,模型每次都要重新装载,CPU 上要等 7 秒多,显卡上要等 10 秒。33 毫秒的性能,会被这 10 秒吃得一干二净。

解决办法也很简单:上线前把模型常驻内存。预加载之后,语言切换只剩下不到 1 毫秒的检测开销。

这种“把丑话说在前面”的文档,在开源项目里其实不多见。

五、能拿来干嘛?四个马上能用的场景

项目里直接内置了几套“现成的问题模板”,不用从零设计:

客服工单分诊:这条消息想要什么(退款/报障/问价/取消)、急不急、客户有多烦、有没有流失风险,一次全给你。

大模型安全防护:用户这句话是不是在试图“越狱”、是不是提示词注入、有没有夹带敏感信息。相当于给你的 AI 应用门口加了个保安。

内容审核:有没有毒性、有没有针对某个人的骚扰、有没有威胁。

给大模型当“分诊台”:先判断这个请求是简单查询还是复杂推理,简单的丢给小模型,难的才舍得用大模型。这是真金白银的省钱。

举个直观的例子。你把这样一封邮件丢进去:

“我们 3 月被重复扣款了,请今天之内退款,否则我们就退订。”

它一口气给出:

  • 该转给:财务(把握 94%)
  • 紧急程度:1.84 / 2.0
  • 流失风险:89.2%
  • 是否明确要求退款:是

没有一段废话,全是能直接喂给业务流程的字段。

六、打榜成绩不错,但也得泼点冷水

先看好消息。在意图识别这个领域,它确实打出了成绩:

CLINC150 与 Banking77 榜单对照

CLINC150 的 150 类意图识别,98.02%,在公开参考成绩里排到第 2;Banking77 的 77 类银行意图,94.09%,排第 5。

需要说明的是:98.02% 是“一个主模型 + 三个辅助模型”的集成成绩,单模型是 97.76%;而且这是本地实测对标公开参考成绩,不是官方榜单回执。项目文档自己也把这句话写在了显眼位置。

然后是冷水,而且泼得挺狠:

第一,选项一多就吃力。 它建议单个选择题别超过 20 个选项。Banking77 有 77 个类别,默认配置下准确率掉到 42.5%,因为每个选项分到的“字数预算”太少,模型根本分不清。调整预算再微调之后,才回到 93.4%。

第二,零样本基本等于瞎猜。 不做微调直接上,准确率 0.36,而随机乱选是 0.318,多数类硬猜是 0.461。它的能力几乎全部来自微调,不是买回来就能用。

第三,内容审核在真实数据上会翻车。 演示时挑几个例子很准,换到真实 Toxic Chat 数据上只有 53%——项目文档原话是“演示能用,真实流量不行”。

这种“自己拆自己台”的写法,反而比一百句“业界领先”更让人信服。

七、普通人怎么上手?门槛到底高不高

先说结论:它不是给普通用户装个 App 就能用的东西,但对小团队和个人开发者非常友好。

  • 不用买显卡:有网页版演示,打开浏览器就能试;CPU 上也能跑,单次 193 到 464 毫秒,做个内部工具完全够。
  • 不用付 API 费:Apache 2.0 协议,权重全开放,自己部署就是零推理成本。对比 Jev 每百万 token 0.042 美元的定价,长期高频调用差别很大。
  • 微调不贵:官方给了教程,用 Kaggle 免费的两张 T4 显卡,跑四五个小时、三万道题,就能把一个通用模型调成你所在行业的“专业判断员”,准确率从 0.36 拉到 0.766。
  • 需要一点点动手能力:会装 Python 环境、会看文档,就能跑起来。完全不懂技术的话,建议先去看在线演示,感受一下“33 毫秒拍板”是什么体验。

适合谁?做客服系统、做内容平台、做 AI 应用安全、做企业内部自动化的团队,以及那些被大模型账单和幻觉折磨得睡不着觉的开发者。

八、写在最后:AI 下半场,拼的可能不是“更会说”

过去两年,我们习惯了用“能不能写诗、能不能考高分”来衡量一个模型。

但真实世界里,绝大多数的 AI 工作量,根本不是创作。

是判断这条评论要不要删,是判断这张工单该给谁,是判断这句话是不是在骗人,是判断这个请求值不值得动用最贵的模型。

这些活,需要的是快、准、便宜、并且知道自己几斤几两。

DeepOpen 踩中的,大概就是这根弦:让 System 2 去负责思考,让 System 1 去负责日常。

至于那个“时空旅行者”的调侃,其实还藏着一层意思——在这个叙事比代码跑得快的年代,真正留下来的,可能不是发布会的灯光,而是那些能被人下载、复现、跑到自己机器上的东西。

最后想问问你:

如果现在有一个 33 毫秒就能拍板、还会老实告诉你“我只有六成把握”的 AI 助手,你最想让它先替你干哪件烦人的活?

评论区聊聊,说不定你的场景,正是下一个被开源解决的需求。

登录后查看全文
deepopen