4.3万美元的活儿,100美元两小时干完:拆开 nanochat 的极简骨架,看它到底省掉了什么
4.3万美元的活儿,100美元两小时干完:拆开 nanochat 的极简骨架,看它到底省掉了什么
2019年,OpenAI 训练 GPT-2,用了32块 TPU 跑了整整7天,账单大约4.3万美元。
七年后的今天,有人用一套只有约6000行 Python 代码的开源项目,在8块 H100 上跑了不到2个小时,花的钱约48美元,就把这件活干完了——模型的“考试分数”甚至略微超过了当年的 GPT-2。
这个项目叫 nanochat,作者是 OpenAI 创始成员、被网友称为“AI 布道者”的 Andrej Karpathy。它在 GitHub 上被反复讨论,CSDN 上一个相关教程动辄几千阅读,评论区最常见的一句话是:“原来大模型没那么玄。”
但今天我们不聊“多厉害”,我们来干一件更有意思的事:把它拆开,看看它在分词器、注意力、优化器这三个关键环节上,各自砍掉了什么。 因为它的强,恰恰来自“敢删”。

一、先搞懂它是啥:一间“大模型驾校”,不是“大模型工厂”
你可以把今天市面上的大模型公司想象成一座巨型汽车工厂:冲压车间、焊装车间、涂装车间、总装线,几万人协同,上千个参数要调。
nanochat 则是驾校里那辆教练车——零件齐全,方向盘、油门、刹车都在,但拆掉了真皮座椅、氛围灯、自动泊车。它的目的不是拉货拉客,而是让你亲手开一遍,知道车是怎么跑起来的。
它的定位极其直接:从切词、预训练、微调、评测到聊天,全流程一条龙,全部代码摊开给你看。
最有意思的是它的“一个旋钮”设计。真实的模型训练里,层数、宽度、注意力头数、学习率、训练步数、权重衰减……几十个参数互相牵连,改一个就得重调一片。nanochat 把这些全部收进一个参数:层数。
你只说一句“我要 26 层”,剩下的它自己算好。就像老式收音机只有一个音量旋钮,而不是专业调音台上那一片推子。
二、删减一:分词器——把句子切积木,切法省到极致
模型不认识汉字,它只认识数字。所以要先把一句话切成一块块“积木”,每块给个编号。这一步叫分词,切得好不好,直接决定模型读书读得快不快、记得牢不牢。
nanochat 的做法很“抠”:训练分词器用 Rust 写的高效工具,实际聊天时换成另一套成熟的解码库。它没有自己造一整套轮子,而是让两件现成工具各干最擅长的一半。
更抠的细节在数字上。一般分词器会把数字切成三位一组,比如“2026”切成“202”和“6”;nanochat 只切两位。作者自己做过对比:在3万多词表的规模下,两位是性价比最高的甜点。这不是拍脑袋,是试出来的。
另外它只保留了9个“路牌”符号,用来标记“用户说完了”“该助手说了”“下面是代码”“下面是代码运行结果”。整段对话的结构,就靠这几个路牌撑起来,没有花哨的角色系统,没有复杂的模板引擎。
省掉的东西是什么?省掉了一整套“通用分词框架”的抽象层。代价是它不太适合直接拿去做多语言混合的复杂产品;好处是你打开文件,十分钟就能读完它在干什么。
三、删减二:注意力——读文章只看最近几段,最后一层才看全文
注意力机制,就是模型读一句话时“回头看前文”的能力。看全文最准,但也最贵——文章越长,计算量涨得越快。
nanochat 用了一招很生活的办法:大部分层只让模型看最近的1/4内容,最后一层才允许看全文。
这就像你读一本厚书:前面几章先只盯住当前段落,抓局部细节;读到最后一章,再翻回目录把全书脉络捋一遍。既省时间,又不至于丢了主线。
更关键的是它砍掉了“必须买顶配显卡”这道门槛。正常情况下,为了跑得快,工程师要手写专门针对某代显卡的加速内核。nanochat 的处理是:有就用,没有就自动退回 PyTorch 自带的通用实现。
于是神奇的事情发生了:H100 上它飞快;老一点的显卡、苹果 M 系列芯片、甚至纯 CPU,它都能跑起来,只是慢。这就好比你那台开了八年的老车,加不了98号油,加92号照样能上路。
省掉的是“极致性能优化”,换回来的是“谁都能点着火”。这笔买卖对学习者来说,太值了。
四、删减三:优化器——两个教练分工,不搞全能选手
训练模型的过程,其实是不断纠错:这次答错了,下次往哪个方向调一点?
业界最常用的是 AdamW 这套“万能教练”,什么项目都能带,但不够专精。nanochat 换了个混搭思路:大部分“大块头”参数交给 Muon 这位新锐教练,剩下的小零件交给 AdamW 老教练。
为什么这么分?因为这两类参数的性格完全不同。大矩阵像一张张需要整体调整的网,Muon 擅长把方向拉正;而词表、缩放系数这些小零件,用成熟稳定的老办法更省心。
整套优化器代码只有四百多行,还顺手把多卡训练的支持也塞进去了:只有一张卡时,多卡通信那部分自动跳过,等于不存在。
省掉的是“能适配任何模型结构的通用优化框架”。它压根没打算兼容别人的网络结构,就服务好自己这一个模型。这正是它能这么短的原因——不是写得少,是根本没打算管别人的事。
五、删减的代价:免费的午餐不存在
说到这,得泼一盆冷水。
第一,它没有自带网页聊天界面。 网上不少教程标题写着“Web界面定制”,看得人以为开箱就有个 ChatGPT 一样的网页。实际上项目自带的对话入口就是命令行:黑底白字,你打字,它回话。想做成网页,得自己套一层。
第二,“能跑”和“跑得好”是两件事。 官方脚本的默认配置是8块 H100、每块80G显存。显存不够,你得手动把每批数据量从32一路往下调到16、8、4、2,调到不爆显存为止。只有一张卡也能跑,结果几乎一样,但要等8倍的时间。
第三,真正的门槛在数据。 训练一个 GPT-2 级别的模型,大约要下载150多个数据分片,每个分片约100MB压缩文本,总共几十G。而且数据打包时用了“最佳适配”策略:每行都从文档开头对齐,空间利用率接近100%,但代价是约35%的 token 会被裁掉。
第四,它是“教学车”,不是“量产车”。 没有分布式训练的复杂调度,没有容错重启,没有多租户,没有限流和监控。
有个细节特别能说明作者的态度:项目里有一份实验日志,记录了各种“失败尝试”——某个新 normalization 方案,每个变体都没打赢基线,速度还慢了10%;某个参数压缩比赛里的花招,试了五种,要么效果差一点,要么速度慢一点,全部否掉。
极简不是省出来的,是打出来的。 每删掉一行,背后可能是一整天的对比实验。
六、普通人到底能不能玩?
能,而且比你想的便宜。
项目里专门有一个跑在笔记本上的脚本:在 MacBook Pro M3 Max 上,训练分词器约34秒,训练一个6层的小模型约30分钟,微调约10分钟。训完你问它“法国首都是哪”,它能答“巴黎”;问它天空为什么是蓝的,它也可能蒙对。
当然,这个尺寸的模型大概相当于“幼儿园水平”——会说话,但经常一本正经地胡说。作者自己在文档里也这么说:你问它“我是谁”,它就会开始编故事。
想认真玩,就租一张卡。按每小时3美元左右的行情,8卡机一小时约24美元,跑完一轮不到50美元;赶上抢单实例,成本还能压到十几美元。
适合谁?
- 想搞懂大模型的程序员:这是目前最短的一条完整链路,从切词到聊天,没有黑盒。
- AI 产品经理和学生:不用碰数学推导,也能建立“模型是怎么被喂大的”这套直觉。
- 自媒体和技术博主:花几十美元训一个“自己的模型”,聊起来比转发新闻有意思多了。
- 不适合的人:想开箱即用做个客服机器人的,别折腾,直接调用现成 API 更省钱。
七、如果要推向生产,最先该补哪一块?
我的答案很明确:先补“推理服务层”,其次才是模型能力。
原因很简单:这套代码已经证明了“能力可以便宜地造出来”,但它交付的方式是一行命令行。真给人用,你立刻会撞上这几个问题——多人同时提问怎么办?回答到一半断了怎么办?谁在滥用、怎么限流?花了多少算力、哪个环节最慢?
训练代码可以照抄,服务化没法照抄。这也是为什么很多团队“模型训出来了,产品却上不了线”。
再往后才是评估闭环。nanochat 内置了科学题、小学数学、 Python 编程、通识选择题等评测任务,但生产环境真正关心的是“在你的业务场景里,答对率有没有提升”。这部分,任何开源项目都替不了你。
写在最后
nanochat 真正让人上头的地方,不是“100美元造 ChatGPT”这个标题,而是它把一座神坛拆成了台阶。
它告诉你:分词器不过是切积木的规则,注意力不过是“回头看几段”的选择,优化器不过是两个纠错教练的分工。每一样讲清楚了,都不神秘。
当然,删减是有代价的:它跑不出商业产品,也算不上最强的模型。但它像一本摊开的说明书,让人第一次看清整台机器怎么转。
如果给你100美元和一下午,你会训一个属于自己的小模型吗?还是觉得——调 API 香多了,何必自己造轮子?