不是提示词工程:一个12B模型用三阶段微调,把“AI味”练成了“人味”

原创2026-10-25 23:30:291,722 阅读
文章标签:人工智能大模型微调本地部署AI 写作

不是提示词工程:一个12B模型用三阶段微调,把“AI味”练成了“人味”

“您好,见字如面。关于您提到的问题,我将从以下三个方面进行阐述……”

看到这样的开头,你是不是瞬间就没了读下去的欲望?哪怕内容再正确,那股子熟悉的“AI味”还是扑面而来:句子一样长、转折一样顺、每段都像开会发言稿,客气得让人想打哈欠。

过去一年,大家对付这股味道的办法基本只有一个——背提示词。“请写得口语一点”“像朋友聊天那样”“别用首先其次最后”……结果往往是:AI听话了,但只是换了件外套,骨子里还是那个AI。

最近开源圈里有个叫 humanizer 的项目,走的却是另一条路:它不教你怎么“命令”AI,而是干脆重新训练了一个模型,让它把“人怎么写东西”变成肌肉记忆。底座是谷歌的 Gemma-4-12B,权重开源,能在你自己的电脑上离线跑。

更关键的是它的成绩单:同一批60篇英文草稿,GitHub上5万多星的提示词方案改写后,60篇全被AI检测器判定为AI生成;而这个12B模型改完,只有4篇被判AI。

差别到底出在哪?答案藏在它的三段式训练里。

一、先说清楚:它到底是个啥?

说白了,humanizer 就是一个专门改写草稿的“文字美容师”。

你把一段AI写的邮件、作文、报告或者论坛回答丢给它,它给你吐出一版“像人写的”。中英文都支持,数字、单位、日期、人名、引语要求一个不丢,也不许自己加戏。

它和聊天机器人最大的区别是:它不是用来对话的,就是用来改稿的。

打个比方,ChatGPT 像个知识渊博但说话端着的同事;humanizer 更像个坐在你旁边、干了十年文字工作的老编辑——你写完一段,他拿红笔一划,把那些“综上所述”“值得注意的是”“在当今时代”全给你圈掉,换成一句人话。

中文工作邮件改写前后对比:左边草稿,右边改写

它跑起来也很“接地气”:官方有 Mac 和 Windows 的桌面应用,双击打开,左边贴草稿,右边流式出改写,新写的词用荧光笔标出来,被替换掉的原句还会划上横线。第一次联网下载模型,之后全程离线,写的内容不出你这台电脑。

二、三阶段训练,其实就像培养一个写手

“三阶段微调”听起来很唬人,但你把模型当成一个刚入行的实习生,就好理解了。

第一阶段:SFT,先看两万八千份“标准答案”

第一阶段叫监督微调,行话缩写 SFT。

这一步干的事特别朴素:给模型看28,598对样本,每一对都是“一篇AI写的草稿”配“对应的真人原文”。

注意,真人那一侧不是随便找的网文,而是实打实的人类文本:论文摘要、政府报告、学生作文、公司邮件、邮件列表讨论、Reddit、Hacker News、知乎回答……

这就像师傅带徒弟,不跟你讲什么“写作的底层逻辑”,直接甩给你两万多组对照稿:“你看,人遇到这句话会这么断句;人不会这么啰嗦地铺垫;人写到这里会突然来一句短句。”

模型学着学着,学到的不是“要口语化”这句口号,而是具体的下笔习惯——句子该长长短短,段落该在哪里喘口气。

第二阶段:DPO,教它分清“哪版更好”

光会模仿还不够,得学会取舍。第二阶段用的是 DPO,偏好学习。

这一步准备了3,918对“更好的版本”和“更差的版本”,让模型去选。而挑选标准只有两个,非常克制:

一是事实有没有跑偏,二是有没有大段照抄原稿。

翻译成人话就是:改得再花哨,只要数字改错了、意思变了,或者只是把原文换个词糊弄一下,都算不合格。

这一步很像编辑部里的老规矩:文笔可以有个性,但事实不能出错,偷懒不能算本事。

第三阶段:GRPO,扔进实战里反复打分

真正让效果拉开差距的,是第三阶段:强化学习,用的是 GRPO。

这一步不再给它标准答案,而是让它自己写,写完由“裁判”打分。

具体怎么练?一共500步、分三轮。每一步拿16篇草稿,每篇生成8个版本,也就是一步产出128篇改写。三轮下来,模型一共写了41,600篇,每一篇都被拿去和原稿逐字对照、打分。

打分规则也很实在:

  • 严重事实错误、凭空编内容、改变原意、弄丢格式——扣分;
  • 大段照抄原文,用词的骨架都懒得动——扣分;
  • 改得自然、事实稳、又有自己的重组——加分。

这就像篮球训练里的投篮机,一次投不准没关系,投几万次,身体自己就记住角度了。而且第三轮的草稿来自一个按体裁配平的题库,足足8,268篇,邮件、帖子、报告、作文轮着来,避免它只会改某一种文体。

有一个细节特别值得说:整个训练过程,没有用过任何AI检测器。检测器既没当奖励,也没当过滤条件,更没用来挑模型版本。它只从两件事里学习——真人怎么写,以及事实有没有保住。

humanizer桌面应用界面:左侧草稿,右侧改写,改动处高亮

三、为什么“学人类写作”能干过“提示词润色”?

这是整件事最值得琢磨的地方。

提示词工程的本质,是在门口贴一张纸条:“进去以后请说人话。”模型看到了,会配合你演一下,但它原来的写作习惯没变。所以你会发现,AI改出来的东西经常是“表演式口语”——加两个“说实话”“讲真”,句子长度还是整整齐齐,逻辑连接词还是一个不落。

这就像一个从小写公文的人,你让他“随便聊聊”,他还是会不自觉地说“关于这个问题,我谈三点看法”。

而微调改的是习惯本身。

模型在几万次对照和打分里,重新塑造了自己“下一个词该选什么”的倾向:该短的时候短,该糙的时候糙,该省略的过渡就省略。它不是在执行“要自然”这条指令,而是已经不会写得那么假了。

所以两者的差距,不是风格上的小修小补,而是起跑线不同。

再看那个对比:GitHub上最火的去AI味方案之一,是给通用大模型一份规则清单,让它照着改。同一批60篇草稿,用 Claude Sonnet 执行这套规则,60篇全部被 Originality.ai 判为AI,AI分中位数直接拉满到100%。

而 humanizer 在这60篇上只被判了4篇。

在更大范围的210篇英文草稿测试里,210篇只有11篇被判AI,95%被判为人写,比它上一个版本(26篇)少了一半还多。

当然,这话得说完整:检测器会更新,这只是某一家检测器在某一天的测量结果,不代表换个检测器、换个月份还一样。项目作者自己也反复强调这一点,没有做任何“保过”承诺。

评测结果卡片:95%的英文改写被最严档检测器判为人写

四、最容易被忽略的一环:事实保真

改写类工具最大的坑,从来不是“改得不够像人”,而是“改着改着把事实改没了”。

数字多一个零、日期差一天、人名换了字,读者可能一扫而过,但发出去就是事故。

humanizer 把这件事放在了训练的正中央,而不是事后补个检查。

在强化学习阶段,裁判模型会拿着改写稿和原稿逐字对读,专门盯四类问题:严重事实错误、凭空编造、意思被改变、格式要素丢失。丢一个,就扣分。

效果如何?在420篇英文改写的测试里,376篇没有挑出任何事实问题,上一版是369篇。

剩下被挑出问题的呢?九成以上只是一个词或一个短语的偏差。比如原稿里的“剩下的37条投诉”,被写成了“另外37%的投诉”——数字没丢,但意思悄悄变了味。

中文这边,204篇改写里有149篇没挑出事实问题,还在追赶英文。典型的小偏差像“本月20日前后”被写成“20号以前”,差之毫厘,但较真起来确实是两回事。

所以项目方给使用者的建议非常实在:发出去之前,自己通读一遍,重点核对数字、日期、人名,以及每句话的方向——是多了还是少了,是谁做的,是之前还是之后。

配套的工具也做了兜底:桌面应用会检查草稿里的每个数字有没有出现在改写里,对不上就标出来;命令行工具处理长文档时,还会逐块检查丢数字、多数字、漏链接、照抄过多等问题,有问题的块会自动重写一次。

这不是“全自动放心发”,而是“帮你把最容易翻车的地方先筛一遍”。

五、普通人上手,门槛到底高不高?

比想象中低不少。

最省事的方式:下载 Mac 或 Windows 桌面版,打开就能用,界面就是左边贴、右边看。第一次运行会根据你的内存推荐模型档位,从最好的12.7GB版本,一路到3.9GB的2-bit版本——8GB内存的老笔记本也能跑。

而且小模型不是简单粗暴地“砍一半”。2-bit、3-bit 这几档做了量化感知训练,还让完整模型当老师去带它。结果就是同样3.9GB大小,普通量化只有70%的概率和完整模型选同一个词,它能做到87%。这也是为什么很多低配电脑用户反而更愿意选最小那档。

速度方面:在一台 M5 Max 上,一百来词的英文邮件大约3.6秒,300字左右的中文邮件约8.5秒。一篇1200词的英文长文,连切块带检查,用了41到54秒。

长文档怎么办:它带了一个命令行工具,Markdown、纯文本、Word 都能处理,标题、代码块、表格、链接原样保留,只改正文,还会自动分块,不至于一次塞爆上下文。

适合谁:经常写工作邮件、周报、方案的白领;需要写稿但不想被读者一眼看出“AI生成”的自媒体人;要交论文、写申请材料的学生;以及所有在意隐私、不愿意把草稿传到云端的人。

需要提醒的是,它不是万能润色器。最模板化的体裁依然是它的软肋,比如带emoji和话题标签的社交帖、格式严格的政策文件;在 Reddit 这类随意场合,它偶尔还会自作主张加一点原文没有的俚语甚至粗口,需要你手动删掉。

另外,这类工具是给你改自己的草稿用的。学校、单位、平台对AI辅助有规定的,还是得按规定来。

写在最后

humanizer 最让人服气的地方,不是它把句子改得多漂亮,而是它证明了一件事:

想让AI像人,靠“嘱咐”是不够的,得让它重新学一遍人是怎么下笔的。

提示词是在行为外面刷漆,微调是在习惯里面动刀。前者几分钟就能试,后者要烧掉几万对数据、四万多篇改写和三轮强化学习——但出来的东西,确实是两个层次。

当然,它也没到“完美人类”的程度。数字会飘、格式会丢、中文还差口气,这些它自己都老老实实写在说明里。

但这恰恰是它可爱的地方:一个不吹牛、把短板摊开给你看的工具,反而更像个靠谱的搭档。

最后想问问大家:你在工作或生活里,遇到过最“AI味”的一句话是什么? 是“希望以上内容对您有所帮助”,还是“让我们一起拥抱这个充满可能性的时代”?评论区聊聊,看看谁遇到的那句最让人脚趾抠地。

登录后查看全文
humanizer