AI 选稿老跑偏?给 AIHOT 当一回"出题老师",教它听懂你的行业黑话
AI 选稿老跑偏?给 AIHOT 当一回"出题老师",教它听懂你的行业黑话
最近科技圈有个开源项目火得不行——AIHOT,一个"自己找热点、自己写日报"的网站框架,GitHub 上攒了五千多颗星,背后还是个月活百万的真人站点。法律圈的、搞金融的、做人力资源的朋友,都琢磨着把它搬回自己行业当"专属情报站"。
可很多人上手后都卡在同一个地方:AI 选出来的稿子,怎么看怎么不对味。它把无关紧要的营销软文选上了精选,却把真正重磅的行业变动漏了。这时候别急着骂 AI,问题多半出在——你还没把"你的眼光"教给它。
今天就用大白话,聊聊 AIHOT 自带的 SelectBench:怎么当一回"出题老师",让机器彻底听懂你的行业黑话。
一、AIHOT 到底是个啥?
一句话:它是个能自动替你"看新闻、挑重点、写日报"的网站引擎。
它每天从你指定的几十个信源里收资料,让大模型先筛一遍、再独立打两次分,挑出真正值得看的,写中文标题和摘要;把不同媒体说的同一件事聚成一个"事件",按"有多少家独立来源在报道"排出热点;每天早上八点,自动出一份行业日报。
更绝的是,它的"选稿标准"——也就是藏在提示词里的那套评分规则——全部公开、全部能改。作者是位设计师出身的老哥,说得特别实在:"我不懂你们法律、金融行业什么消息才算热点,但你们懂。所以把火种交到大家手上。"
问题就来了:标准能改,但改成什么样才靠谱? 总不能闭着眼睛瞎调。SelectBench 就是干这个的。
二、你的眼光,怎么"翻译"给 AI 听?
先讲个扎心的场景。你在医药行业,AI 天天把"某药企又发了篇科普软文"当宝贝选上来,却把"重磅新药获批上市"这种大事漏了。为啥?因为在它眼里,这两篇可能都"信息量挺足"。
问题不在于 AI 笨,在于它不知道你的"口味"。就像新来的实习生,你再三强调"要选有新闻价值的",他还是分不清什么叫新闻价值。
SelectBench 的玩法特别朴素:你出卷子,AI 答题,你批改,然后它照着改。具体就三步。
第一步:攒一张"模拟考卷"
从你自己的信源里,挑出 100 到 200 条真实资料,一条一条亲手标上:"这条该选"或者"这条不该选"。就这么简单,不需要懂任何编程。
这里有个关键技巧:别光挑一眼就能判断的"送分题"。要多放"难例"——差一点就该选、差一点就不该选的。为什么?因为送分题放太多,AI 就算蒙也能蒙个高分,准确率虚高,实战一测就露馅。
更讲究一点的玩法,是把考卷分两份:一份当"平时作业"(开发集),一份当"压轴期末卷"(留出集)。平时调标准时只看平时作业,最后才用期末卷做一次"突击考试",防止你把 AI 训练成只会背你这几道题的"考试机器"。
第二步:一键评测,AI 交卷
卷子出好了,跑一条命令,让 AI 把这一百多条样本从头到尾评一遍。系统会告诉你:选对了几成、漏掉了几成、误伤了几成,还会算一个综合平衡分(行话叫 F1,你理解成"选稿眼力的综合成绩"就行)。
最贴心的是,评测结果不是只给一个总分数,每条判错的样本都给你标出来,还附上 AI 打分的理由。这就到了最关键的一步——
第三步:批改作业,把"教训"写进编辑手册
这才是整个玩法的灵魂:逐条看错例,找出规律,回去改评分标准。
比如你发现"凡是某类营销文都被选上了",就在评分标准里明确写死:"这类内容必须压分,不超过多少多少"。你要是发现"重大政策变化总被漏掉",就在标准里加上:"这类事件必须正常评价,给出正例"。
改完再跑一遍,看看分数涨没涨。每改一次,后台都给你留个记录,哪一版标准选得最好、一目了然。这个过程,本质上就是把你脑子里那套"说不清道不明"的行业直觉,一条条"翻译"成 AI 看得懂的白纸黑字。
三、怎么证明校准真的有效?两大"保险"
光说"我觉得变准了"可不行,SelectBench 给了两招硬核验证,专门防"自我感觉良好"。
第一招:多模型同台 PK。 同一张考卷,让 DeepSeek、千问、智谱这些不同的模型各答一遍,表格一拉,谁的综合成绩高、谁老答不出来(覆盖率低),高下立判。换模型之前先比一比,不花冤枉钱。
第二招:门槛扫描 + 期末突击考。 AI 打分从 40 到 90,每隔两分算一遍"如果分数线设在这,结果会怎样",帮你找到最合适的"录取线"。再加上之前说的留出集期末卷,用一批从没见过的新题做最后检验——这样校准出来的标准,才是真本事,不是死记硬背。
顺带说个细节:AIHOT 的入选门槛本来就按信源分级——官方一手消息门槛低些,媒体和个人转述门槛高些。因为官网自己发的原文更可信,转述就要更严格。这逻辑,是不是挺像主编心里的那杆秤?
四、普通人怎么上手?门槛高不高?
先说结论:不需要你会编程,但需要你有耐心和"行业直觉"。
跑起来的环境要求很低:一台能装 Docker 的普通电脑就行,不需要高价显卡。模型 API 按量付费,DeepSeek、千问、智谱这些国产模型都支持,评测跑一两百条样本的成本也不高,后台还能设预算熔断,超了自动停,不怕"烧钱"。
最适合的人群:法律、金融、医疗、人力资源这些垂直行业里,天天要盯行业动态、又苦于没精力刷几十个信源的朋友。你负责出卷子、定标准,AI 负责当不知疲倦的"值班编辑"。网上已经有博主晒出实战案例:从零搭一个会自己判稿的行业热点站,核心代码基本不用动,改的全是"标准"和"口味"。
要说唯一的"技术门槛",可能就是出卷子阶段要手动整理一两百条样本。但这事儿一回生二回熟——第一批样本往往也最容易暴露问题,改完标准再跑,成就感直接拉满。
五、写在最后
AIHOT 作者说过一句话,挺打动我:"开源最浪漫的地方,就是不知道它会被改成什么样子,会走到多远的地方。"
SelectBench 这套玩法给我的感觉是:它没把 AI 当"全能神",而是把它当"可以调教的员工"。你不懂它的技术没关系,它也不懂你的行业——但你们可以通过一份考卷,达成真正的默契。
这大概也是未来很多行业落地 AI 的正确姿势:不是等一个"万能模型"来拯救你,而是把自己的眼光和 KnowHow,一点点教给它。
最后留个开放式问题:如果你的行业要开一个 AI 情报站,你最想让 AI 帮你盯哪类消息?是政策风向、竞品动态,还是行业八卦?评论区聊聊,说不定下期就写你的行业。