temperature=1.0、top-p=0.95:humanizer推理参数照着抄就行

原创2026-10-11 22:14:471,462 阅读
文章标签:人工智能大模型微调本地部署AI 写作

temperature=1.0、top-p=0.95:humanizer推理参数照着抄就行

部署开源模型最容易被忽视、也最容易被"经验主义"改坏的地方,往往是推理采样参数。humanizer 官方文档里反复强调同一组取值:temperature=1.0、top_p=0.95,并且 top_k=0、min_p=0、repeat_penalty=1.0——所有配套运行时(llama.cpp、MLX、transformers、vLLM、Ollama、LM Studio)无一例外。社区里流传的部署教程把这组参数叫做"强制设置",因为它不是建议、不是调优结果,而是评测口径本身。本文从仓库源码出发,讲清楚三件事:为什么这组参数"照着抄就行",top-p 与 top-k/min-p 之间到底有什么冲突,以及如何写一个能自证安装正确的参数自检脚本。

这组参数是"评测口径",不是玄学调优

先看结论的出处。在 README.md 的 Prompt format 一节,官方给出了四条铁律:

  • 用 prompt_format.json 中的指令与分隔符逐字节拼接提示词(指纹 cc51d66b4c593fbe);
  • 只用 EOS 停止,不设任何 stop 字符串;
  • 采样:temperature 1.0、top-p 0.95,其他全部关闭;
  • 上下文 8192 token。

对应到 AGENTS.md 第 0 节,原因写得很直白:"That is how the evaluation was run." README 里那张漂亮的成绩单——210 篇英文草稿下 95% 被判为人类写作(Originality.ai 最严格档)、420 篇英文改写中 376 篇无事实问题——全部是在这组参数下产出的。推理参数与评测参数不一致,等于在拿一个"从没被评测过"的配置上线,任何复现都无从谈起。

更关键的是,这组参数与训练口径也是对齐的。README 的 Training 一节写明:模型先经 28,598 对 SFT、3,918 对 DPO,再做三轮 GRPO 强化学习,每步以 16 篇草稿 × 8 个样本、temperature 1.0 采样。也就是说,模型在"temperature=1.0 + 随机采样"的世界里被训练和评分,推理时换成低温采样,等于把它推进一个它从未见过的分布。

为什么必须是 temperature=1.0:低了会照抄草稿

很多用户直觉上认为"去 AI 味"应该降低温度、让输出更稳妥。humanizer 恰恰相反。原因有三层:

第一,它的训练目标就是"不均匀"。 提示词指令里明确写着 Vary sentence length on purpose(刻意变化句长)和 It is fine to sound uneven(允许读起来参差)。"像人写的"本质上是一种句长与措辞的方差,而低温采样(比如 0.7、0.8)会压缩分布、把所有 token 的概率推向最高值,方差被抹平后,输出的恰恰是 AI 味最重的"平滑文本"。temperature=1.0 保留的随机性,正是"人味"的来源。

第二,重采样机制依赖这份随机性。 官方工具链(App、hz 命令行、USAGE.zh.md 第 9 节的批量脚本)都有"照抄率过高就再采一次"的逻辑:hz 默认在改写与草稿的 5-gram 重合率超过 0.5 时重新采样,批量脚本的阈值是 0.35。重采样只有在每次生成分布足够多样时才有意义——temperature=1.0 保证第二版与第一版在概率上显著不同,低温下重采样只是换汤不换药。

第三,仓库的排错表直接给出了证据链。 USAGE.zh.md 第 13 节把"改写和草稿几乎一样"列为症状,原因写着两个:采样运气不好,或温度太低;处理方式是"确认 temperature 1.0,再采一次"。这是官方对"temperature=1.0 是行为基准"的最直接背书。

top-p=0.95 的真正麻烦:三个隐藏的采样开关

top-p=0.95 是核采样:保留累积概率达 95% 的候选 token 集合,再从中采样。它本身没问题,问题在于几乎每个运行时会偷偷叠加第二层过滤器,把采样空间过度压缩。仓库里点名了三处:

1. llama.cpp 的默认值。 README.md 明确警告:llama.cpp 默认 top-k 40、min-p 0.05。top-k 会把概率排序前 40 之外的 token 一刀切掉,min-p 只保留概率不低于最高概率词 5% 的 token——对 humanizer 这种词表高达 262,144 的模型(见 config.json 的 vocab_size)尤其致命:中文长尾字词被双重截断后,输出会变得重复、啰嗦甚至词不达意。

2. generation_config.json 里的 top-k 64。 这是最隐蔽的坑。仓库根目录的 generation_config.json 写的是:

{
  "do_sample": true,
  "temperature": 1.0,
  "top_k": 64,
  "top_p": 0.95
}

top_k: 64 是随权重分发的默认值,transformers 会直接把它当采样默认。所以 USAGE.md 第 5 节的代码里 top_k=0 这一行不能省,注释写得明白:"switches off the top-k 64 in generation_config.json"。同理,vLLM 起服务时要加 --generation-config vllm,否则也会把这个 64 带进默认;离线 API 里则必须写 top_k=-1(vLLM 的"关闭"语义)。

3. Ollama 的模板与参数。 Ollama 不读 GGUF 内嵌的对话模板,必须用 USAGE.zh.md 第 7 节的 Modelfile 显式声明整套参数:

PARAMETER temperature 1.0
PARAMETER top_p 0.95
PARAMETER top_k 0
PARAMETER min_p 0
PARAMETER repeat_penalty 1.0

repeat_penalty 1.0 同样重要:设为 1.0 等于关闭重复惩罚。因为评测时就没开它,且人类写作天然允许局部词汇重复,惩罚会无端扭曲分布。MLX 侧的写法略有不同:make_sampler(temp=1.0, top_p=0.95),官方文档说明此时 top-k、min-p 保持其默认关闭状态,无需再传。

一句话总结冲突的本质:top-p 与 top-k/min-p 是叠加生效的过滤器,不是互斥的替代方案。top-p=0.95 之后若再来一道 top-k=40,最终候选集合是两者交集,等于 0.95 的"宽松度"被偷偷改小。社区部署教程(如「如何用 llama.cpp 在本地跑 humanizer 12B 模型」)强调"避免 top-k/min-p 默认干扰",正是对这三处陷阱的呼应。

照着抄的最终形态:一份完整请求

把五个参数显式写进请求,是唯一正确的做法(AGENTS.md 第 7 节):

{
  "prompt": "<build_prompt(draft)>",
  "temperature": 1.0,
  "top_p": 0.95,
  "top_k": 0,
  "min_p": 0,
  "repeat_penalty": 1.0,
  "n_predict": 2048
}

注意:不要发送 stop 字段。模型在 EOS 处自己结束,个别合法输出里本来就含 ###,设了 stop 字符串反而会被截断(USAGE.zh.md 排错表的第二条)。n_predict 取草稿 token 数的 2.5 倍左右、介于 256 与 2048 之间,固定 2048 也是安全值。附带的 prompt 必须由 prompt_format.json 中的 instr + "\n\n" + draft.strip() + sep 拼接,中文草稿同样用英文指令、不要翻译。

顺带一提,自 2026-10-04 起,所有 GGUF 文件把这份采样默认值写进了元数据——请求没设采样参数时 llama.cpp 会自动采用。这是给"忘了显式传参"的兜底,不是让你省掉显式传参的理由:显式写出来,你的脚本才不依赖文件版本。

参数自检脚本:把安装正确性变成断言

"照着抄"是否真的抄对了,不能靠肉眼判断输出是否"像人话"。官方在 AGENTS.md 第 8 节给出了一份只用标准库的自检脚本 selftest.py,它把安装正确性收敛为五个可编程断言:

import hashlib, json, re, urllib.request

PF = json.load(open("humanizer-model/prompt_format.json", encoding="utf-8"))
build = lambda d: PF["instr"] + "\n\n" + d.strip() + PF["sep"]
assert hashlib.sha256(build("X").encode()).hexdigest()[:16] == "cc51d66b4c593fbe", "FAIL: prompt format"

DRAFT = open("draft.txt", encoding="utf-8").read()  # 评测集真实草稿
body = {"prompt": build(DRAFT), "temperature": 1.0, "top_p": 0.95,
        "top_k": 0, "min_p": 0, "repeat_penalty": 1.0, "n_predict": 2048}
req = urllib.request.Request("http://127.0.0.1:8080/completion",
                             json.dumps(body).encode(), {"Content-Type": "application/json"})
out = json.load(urllib.request.urlopen(req, timeout=600))["content"].strip()

problems = []
if len(out.split()) < 60: problems.append("output too short")
if "### Rewritten" in out or out.startswith("Rewrite the text below"):
    problems.append("prompt echoed: wrong endpoint or chat template")
if re.search(r"<start_of_turn>|<end_of_turn>|<\|turn", out):
    problems.append("chat markers in output: a chat template is being applied")
grams = lambda t: {tuple(t.lower().split()[i:i + 5]) for i in range(len(t.split()) - 4)}
if len(grams(DRAFT) & grams(out)) / max(1, len(grams(out))) > 0.5:
    problems.append("output copies the draft")
missing = [n for n in re.findall(r"\d+", DRAFT) if n not in re.findall(r"\d+", out)]

print("FAIL: " + "; ".join(problems) if problems else "PASS: install looks right")
if missing:
    print("NOTE: numbers not found in this sample:", missing,
          "(the model can slip; rerun once. If it repeats, check sampling settings)")

逐条看它验证了什么:

  • 指纹断言:sha256(prompt).hexdigest()[:16] == "cc51d66b4c593fbe"。这是整套配置的第一道闸门——提示词格式不对,采样参数再正确也是白搭。指纹在 prompt_format.json 的 fingerprint 字段里,可作代码内一等校验。
  • 输出过短(< 60 词):多半是采样被截断或 n_predict 不够,而不是模型问题。
  • prompt 回显(输出里出现 ### Rewritten 或复述指令):说明打到了聊天端点、套了聊天模板,或请求到了 GGUF 内嵌模板之外的通用模板。
  • 聊天标记泄漏(<start_of_turn> 等):同上,是"用了聊天格式而非文本续写"的铁证。
  • 5-gram 照抄率 > 0.5:输出大段复制草稿——这正是温度过低或采样参数被干扰的典型症状,指向 top_k/min_p 没关干净。
  • 数字丢失:初稿里的数字在输出中找不到,属于采样漂移;官方建议重跑一次,若每次都丢,才需要回头核查采样参数。

这套脚本覆盖的正是"照着抄"最容易翻车的三类错误:参数没传全(top-k/min-p 残留)、端点用错(chat vs completion)、提示词拼错(指纹断言兜底)。脚本打印 PASS 即代表服务器、模型文件与提示词三者接线正确;偶发的 NOTE 数字提示属于采样运气而非安装故障。

写在最后

humanizer 的推理参数之所以"照着抄就行",是因为 temperature=1.0、top-p=0.95、其余全关这组取值,是训练、评测、工具链三者共享的唯一口径。改任何一个,都是在脱离评测分布做"自定义模型"。真正需要花心思的不是"调参",而是确认参数真的生效了:llama.cpp 的 top-k 40 与 min-p 0.05、generation_config.json 的 top-k 64、vLLM 的 top_k=-1 语义、Ollama 的 Modelfile 显式声明——四个运行时四套写法,漏一个就是"形似神不似"。把 AGENTS.md 第 8 节的自检脚本放进你的部署流程,让 PASS 替你说话。至于输出里那些数字、日期和人名,官方文档只有一句忠告:发出去之前,通读一遍。

登录后查看全文
humanizer