LLM循环幻觉检测清单:Qwen3.8-Whittle-MoE-27B-A17.8B 的rep-4gram、模板重复指标与30行loop_test评测脚本

原创2026-10-16 17:39:321,654 阅读

LLM循环幻觉检测清单:Qwen3.8-Whittle-MoE-27B-A17.8B 的rep-4gram、模板重复指标与30行loop_test评测脚本

Qwen3.8-Whittle-MoE-27B-A17.8B 是从 Qwen3.8-27B 雕刻出的 27B 总参、17.8B 激活的混合专家(MoE)模型。本文整理它的 LLM 循环幻觉检测清单:rep-4gram 精确重复、整行重复、模板重复三类核心指标,以及核心判定逻辑仅约 30 行的 loop_test 评测脚本——从公式原理、阈值来源到跑分命令,帮新手一次看懂如何量化"模型在复读"。

🎯 先搞懂:什么是循环幻觉,为什么要检测

循环幻觉(俗称"复读机")指模型生成到后半段开始重复输出,典型有两种形态:

  • 整句复读:同一行原样输出多次;
  • 模板复读:句式固定、只轮换结尾词,比如连续 20 行 "Helping with XXX"。

这个项目最有价值的一点,是把"它在复读"从主观抱怨变成了可复现的数字:固定提示词、固定种子、固定采样参数构成发布门禁(gate),每个版本都要先过这道循环率评测。

💡 背景速览:该模型把每层 17408 宽的 FFN 精确切分为 64 个 192 宽的路由专家 + 1 个 5120 宽共享专家(64×192+5120=17408),每个 token 激活 16/64 个专家,得到 17.8B 激活参数。深度压缩后的模型极易"吃自己的尾巴",所以重复检测是这里的硬性发布门禁。

📏 指标一:rep-4gram 精确重复怎么算

rep-4gram 统计生成文本中 4 词片段(4-gram)的重复占比,核心只有一行:

rep4 = 1 - len(set(4grams)) / len(4grams)
  • 值域 0~1,越大越重复;
  • loop_test 的判罚阈值:rep4 > 0.15 即判 loopy。

源码见 loop_test.py。

⚠️ 致命盲区:它看不见"模板复读"

项目在 WHITTLE_FINDINGS.md 中记录了一个真实案例:一份连续输出 "Helping with financial planning / health and wellness / travel and tourism…" 的退化回答,rep-4gram 得分是 0.000——因为每行尾词不同,没有任何 4-gram 被逐字重复。

结论:精确 n-gram 指标只能抓整句复读,抓不住模板复读。只靠 rep-4gram,模型可以一边让用户抓狂、一边轻松通过门禁。

📐 指标二:模板重复补位——line_dup 与 tmpl_rep

为堵上盲区,检测清单补了两类指标,任一超阈值即判 loopy:

指标 计算方式 阈值 抓什么
rep4 重复 4-gram 占比 > 0.15 整句逐字复读
line_dup 去掉编号/项目符号后,整行重复占比 > 0.20 整行复读
tmpl_rep 同一开头 2 词的最大占比 > 0.40 模板复读(尾词轮换)

对应源码:line_dup 与 tmpl_rep。

阈值是怎么定下来的?

项目没有拍脑袋定阈值,而是先用已知正负样本验证指标:

样本 rep4 dup tmpl 判定
真实退化样本 A 0.014 0.000 0.609 loopy
真实退化样本 B 0.000 0.000 0.682 loopy
合成整句复读 0.630 0.714 0.857 loopy
真实干净回答 0.000 0.000 0.200 clean

干净样本停在 0.200,真实失败样本都在 0.609 以上,0.40 的阈值两边都有充足余量。

📌 这条规则值得抄走:一个从没在真实缺陷样本上验证过的指标,它产出的数字不算证据。 详见 WHITTLE_FINDINGS.md。

🛡️ 指标三(兜底):长度下限,防"装哑"模型骗过门禁

还有一个反直觉陷阱:复读 0 分 ≠ 模型健康。如果模型只回一个词甚至 0 词,所有重复指标都会是 0。项目实测中,某次训练后模型单轮中位长度只有 1 个词,循环率"漂亮地"降到接近 0——其实是模型不说话了。

因此门禁判 FAILED 的规则是:

failed = loopy or words < floor   # 重复超限 或 低于字数下限

字数下限:单轮 25 词、结构化输出 60 词(见 scores 函数)。

📌 通用法则:每个门禁至少需要一个"修复过头时反而变差"的指标,否则优化器总会找到偷懒的解。

🚀 30行loop_test评测脚本:从启动到出报告

loop_test.py 全文 174 行,核心判定逻辑只有约 30 行(L24-L56),其余是冻结的评测集与请求逻辑——同一套提示词、种子、阈值自首个版本起保持不变,保证各版本数字可对比、可质疑、可复现。

评测集构成(约 90 次生成)

板块 构成 字数下限
单轮 12 个枚举/长文提示词 × 3 个种子 25 词
结构化 6 个 SQL/HTML/表格/YAML 提示词 × 3 种子 60 词
多轮 2 段对话 × 2 种子 × 7 轮(重点盯第 5 轮以后) 25 词

提示词定义见 P1 / STRUCT / CONVOS。

最快跑法

先启动本地推理服务(llama.cpp 或 Ollama 均可),然后:

# 获取评测脚本(仓库只读,clone 到本地即可)
git clone https://gitcode.com/hf_mirrors/logic65/Qwen3.8-Whittle-MoE-27B-A17.8B

python loop_test.py http://localhost:8080                 # llama.cpp
python loop_test.py http://localhost:11434 whittle-q8   # Ollama(模型名自定)

脚本固定采样参数 temperature 0.7 / top_p 0.8 / top_k 20,关闭思考模式,单次生成上限 600 token。约 90 次生成,视硬件约 30-60 分钟;结果逐条打印,明细写入 loop_test_results.json。

结果怎么看

报告按板块输出:FAILED 数/总数(百分比)+ loopy 数 + short 数 + 错误数 + 中位词数,例如 single 12x3 1/36 ( 3%) loopy 1 short 0 err 0 medw 388 表示 36 次单轮生成中仅 1 次失败且是复读、中位长度 388 词(报告逻辑见 report 函数)。

📊 循环率实测:清单抓出了 69% 的基线

检测清单建立时的首个基线测量(12 提示词 × 4 种子 × 600 token):144 次生成中 93 次触发复读,基线循环率 65%——这就是后续所有修复必须打败的数字。

按清单口径的版本演进(README.md):

指标(固定 harness) 上一版本 v2 v2.1
单轮循环率 69% 11% 8%
多轮循环率 64% 7% 7%
第 5 轮以后循环率 56% 17% 8%
结构化输出循环率 ~75% 39% 22%
静默/截断回答 未测 0 0

关键发现(项目的"中心结论"):重复与停止是同一根轴——治复读的训练会教模型提前截断,压停止信号又会加剧复读。v2 轮次改用父模型 245 条"写完才停"的完整答案做蒸馏才真正解耦,详见 WHITTLE_FINDINGS.md。

✅ 新手避坑清单(6 条)

从项目踩坑日志(WHITTLE_FINDINGS.md)提炼,按重要性排序:

  1. 先在已知正/负样本上验证指标——没见过真实缺陷的指标没有证据力;
  2. 评测视野要足够长——200 token 的短回答很少进入复读区,退化是长视野失败,本项目统一用 600 token;
  3. 审计训练/评测提示词重叠——v1 训练集曾包含 12 个门禁提示词中的 11 个,不处理会把门禁变成"背答案"(见 Mistake #12);
  4. 门禁加字数下限——只测重复会被"装哑"模型刷满分;
  5. 重复与早停是一对矛盾——只修一端会崩到另一端,两个方向都要有监测;
  6. 推理期调参救不了缺的知识——EOS 偏置从 0 扫到 9,模型从"全复读"滑向"全沉默",中间没有健康点,说明"何时算写完"这个信息根本不在权重里(见 EOS 偏置剂量响应曲线)。

📁 项目文件导航

文件 说明
loop_test.py 循环检测评测脚本(本文主角)
WHITTLE_FINDINGS.md 完整研究日志:指标验证、踩坑与失败记录
README.md 模型卡:架构、版本演进与实测表格
ROADMAP.md v3 计划:推理期缓解、容量扫描与训练路线
config.json 模型配置(hidden 5120、FFN 17408、线性/全注意力混合)
model.safetensors.index.json 根目录 v2.2 权重分片索引
v2.2/shared_expert_gate.safetensors v2.2 停止门(stop gate)张量归档

💡 一句话总结:循环幻觉检测 = 三类重复指标 + 长度下限 + 冻结的固定 harness。先有数字,再谈修复——这套清单可以直接搬到任何 LLM 项目。

登录后查看全文