把论文 PDF 丢进去:搭一条本地文献精读流水线,35B MoE 模型当审稿人
把论文 PDF 丢进去:搭一条本地文献精读流水线,35B MoE 模型当审稿人
“读论文”这件事,正在从人力密集转向流程密集。真正耗时的部分是把一篇 20 页论文里的方法、数据、结论拆开,逐条比对证据,再判断作者有没有在 Discussion 里悄悄把结论挪到另一个实验上。这件事容易被做成“让模型总结一下”,但总结恰恰是最没有校验价值的产物。
Sage-A1.5 值得拿来当这条流水线的引擎,原因不在它“能读长文”,而在它的两个可被 harness 调用的开关:Agentic Orchestration(把独立子问题派给并行的子代理)和 Verification Mode(把自我复核塞进模型自己的思维链,而不是外挂一个裁判模型)。这两件事刚好对应文献精读里最贵的两个动作:多篇并行读、逐条查证据。
本文不谈参数崇拜,只谈怎么把仓库里的权重文件变成一条可运行、可校验、失败可定位的精读流水线。
先摸清底座:35B 总参、3B 激活、256K 上下文
README 开头给出的定位是“35B Mixture-of-Experts agentic model”,基于 Qwen3.6-35B-A3B 与 Agents-A1 构建(见 README.md)。注意这里有个容易写错的细节:总参是 35B,激活约 3B,不是“36B”。这个差别在实际部署时非常关键。
从 config.json 可以直接读出架构骨架:
num_hidden_layers: 40,其中layer_types呈现严格的周期结构——每 3 层linear_attention后接 1 层full_attention,full_attention_interval: 4。也就是说 40 层里只有 10 层是全局注意力,其余 30 层是线性注意力。num_experts: 256、num_experts_per_tok: 8,外加shared_expert_intermediate_size: 512,是典型的细粒度 MoE + 共享专家结构。head_dim: 256、num_key_value_heads: 2(GQA)、partial_rotary_factor: 0.25,只有 1/4 的 head 维度参与旋转位置编码。max_position_embeddings: 262144,即原生 256K。
这套组合解释了为什么 256K 上下文在 35B 量级上是可用的:线性注意力层不需要保存随长度线性增长的完整 KV,KV 压力被压缩到 10 层全局注意力上。对文献流水线的直接意义是——你不必在第一步就做激进的分块,一整篇论文、甚至一组 5 篇的相关工作,可以一次性进入上下文,让模型自己决定哪些段落彼此相关。
模型体积也可以从 model.safetensors.index.json 的 metadata.total_size 确认:71,903,645,408 字节,约 67 GiB(bf16)。仓库里 14 个分片加一个 model-mtp.safetensors(MTP 投机解码头,对应 config 里的 mtp_num_hidden_layers: 1)。这意味着单张 80GB 卡能放下权重,但 KV 和服务余量会很紧;追求本地化的读者应优先考虑 FP8 或 4-bit 变体——技术报告里明确提到提供了这两类量化格式,并给出了从昇腾 910B/910C、A100/H100/H200/B200、RTX 系列到 MI300X、Apple Silicon 的部署路径。
PDF 不是文本:视觉塔和版面解析才是入口
把 PDF 当纯文本处理,是这条流水线最常见的质量塌方点。双栏排版、跨页表格、公式编号、脚注、图注,在 pdftotext 的输出里会互相穿插,方法段的实验设置很可能被拼进参考文献。
Sage-A1.5 是带视觉塔的多模态模型,直接吃页面图像。config.json 的 vision_config 给出:depth: 27、hidden_size: 1152、patch_size: 16、spatial_merge_size: 2、temporal_patch_size: 2、num_position_embeddings: 2304。
patch_size: 16 配 spatial_merge_size: 2,意味着一个视觉 token 覆盖 32×32 像素。据此可以把“一页论文要花多少上下文”算清楚(200 dpi 下 A4 约 1654×2338 像素):
ceil(1654 / 32) × ceil(2338 / 32) = 52 × 74 ≈ 3.8K tokens / 页
256K 上下文除以 3.8K,理论上能塞进 60 页以上的页面图像。反过来,如果你按 600 dpi 渲染,单页会膨胀到 8K 以上 token,收益近乎为零。而 preprocessor_config.json 里 longest_edge: 16777216 恰好是 4096×4096 的像素上限,shortest_edge: 65536 是 256×256 的下限——渲染边长超过 4096 会被静默缩放,纯属浪费 CPU。把渲染参数钉在 200–300 dpi 之间,是这条线上第一个真正省钱的决策。
版面解析质量方面,README 的评测表给出 OmniDocBench 91.5,是表中唯一 91 分以上的条目(Agents-A1 89.5、Kimi-K3 91.1、GPT-5.6-sol 85.8)。但必须严谨地读这个数字:OmniDocBench 的官方端到端评测是页级 Markdown 预测与标注组件的匹配,综合了归一化编辑距离的文本相似度、表格 TEDS 与公式 CDM。它衡量的是“版面还原得像不像”,不等于“理解得对不对”。把 91.5 当成“可以直接信任它的抽取结果”是过度解读——它恰恰说明图像到结构化文本这一段是可靠的,而这一段可靠,后面的校验才有意义。
起服务:三条命令的取舍
README 给了 SGLang 与 vLLM 两套等价起法。给文献流水线用的最小配置(README.md):
vllm serve InternScience/Sage-A1.5 \
--port 8000 \
--max-model-len 262144 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
三个参数有实际作用,不是模板:
--reasoning-parser qwen3:思维链会以reasoning_content字段单独返回。Verification Mode 的自审内容就落在这个字段里,不解析它等于把校验过程丢了。--tool-call-parser qwen3_coder:模型的原生工具调用是<tool_call><function=...><parameter=...>的 XML 形态(见 chat_template.jinja 中注入的格式说明),需要对应 parser 才能还原成 OpenAI 的tool_calls。--language-model-only:只想跑纯文本抽取、不需要读扫描版 PDF 时,跳过视觉编码器腾出 KV 空间。但注意流水线一旦走“页面图像”路线,这个开关就不能开。
吞吐优先时加 MTP 投机解码(--speculative-config '{"method":"mtp","num_speculative_tokens":3,"moe_backend":"triton"}');遇到超长综述要 512K,则是 VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 配 --hf-overrides 打开 YaRN factor: 2.0,并把 mrope_section: [11, 11, 10] 一并写进去。
这个 [11, 11, 10] 不是随手填的常数。head_dim 是 256、partial_rotary_factor 是 0.25,参与旋转的维度是 64,折算成 32 个频率对,按时间/高/宽三轴分配即为 11/11/10。Sage-A1.5 用的是交错式 M-RoPE(mrope_interleaved: true),专门服务图像与视频的位置编码。覆盖 RoPE 参数时漏掉 mrope_section 或 mrope_interleaved,多页图的空间位置关系就会被解释错——这是长文档场景下最隐蔽的一类退化。
采样参数需要分场景讨论。README 的推荐值是 temperature: 1.0、top_p: 0.95、top_k: 20、min_p: 0.0、presence_penalty: 1.5、repetition_penalty: 1.0,这是 agent 探索场景的配置。但文献抽取是复现任务,不是探索任务,而且我们后面要靠“逐字引用”做校验——presence_penalty: 1.5 会主动惩罚重复出现的 token,而原文引用天然包含大量重复词组。我的建议是抽取阶段把 temperature 降到 0.3–0.6、presence_penalty 归零,只在“找相关工作、发散假设”的子代理上保留探索参数。这是工程判断,不是模型要求,但会让后续的引用校验通过率明显更好看。
切分策略:按论证链切,不要按章节切
“按 Abstract / Intro / Method / Experiments / Conclusion 切块”看起来天经地义,但它切掉的是跨章节的论证关系:Method 里的一个假设,其证据在 Experiments 的第三张表,其边界条件在 Discussion 的第二段。按章节切完再逐块总结,得到的是五段互不相关的摘要,恰好丢掉了精读最想抓的东西。
技术报告在讲 Agentic Orchestration 时给了一组很好的抽象:Exploratory Composition 对应 A ∨ B ∨ C(同一问题的多条备选路径,相互竞争),Constructive Composition 对应 A ∧ B ∧ C(一个任务拆成互补子问题,需要拼装)。文献精读真正需要的是 Constructive 那一半——把一篇论文拆成若干条论证链,每条链自带“主张—证据—边界”。
落地上,切分单元应该是claim(主张)而不是 section(章节):
- Pass 0|页级版面还原:逐页渲染 + 逐页转 Markdown,输出必须带
page_no锚点。这一层只做“看得清”,不做任何归纳。 - Pass 1|论证链抽取:让模型在全文(或一个 section 组)上产出一张
claims列表,每条 claim 记录claim_id、statement、evidence_pages、method_refs、depends_on。depends_on是关键字段——它把“结论 C 依赖假设 H”这种关系显式化,让后面的校验器有图可查,而不是只有一堆孤立段落。 - Pass 2|逐链细读:每条 claim 单独一次调用,输入只带它声明的
evidence_pages对应原文。这样单次调用短、可并发、失败可重试,且天然避免了“整篇上下文里随便抓一句当证据”。 - Pass 3|校验:见下一节。
- Pass 4|成稿:只允许使用通过校验的 claim 组装阅读笔记。
这套划分的价值在于:Pass 1 的错误是结构错误(漏了一条链、把两条链合并),Pass 2 的错误是归属错误(证据引错页、结论安错实验)。两类错误需要用完全不同的手段去抓,混在一次调用里就都抓不住。
一段可用的 schema(作为 response_format 的 JSON Schema 或工具参数):
CLAIM_SCHEMA = {
"type": "object",
"required": ["claims"],
"properties": {
"claims": {
"type": "array",
"items": {
"type": "object",
"required": ["claim_id", "statement", "evidence", "method", "data", "conclusion"],
"properties": {
"claim_id": {"type": "string"},
"statement": {"type": "string", "description": "作者主张的一句话表述"},
"depends_on": {"type": "array", "items": {"type": "string"}},
"method": {
"type": "object",
"required": ["setting", "anchor"],
"properties": {
"setting": {"type": "string"},
"anchor": {"$ref": "#/$defs/anchor"},
},
},
"data": {
"type": "object",
"required": ["metric", "value", "anchor"],
"properties": {
"metric": {"type": "string"},
"value": {"type": "string"},
"anchor": {"$ref": "#/$defs/anchor"},
},
},
"conclusion": {
"type": "object",
"required": ["text", "scope", "anchor"],
"properties": {
"text": {"type": "string"},
"scope": {"type": "string", "description": "结论的适用条件与边界"},
"anchor": {"$ref": "#/$defs/anchor"},
},
},
},
},
}
},
"$defs": {
"anchor": {
"type": "object",
"required": ["page", "quote"],
"properties": {
"page": {"type": "integer"},
"quote": {"type": "string", "description": "逐字摘自该页的原文片段,不得改写"},
},
}
},
}
三个 anchor 字段(分别锚在方法、数据、结论上)是整个设计的支点。没有 page + quote,你拿到的是无法验证的自然语言;有了它,校验就从“我觉得对不对”变成“这段字符串在不在这一页”。
三栏结构化:让“方法/数据/结论”各自带出处
把抽取结果强行压成 method / data / conclusion 三栏,好处不是好看,而是每一栏的失败模式不同,可以分栏设闸:
method.setting出错通常是粒度错(把 baseline 的设置写成主方法的设置)。data.value出错通常是数字漂移(把 61.2 写成 61.2% 的提升、把绝对值写成相对值)。conclusion.scope出错通常是范围扩张(在 ImageNet 上验证,结论写成“通用视觉骨干都适用”)。
实现上要注意两个来自 chat_template.jinja 的硬约束,它们会直接让请求 400:
第一,system 消息不能包含图像。 模板里对 system content 做了显式拦截:
{%- if is_system_content %}
{{- raise_exception('System message cannot contain images.') }}
{%- endif %}
所以协议、schema、输出约束全部放 system,页面图像只能放 user turn。写成下面这样:
messages = [
{"role": "system", "content": READER_PROTOCOL + json.dumps(CLAIM_SCHEMA)},
{"role": "user", "content": [
{"type": "text",
"text": f"以下是论文第 {p} 页,请只依据本页可见内容抽取,不得跨页补全。"},
{"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]},
]
模板对 image / image_url / video 三类 item 都会展开成 <|vision_start|><|image_pad|><|vision_end|>,并把计数交给 processor 里的 image_token_id(248056)对齐视觉特征,所以 base64 走 image_url 是正路。
第二,工具结果的注入形态很特殊。 模板会把连续的 role="tool" 消息合并成一个 user turn,每条包在 <tool_response>...</tool_response> 里:
{%- elif message.role == "tool" %}
{%- if loop.previtem and loop.previtem.role != "tool" %}
{{- '<|im_start|>user' }}
{%- endif %}
{{- '\n<tool_response>\n' }}
这意味着你的 harness 如果要回传“已抽取的 claim”给模型做二次比对,不该自己拼一段 user 文本,而应走 tool 消息——模型是在这个格式上训练的,格式对了,它对“这是观测而不是指令”的判断才稳。反过来,如果你想在第二轮追加人工指令(比如“重查第 7 页的这张表”),必须用真正的 user 消息,否则会被当成工具返回值处理。
顺带一个成本开关:模板在 add_generation_prompt 时会插入 <think>,若传 enable_thinking: false 则插入空的 <think>\n\n</think> 直接进入回答。版面还原(Pass 0)这种确定性的转写任务,关掉思考能省掉大量 token;而 Pass 2 的论证链抽取、Pass 3 的复核,必须留着思考。
质量校验:三种可自动执行的“张冠李戴”检测
这是整条流水线真正有工程价值的部分。模型的自我复核是概率性的,程序化校验是确定性的,两者必须叠加。
闸门一:引用必须逐字命中
最有效的反张冠李戴手段,简单到有点朴素:把 anchor.quote 拿回原文做字符串匹配。
import re, unicodedata
def norm(s: str) -> str:
s = unicodedata.normalize("NFKC", s)
s = s.replace("-\n", "").replace("\n", " ") # 处理换行连字符
s = re.sub(r"\s+", "", s) # 去掉所有空白
return s.lower()
def check_anchor(anchor, page_text: dict[int, str]) -> bool:
page = anchor["page"]
if page not in page_text:
return False # 页码不存在 = 幻觉
return norm(anchor["quote"]) in norm(page_text[page])
判定规则要写死:命中率低于阈值的 claim 直接丢弃,不允许“改写后仍然算对”。这条规则会砍掉一批看起来合理的结论,但它砍掉的正是你要砍的。
注意这里出现了上文那个采样参数冲突:presence_penalty: 1.5 会让模型倾向于改写措辞以避开重复 token,而逐字引用恰恰要求原样复现。两者同时开着,闸门一的误杀率会显著上升。这也是为什么抽取阶段要把这个惩罚项关掉。
闸门二:Verification Mode 打开模型内生的复核
Sage-A1.5 的 Verification Mode 是选择性开启的:通过 chat_template_kwargs 传 verification: true,模板会把固定后缀追加到 system content 末尾(chat_template.jinja):
{%- set verify_tail = 'Verification protocol: enabled' %}
{%- set verify_trigger = '\n\n' + verify_tail %}
{%- set verify_on = verification is defined and verification %}
训练时这个后缀被逐字节对齐到 system 内容的结尾,推理时必须保持一致——所以改 system 文案不会破坏它,但用字符串 "true" 代替布尔 true 会直接报错。模板里写得很明确:
{{- raise_exception('verification must be a boolean, not the string ' ~ verification|tojson ~ ...) }}
调用侧(README 给的写法):
resp = client.chat.completions.create(
model="InternScience/Sage-A1.5",
messages=messages,
tools=TOOLS,
temperature=0.6,
extra_body={"chat_template_kwargs": {"verification": True}},
)
print(resp.choices[0].message.reasoning_content) # 自审过程在这里
print(resp.choices[0].message.content) # 最终产物
第三个坑:verification: true 要求 system 消息非空。模板在 system 缺失或只有空白字符时抛异常,转成 HTTP 400。日志里看到 400 却查不出原因时,先看这条。
效果有多少?技术报告 BrowseComp 的对照数据(Table 5)给了诚实答案:Verification teacher 常模 81.0,开启 verify 模式 85.5,涨 4.5 个点;而在两次都给出答案的配对样本里,平均输出 token 从 23,245 降到 21,962,交互轮次从 84.81 降到 82.14。多做了推理,总成本反而下降——因为提前识别死路省下的搜索比复核本身花掉的更多。这个结论对文献场景同样成立:早一点发现“第 7 页那张表根本不是在验证这个假设”,比读完 20 页再回头改要便宜。
但同样要克制:4.5 个点的提升是检索密集型任务上的结果,不能直接搬到“表格数字抽取”上。Verification 擅长的是发现探索方向无效,不是保证数字没错。数字错还得靠闸门一。
闸门三:用独立子代理做“审稿人”
第三层要解决的是单次调用看不见的问题:模型自己给自己打分,天然有确认偏误。这时用 Agentic Orchestration 的 spawn_subagent——注意它不是模型自动就会调用的能力,而是你在 harness 里注册一个工具之后才生效。README 里明确写了这一点:模式“通过注册工具打开”。
工具 schema 的三个必填字段设计得很讲究:
{
"task": "自包含的子问题;子代理看不到主对话",
"context": "子代理需要的背景事实与约束",
"expected_output": "期望答案的形态,例如 'a year YYYY'、'a person name'",
}
对文献场景,这正好是“审稿任务书”的三要素。一个可用的审稿子代理调用:
{
"task": "判断下列结论是否由所给证据页支撑:结论=<conclusion.text>;声称证据=第 <page> 页 <quote>",
"context": "该论文研究的是 <topic>;结论的适用条件被声称是 <scope>;证据原文见随附页面图像",
"expected_output": "JSON: {verdict: supported|overclaimed|wrong_attribution|insufficient, reason, corrected_scope}"
}
关键在于子代理的上下文是隔离的:它看不到主代理此前“倾向于认为这条结论成立”的推理,只能看任务书里给的东西。这正是审稿需要的独立性。README 也给了两个 harness 侧的成本旋钮:max_tasks_per_spawn 默认 5、subagent_max_turns 默认 20,超限的批次会被直接拒绝而不是截断——这意味着你的批量派发逻辑必须自己控制批量大小,别指望服务端帮你裁。
还有一个必须检查的返回值约定:子代理在无法解决时返回 "UNKNOWN" 并带 status: unknown 或 insufficient_evidence,而不是猜一个。所以主控侧的合并逻辑必须先看 status:
def accept(result: dict) -> bool:
if result.get("status") in {"unknown", "insufficient_evidence"}:
return False
return bool(result.get("evidence"))
这一条比任何 prompt 技巧都有效。README 把“检查 status 再使用答案”写进了 Notes,说明这是设计意图而非可选建议——子代理的沉默比它的猜测更有信息量。
把三层串起来的判定矩阵
| 闸门一(逐字命中) | 闸门二(verify 自审) | 闸门三(子代理裁定) | 处置 |
|---|---|---|---|
| 通过 | 通过 | supported | 进入笔记 |
| 通过 | 通过 | overclaimed | 保留证据,重写 scope |
| 通过 | 不通过 | — | 人工抽查(多见于跨页推理) |
| 不通过 | — | — | 直接丢弃,计入幻觉率 |
这张表可以直接落成一个 pass / fix / drop 的三态,而不是二值判断。“overclaimed 但证据真实”是最有价值的一类中间态:它说明模型读对了原文,只是在概括时把范围放大了——这类错误恰恰是人工精读时最容易漏掉的。
一个完整的最小调用骨架
把上面几层拼起来,Pass 2 的单链抽取大约是这样:
import base64, json
from openai import OpenAI
import pypdfium2 as pdfium
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
pdf = pdfium.PdfDocument("paper.pdf")
def render(page_idx: int, dpi: int = 200) -> tuple[str, str]:
page = pdf[page_idx]
bitmap = page.render(scale=dpi / 72)
pil = bitmap.to_pil()
import io
buf = io.BytesIO()
pil.save(buf, format="JPEG", quality=92)
return base64.b64encode(buf.getvalue()).decode(), pil.size
def extract_claim(claim: dict, pages: list[int]) -> dict:
content = [{"type": "text",
"text": f"待核查主张:{claim['statement']}\n"
f"请只依据以下页面回答,quote 必须逐字摘录,不得改写。"}]
for p in pages:
b64, _ = render(p)
content.append({"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{b64}"}})
resp = client.chat.completions.create(
model="InternScience/Sage-A1.5",
messages=[
{"role": "system", "content": READER_PROTOCOL + json.dumps(CLAIM_SCHEMA)},
{"role": "user", "content": content},
],
temperature=0.4,
top_p=0.95,
presence_penalty=0.0,
max_tokens=4096,
extra_body={"chat_template_kwargs": {"verification": True}},
)
msg = resp.choices[0].message
return {"claims": json.loads(msg.content),
"self_review": msg.reasoning_content}
三个细节值得单独标出来:pages 只传该 claim 声明的证据页(控制成本,也降低串页机会);presence_penalty 归零(保逐字引用);reasoning_content 必须落盘(否则 Verification 白开)。
这套东西的真实边界
把边界说清楚,比吹效果更有用。
第一,版面解析分数不等于理解分数。 OmniDocBench 91.5 是页级转写的综合分,AA-LCR 81.0 才是跨文档长上下文推理的指标,而且后者是同量级模型里的最好成绩(Agents-A1 74.2、Kimi-K3 88.7)。两个数字差着十几个点,恰好说明“读得清”和“读得懂”之间还有一段路,这段路由校验来补。
第二,编排与复核的训练重心在检索与研究报告合成。 技术报告的 Limitation 写得很实在:当前的 orchestration 与 verification 训练“仍以搜索与研究综合为中心”,超长轨迹仍会累积可观的上下文开销。文献精读虽然同属“长程研究”,但它是证据对齐类任务,不是答案检索类任务,能力迁移不会免费。这也是为什么本文把校验放在程序化字符串匹配上,而不是主要依赖模型自审。
第三,上下文仍然会被吃满。 一页 3.8K 视觉 token 的估算意味着,一篇 60 页的博士论文加 5 篇参考文献,光图像就逼近 250K。技术报告已经给出下一步方案:用中间验证点作为边界,把已完成的历史压缩成“阶段记录”,只保留关键证据、被否定的假设、未解问题与当前状态,且只压缩最近两个验证点之间的片段。这条思路在本地流水线里可以手动实现——按 claim 分片调用,本质上就是人肉版的阶段压缩。
第四,别把它当成“全自动审稿人”。 技术报告自己也承认,科学展示仍停留在计算仿真与历史数据回放,没有进入真实物理实验。文献精读同理:它能做到“每条结论都有页码和原文”,做不到“这个实验设计是否合理”。前者可以自动化,后者仍然需要人。
真正可落地的定位是:它把 20 页论文压成 8 条带锚点的论证链,把“哪条结论没证据”从阅读问题变成查表问题。剩下的判断,还是你的。