读懂审稿人:Supervisor-Skills 六类审稿人心态库(Mindset Library)与数据驱动的 Rebuttal 策略

原创2026-10-10 23:31:552,284 阅读
文章标签:AI 技能人工智能AI 写作深度研究AI 评测教育

读懂审稿人:Supervisor-Skills 六类审稿人心态库(Mindset Library)与数据驱动的 Rebuttal 策略

审稿人的一句"不 convincing"背后,往往藏着可以被统计和分类的规律。Supervisor-Skills 的 rebuttal-guidance 技能内置了一份由历史 review–rebuttal 行为数据自动生成的心态库(Reviewer Mindset Library),将审稿人归纳为 6 个行为簇,并为每个簇给出样本占比、历史涨分率、规则差异(rule diff)、效应量(Cohen's d)以及成功/失败范式。读完本文,你将掌握这套心态库的完整画像与数据口径,知道如何把一条审稿意见先"识别人"再"定策略",并学会将心态匹配、策略维度、回应模板与完整性检查串联成一条可执行的 Rebuttal 工作流。


心态库从哪来:条件说服模型与行为聚类

rebuttal-guidance 技能的核心模型是条件说服 P(Z | X, Y)(见 SKILL.md):

  • X:审稿人心态(从 review 文本推断出的行为簇);
  • Y:rebuttal 策略向量(优先强调哪些战术维度);
  • Z:成功(涨分或论文被接收)。

心态库正是为变量 X 提供"可查询的数据库"。根据 mindset-library.md 的头部说明,该库是 Auto-generated(自动生成)的,原始数据来自 data/behavior/mindset_library.json,聚类方法标注为 behavior_space_kmeans_llm——即用 K-Means 在行为空间上聚类、再用 LLM 为每个簇做语义命名与画像提炼,最终得到 6 个心态簇。

按各簇样本占比推算,这份库约覆盖 1000 条 review(95 + 205 + 204 + 98 + 345 + 53 = 1000),每个簇都附有成功 rebuttal 样本数。需要说明的是:生成该库的原始 JSON 数据文件不在当前仓库中,仓库保留的是其加工后的"快照"文档,因此本文引用的全部统计数字均以 mindset-library.md 为准。

六类审稿人心态全景总览

六类心态合计覆盖了从"温和到严厉、从建设到否定"的行为光谱。先看全局数据(来源同上):

心态簇 样本占比 历史涨分率 接收率 成功 rebuttal 样本 一句话 Key Strategy
Cluster 3 精准建设型 9.5%(95) 36.1% 43.2% 44 结构化直接回应 + 具体证据 + 自信克制语气
Cluster 4 温和质疑型 20.5%(205) 18.7% 47.3% 99 自信直接回应,锚定论文证据,受控让步并避免模糊承诺
Cluster 0 权威否定型 20.4%(204) 14.7% 27.9% 62 自信直接回应,用论文依据和具体证据支撑,避免模糊承诺
Cluster 5 严厉否定型 9.8%(98) 13.8% 27.6% 30 自信直接回应,用具体证据替代模糊承诺
Cluster 1 温和建设型 34.5%(345) 13.4% 50.4% 177 自信直接回应,用具体证据支撑,避免空泛承诺
Cluster 2 简洁肯定型 5.3%(53) None% 52.8% 27 自信直接回应,高质量澄清,受控让步,避免过度承诺

三个值得注意的读数:

  1. 涨分率与接收率并不强相关。温和建设型(Cluster 1)接收率最高(50.4%)但涨分率仅 13.4%;精准建设型(Cluster 3)涨分率最高(36.1%)——说明"接收"更多取决于论文底子,"涨分"更多取决于 rebuttal 是否能说服这位具体的审稿人。
  2. Cluster 1 温和建设型是最大的群体(34.5%),且最容易沟通;而 Cluster 2 简洁肯定型历史涨分率记为 None%,表示该簇样本过少、无法给出可靠涨分估计,使用时需要保守。
  3. 权威否定型与严厉否定型的接收率都低于 28%,属于典型的"低开放度"审稿人,checklist.md 专门对此类心态给出特别提示(下文详述)。

六类心态逐簇深度画像

这一部分是心态库的主体。每个簇都从五个角度刻画:画像(是什么样的人)、识别信号(从文本怎么认出来)、规则统计差异(成功/失败组在策略使用率上的 Top 3 差距)、策略向量效应(Cohen's d 衡量的维度区分力)、成功/失败范式(LLM 从数据提炼的 do's and don'ts)。

Cluster 3:精准建设型(Precise Constructive)

画像:这类审稿人高度关注论文的可执行性和具体细节,倾向于提出明确、可操作的建议,并引用具体文献或方法。他们批评严厉度适中,但建设性极强,容易被说服,核心心态是帮助作者改进论文,而非否定工作。

识别信号:

  • 指出缺乏具体细节,如参数大小、公式形式或实现步骤;
  • 引用具体文献或方法,指出与已有工作的矛盾或不足;
  • 提出明确的修改建议,如"请澄清""需要给出具体形式"。

规则统计差异(Top 3,成功组 vs 失败组):

规则 成功 失败 Δ
明确承诺修改 65.9% 81.8% -15.9
直接引用/逐条对应 77.3% 66.7% +10.6
新实验/新结果 61.4% 51.5% +9.9

注意第一个数字是负差异:对这一簇,失败组反而更频繁地"承诺修改"——说明单纯承诺而不给出实质内容,在这类审稿人面前是减分项。

策略向量效应(Cohen's d)——成功组显著更高:

  • structure_quality(结构质量):成功均值 4.614 / 失败均值 3.157,d = 1.107
  • paper_grounding(论文锚定):成功均值 4.386 / 失败均值 2.98,d = 1.074
  • clarification_quality(澄清质量):成功均值 4.636 / 失败均值 3.235,d = 1.07

失败组更高(风险维度):

  • vague_future_work(模糊未来工作):1.386 vs 2.333,d = -0.727
  • overpromise_risk(过度承诺风险):1.295 vs 1.745,d = -0.432

Success patterns:

  • 结构化直接回应:对审稿人的每个弱点逐条编号或使用标题直接回应,引用原文并给出具体解释或证据,避免笼统解释;
  • 具体证据与论文锚定:提供新实验、图表或定量结果支撑论点,并引用论文中的具体位置(如章节、图表)增强可信度;
  • 自信且克制的语气:以积极、自信的语气回应,同时保持建设性,避免防御性或过度承诺,在承认局限性时明确已做的改进;
  • 有控制的让步与承诺:承认局限性的同时,明确说明已做的改进或未来方向,避免模糊的"未来工作"或过度承诺。

Failure patterns:

  • 模糊未来工作承诺:"未来工作""我们计划"等表述缺乏具体行动或证据;
  • 过度承诺或泛泛而谈:承诺过多改进但无具体计划或证据;
  • 缺乏结构的长篇解释:冗长且未直接引用审稿人的具体问题;
  • 过度解释或回避核心问题:对技术质疑做冗长理论解释,却不提供新证据或直接承认局限。

Key strategy:结构化直接回应 + 具体证据 + 自信克制语气。

Cluster 4:温和质疑型(Mild Skeptic)

画像:态度温和,批评不尖锐,但缺乏具体建议和建设性。倾向于表达困惑或指出表面缺失,而非深入分析或提供可执行改进方案。心态上可能中立或略消极,但不愿严厉否定,因此给出中等评分并留下模糊质疑。

识别信号:

  • 以 "I am confused" 或 "If I'm understanding correctly" 等模糊质疑开头;
  • 指出问题但未提供具体修改建议或替代方案;
  • 评论简短,缺乏对方法或结果的深入技术分析。

规则统计差异(Top 3):

规则 成功 失败 Δ
适度承认 54.5% 66.2% -11.7
澄清说明 53.5% 64.6% -11.1
明确承诺修改 59.6% 49.2% +10.4

策略向量效应(Cohen's d)——成功组显著更高:

  • tone_confidence(语气自信):4.535 vs 3.0,d = 1.246
  • clarification_quality:4.404 vs 2.943,d = 1.148
  • direct_address(直接回应):4.515 vs 3.048,d = 1.116

失败组更高(风险维度):

  • vague_future_work:1.616 vs 2.543,d = -0.687
  • overpromise_risk:1.404 vs 2.219,d = -0.685

Success patterns:

  • 自信直接回应:以高置信度语气直接回应质疑,避免含糊其辞或过度道歉;
  • 高质量澄清与论文锚定:提供清晰、具体的澄清,紧密引用论文原文、图表、附录或具体实验证据;
  • 受控让步与具体证据:承认局限性的同时,立即用新数据、分析或可控改进方案平衡,避免空洞承诺。

Failure patterns:

  • 过度让步与模糊未来工作:频繁承认不足却无具体改进方案;
  • 冗长解释与缺乏聚焦:花过多篇幅澄清误解或补充背景,偏离核心;
  • 过度澄清但无论文锚定:解释很多却不引用论文具体内容(如表格、附录)。

Key strategy:自信直接回应,锚定论文证据,受控让步并避免模糊承诺。

Cluster 0:权威否定型(Authoritative Negativist)

画像:自信且挑剔,倾向于以高姿态指出论文不足,引用具体文献或技术细节来支持否定性评价。写作风格直接、简洁,常使用列表或短句,关注点在于论文的缺陷和局限性,对作者的辩解持低接受度。

识别信号:

  • 用短句或列表列出批评点,如 "Unclear text encoder";
  • 引用具体文献或技术细节否定贡献,如 "has been studied in [1]";
  • 直接指出论文声称过强或缺乏支持,如 "claims are too strong"。

规则统计差异(Top 3):

规则 成功 失败 Δ
明确承诺修改 51.6% 66.2% -14.6
直接引用/逐条对应 72.6% 58.8% +13.8
新实验/新结果 46.8% 40.0% +6.8

策略向量效应(Cohen's d)——成功组显著更高:

  • clarification_quality:4.419 vs 2.794,d = 1.198
  • tone_confidence:4.452 vs 2.858,d = 1.177
  • direct_address:4.613 vs 3.0,d = 1.112

失败组更高(风险维度):

  • vague_future_work:1.419 vs 2.603,d = -0.801(全库风险最高的负效应之一)
  • overpromise_risk:1.323 vs 2.333,d = -0.767

Success patterns:

  • 自信直接回应:正面回应审稿人的具体质疑,避免回避或模糊措辞;
  • 高质量澄清与论文锚定:提供清晰、有深度的解释,锚定论文原文、理论依据或补充实验;
  • 受控让步与具体证据:承认合理意见或局限性的同时,用具体实验数据、理论分析或新证据支撑核心贡献。

Failure patterns:

  • 模糊未来工作或过度承诺:"将在未来工作中解决"或夸大承诺,缺乏即时证据;
  • 轻视或辩解式回应:对批评轻描淡写或过度辩解(如"bug 不影响结果""并非追求 SOTA"),激化不信任;
  • 弱化新颖性辩护:辩护新颖性时缺乏具体对比或证据,仅强调方法不同。

Key strategy:自信直接回应,用论文依据和具体证据支撑,避免模糊承诺。

Cluster 5:严厉否定型(Harsh Dismissive)

画像:以严厉、否定的语气评价论文,批评力度高但建设性低,很少提供可执行的改进建议,不易被说服。关注明显缺陷(写作质量、动机误导、方法局限),引用具体细节较少,整体风格简洁、直接、负面。

识别信号:

  • 使用强烈否定词,如 "not well-written""misleading""limited";
  • 批评缺乏建设性,不提供具体改进方向;
  • 语气简洁、直接,常以短句或列表形式列出问题。

规则统计差异(Top 3):

规则 成功 失败 Δ
新实验/新结果 60.0% 34.3% +25.7(全库最大正差异)
明确承诺修改 43.3% 60.0% -16.7
澄清说明 63.3% 77.1% -13.8

对这类审稿人,补新实验的区分度是全库最高的(Δ +25.7),而"承诺修改"和"澄清说明"反而常见于失败组——纯解释和承诺对严厉否定者几乎无效。

策略向量效应(Cohen's d)——成功组显著更高:

  • tone_confidence:4.4 vs 2.603,d = 1.307(全库最高效应)
  • direct_address:4.5 vs 2.691,d = 1.241
  • clarification_quality:4.333 vs 2.588,d = 1.212

失败组更高(风险维度):

  • vague_future_work:1.433 vs 2.574,d = -0.721
  • overpromise_risk:1.533 vs 2.309,d = -0.551

Success patterns:

  • 自信直接回应:不回避核心问题,展示对工作的深刻理解;
  • 具体证据支撑:用新实验、定量结果或具体数据说话,而非仅靠解释或承诺;
  • 结构化清晰阐述:用分点、标题组织回应,针对每个批评点提供高质量澄清;
  • 有控制的让步:承认部分不足的同时,立即转向强调自身贡献或改进。

Failure patterns:

  • 模糊未来工作承诺:用"将在未来工作中解决"代替当前证据;
  • 过度承诺风险:夸大方法能力或承诺不切实际的效果;
  • 过度让步与自我否定:轻易承认批评、大幅修改术语或定位,削弱贡献感。

Key strategy:自信直接回应,用具体证据替代模糊承诺。

Cluster 1:温和建设型(Gentle Constructive)

画像:核心心态是支持作者改进论文,而非挑剔缺陷。写作风格温和、具体,常以提问或建议形式提出改进点,关注可执行性,批评严厉度低,容易被说服。重视论文的贡献和基线,但会针对细节提出建设性疑问。

识别信号:

  • 使用 "It would be helpful if..." 或 "Is this still true..." 等温和提问句式;
  • 评论中明确提及 "Strengths" 和 "Questions",结构清晰且正面开头;
  • 建议具体且可操作,如要求补充特定任务或分析,而非泛泛批评。

规则统计差异(Top 3):

规则 成功 失败 Δ
新实验/新结果 56.5% 46.6% +9.9
澄清说明 60.5% 68.6% -8.1
适度承认 54.2% 61.0% -6.8

策略向量效应(Cohen's d)——成功组显著更高:

  • tone_confidence:4.593 vs 3.398,d = 1.036
  • direct_address:4.689 vs 3.512,d = 0.985
  • clarification_quality:4.492 vs 3.349,d = 0.963

失败组更高(风险维度):

  • overpromise_risk:1.35 vs 2.018,d = -0.637
  • vague_future_work:1.542 vs 2.157,d = -0.51

Success patterns:

  • 自信直接回应:正面回应每个具体问题,避免含糊、回避或过度道歉;
  • 具体证据支撑:提供新实验、定量结果、数据或论文中的具体引用;
  • 有控制的让步:承认审稿人观点合理或自身局限性的同时,清晰解释自身立场、核心贡献或已有证据;
  • 高质量澄清与结构化:用标题、编号或分段组织回复,并引用论文具体内容(表格、章节)。

Failure patterns:

  • 过度承诺风险:承诺过多未来工作或无法立即验证的改进;
  • 模糊未来工作:用 "will be explored" 等含糊计划替代具体回应;
  • 缺乏自信的辩解:语气犹豫或过度道歉,回应偏离具体问题。

Key strategy:自信直接回应,用具体证据支撑,避免空泛承诺。

Cluster 2:简洁肯定型(Concise Affirmative)

画像:倾向于给出简短、笼统的正面评价,很少提供具体细节或可操作建议。心态上可能认为论文已经足够好、无需深入批评,或审稿投入有限,只给出概括性反馈。

识别信号:

  • 评论非常简短,通常只有一两句话;
  • 使用 "rigorous""strong""good" 等笼统正面词汇,但缺乏具体支撑;
  • 不指出具体问题或改进方向,建设性极低。

规则统计差异(Top 3):

规则 成功 失败 Δ
新实验/新结果 48.1% 65.0% -16.9
澄清说明 59.3% 75.0% -15.7
明确承诺修改 74.1% 60.0% +14.1

策略向量效应(Cohen's d)——成功组显著更高:

  • tone_confidence:4.731 vs 3.44,d = 1.136
  • clarification_quality:4.654 vs 3.48,d = 1.043
  • direct_address:4.808 vs 3.64,d = 1.008

失败组更高(风险维度):

  • overpromise_risk:1.154 vs 1.6,d = -0.646
  • vague_future_work:1.423 vs 1.64,d = -0.24

Success patterns:

  • 自信直接回应:直接回应每个问题,避免含糊或防御性语言;
  • 高质量澄清:结合论文内容或引用文献,而非仅靠新实验;
  • 受控让步:承认局限性的同时,明确展示已做的改进或具体计划;
  • 论文锚定:引用具体章节、图表或修改位置,增强可验证性;
  • 结构化回应:用编号或分段组织回应,便于追踪。

Failure patterns:

  • 过度承诺风险:承诺未来开放代码或大量实验,却无当下证据;
  • 模糊未来工作:将关键问题推迟到未来研究;
  • 过度提供新实验但缺乏针对性:实验虽多但未回应核心质疑,显得冗余或偏离重点;
  • 防御性辩论:与审稿人争论术语或定义,而非直接解决问题。

Key strategy:自信直接回应,高质量澄清,受控让步,避免过度承诺。

从数据到策略:三个解读维度

心态库中的数字不是装饰,而是策略选择的依据。strategy-dimensions.md 明确了如何解读:

  1. 规则统计差异(rule_diff Top 3):正值表示"成功组该策略使用率更高",应加强;负值表示"失败组反而更常使用",需谨慎——很可能是过度补救信号(如对精准建设型"明确承诺修改"Δ -15.9,说明承诺用多了反而失败)。
  2. Cohen's d 效应:d > 0.8 表示该策略维度对此心态有显著区分力。上面几乎每个簇的成功组都有 tone_confidence、direct_address、clarification_quality 三个维度 d > 0.9——自信、直接、高质量澄清是全库通用的成功基线。
  3. 风险维度:overpromise_risk(过度承诺风险)与 vague_future_work(模糊未来工作)是分数越高越危险的两个反向指标。所有簇的失败组在这两项上都更高,说明"推给未来工作"和"空头承诺"在任何心态下都是减分项。

另外,strategy-dimensions.md 还给出了四组有协同效应的策略组合,同时高分时成功率更高:

  • direct_address + specific_evidence:直接回应 + 具体证据,核心组合;
  • specific_evidence + paper_grounding:数据有论文锚点,可信度最高;
  • new_experiment_strength + specific_evidence:新实验要配具体数字;
  • tone_confidence + 低 overpromise_risk:自信但不夸大。

实战落地:识别 → 匹配 → 策略 → 模板 → 检查

心态库不是孤立的知识,而是 rebuttal-guidance 七步流程中的第三步(Step 3: Match reviewer mindset)。完整工作流为:清点 concern(Step 1)→ 分类 concern(Step 2)→ 匹配心态(Step 3)→ 读取心态数据定策略(Step 4)→ 逐条给出指导(Step 5)→ 完整性检查(Step 6)→ 输出(Step 7)。其中与心态库衔接的关键环节如下。

第一步:按行为信号打分并匹配心态

思维匹配启发式(mindset-matching-heuristics.md)要求对 review 文本逐项打分(1 = 低,5 = 高),再对照心态簇特征匹配。打分信号表如下:

信号 高(5)典型表述 低(1)典型表述
Openness "willing to raise""if addressed""open to" "reject""not convincing""final decision"
Severity "fundamental flaw""fatal issue""strong reject" "minor concern""small issue"
Constructiveness "I suggest""would strengthen if""recommend adding" 纯否定,无改进路径
Specificity 引用 Table 2、Sec 3、方程编号 "overall not convincing",无具体指向
Skepticism "not convinced""insufficient evidence""doubtful" 中性措辞,未表达怀疑
Harshness "reject""misleading""wrong""unacceptable" 礼貌委婉
Actionability "add experiment""compare to X""ablation needed" 无可执行建议

匹配流程四步:先对 5–7 个信号打分并记录触发分数的原文短语;再将信号组合与速查表对照,选最接近的心态;若两个心态接近,标注 primary + secondary;置信度判定——3 个以上信号对齐为高,review 过短或通用为低。置信度直接影响输出:高置信度直接用该簇 success_patterns 指导策略;中置信度并列给出两个心态的策略差异;低置信度以通用策略为主,并说明心态判断不确定。

注意:六类心态速查表中"实验导向型""高怀疑严厉型""强硬多质疑型"属于早期启发式版本的说法,心态库的当前版本以 6-cluster 数据驱动版为准(即本文上一节详述的六簇)。

第二步:按心态读取数据、定策略优先级

匹配到簇后,从 mindset-library.md 对应簇读取五类信息:历史涨分率(校准涨分可能性)、rule diff Top 3(加强正差异战术)、Cohen's d 效应(突出成功组 d > 0.8 的维度)、success/failure patterns(具体 do's and don'ts)、Key strategy(一句话策略)。再与 strategy-dimensions.md 的 10 个维度交叉核对。每个 concern 最终标注为形如:

R1.W2 → 优先: specific_evidence, paper_grounding, clarification_quality
         规避: high overpromise_risk, vague_future_work

第三步:按 concern 类型套用模板

在写策略前,先按 concern-classification.md 把每条 Weakness / Question 归类为 misunderstanding | evidence_gap | novelty | baseline_fairness | scope_claim | writing_clarity | theory | efficiency | other 之一,再选择模板。三类模板与心态的对应关系见 response-templates.md:

  • 模板 A(澄清误解):适用于 misunderstanding / writing_clarity,2–4 句澄清 + 指向 Sec. X / Table Y / Appendix Z + 一个具体事实或数字;对高 constructiveness 审稿人效果最好;
  • 模板 B(补充证据):适用于 evidence_gap / baseline_fairness / efficiency,给出新结果的具体数字和对比;实验导向型、强硬多质疑型对新实验反应最正面;
  • 模板 C(承认局限,收窄范围):适用于 scope_claim / novelty / theory,承认局限后立即给出"在缩窄范围下贡献仍然成立"的论据;高怀疑严厉型面对 scope_claim 时,收窄 claim 比辩解更有效。

同时注意 Weakness 与 Question 的差异:Weakness 的心智是"这里有缺陷",回应重点是证据 + 必要时修改;Question 的心智是"我没看懂/请确认",只需简短回答 + Section/Table 指针,常见错误是过度道歉。

第四步:完整性检查与低开放度审稿人预案

最终输出前用 checklist.md 逐项核对:每条 W/Q 都有指导块、类型已标注、心态簇与置信度已注明、策略维度已标注、无捏造实验数字(未经验证标 [TO VERIFY])、澄清型与新实验型已区分、防御性表述已标记、过度承诺风险已标记。语气红线包括:

  • "You misunderstood / You missed / This is trivial":攻击性,需改写;
  • "Significantly / clearly / undoubtedly":无数字支撑时是空话;
  • "We will fully address in future work":无当下行动时是回避信号;
  • 过度道歉("We sincerely apologize for..."):削弱论点。

低开放度审稿人的特别预案:若匹配到的心态历史涨分率 < 15%(如权威否定型 14.7%、严厉否定型 13.8%、温和建设型 13.4%),checklist 建议:明确告知用户单靠文字说服成功率有限,优先考虑提供一个决定性的新实验;设定现实目标(澄清最核心的误解 + 一个最小可信的新证据);不要写过长的 rebuttal——简洁有力优于面面俱到。

使用边界与注意事项

最后,回到心态库本身的定位,有几点需要在使用时保持清醒:

  1. 它是统计画像,不是个体判定。簇级数据(涨分率、d 值)来自历史样本的聚合,用于校准策略方向;落到具体审稿人时,仍要以他/她评论中的实际措辞为准,置信度低的匹配应退回到通用策略。
  2. 它是策略库,不是代笔工具。SKILL.md 明确说明:技能输出的是可执行的指导计划(structured plans、evidence pointers、tone and strategy priorities),而非可直接粘贴的 rebuttal 全文;最终文本必须由作者自己撰写,避免盲目 LLM 粘贴。
  3. 数据边界。涨分率、接收率、Cohen's d 等数字仅代表该仓库快照所依据的历史样本,不构成对任何会议录取率的承诺;data/behavior/mindset_library.json 原始数据不在当前仓库中,如需复核统计口径,只能以 mindset-library.md 为准。
  4. 与相邻技能的边界:评估研究 Idea 用 idea-evaluator,投稿前自查用 pre-submission-reviewer,而 rebuttal-guidance 只在用户粘贴 review 文本后生效;没有 review 文本时应先索取原文,而非凭空猜测心态。

把心态库用好的本质,是把"审稿人为什么不满意"从情绪问题转化为可分类、可统计、可应对的技术问题——而这正是数据驱动的科研方法论在论文全生命周期中的又一次落地。

登录后查看全文
Supervisor-Skills