C2C 核心源码精读:C2CProjector 的 KV-Cache 投影、门控与权重融合设计
C2C 核心源码精读:C2CProjector 的 KV-Cache 投影、门控与权重融合设计
C2C(Cache-to-Cache)是 ICLR'26 收录的多模型直接通信框架,让大语言模型绕过文本生成,通过 KV-Cache 投影与融合直接共享隐层语义。这篇文章带你精读 C2C 核心源码 C2CProjector:它如何把"分享方"模型的 KV-Cache 投影到"接收方"模型的语义空间,再用可学习的门控与逐头权重完成软性融合,最终实现比文本通信更快、更准的模型间协作。
一、C2C 是什么:把 KV-Cache 当作"通用语言" 🗣️
传统多模型协作的方式是"你先生成文字,我再接着读",链路长且有损。C2C 的做法更直接:让两个模型各自跑一遍前向,然后只交换每层的 K/V 张量——通过一个小型投影器把分享方(Sharer)的 KV-Cache 变换成接收方(Receiver)能"听懂"的表示,再叠加进接收方的注意力缓存中。
| 角色 | 说明 | 典型实现 |
|---|---|---|
| 接收方(base model) | 最终生成回答的模型,如 Qwen3-0.6B | rosetta/model/wrapper.py |
| 分享方(teacher model) | 提供隐层语义的模型,如 Qwen2.5-0.5B-Instruct | 同上,model_list[1] |
| 投影器 | 每层一个,负责 KV-Cache 投影 + 融合 | rosetta/model/projector.py |
| 封装器 | 统一管理多模型缓存与投影调度 | RosettaModel(rosetta/model/wrapper.py#L46-L75) |
💡 Python 包名叫
rosetta(罗塞塔),致敬"罗塞塔石碑"——同一块石头上的多种文字,正对应 C2C 在多个"互不相通"的 LLM 之间翻译 KV-Cache 表示。
从上图可以看到效果:0.6B 的接收方模型在注入 0.5B 分享方语义后(Rosetta 曲线),整体准确率追平甚至超过单独的 Qwen3-4B——这正是 C2CProjector 每一层都在做的事。
二、源码地图:C2CProjector 关键位置速查 🗺️
读代码前先建立一张地图,所有核心逻辑都在 rosetta/model/projector.py 一个文件里:
| 代码块 | 行号 | 作用 |
|---|---|---|
Projector 基类 |
L15-L72 | 定义 forward(source_kv, target_kv) 接口与 cache_project 缓存级投影 |
AllInOneProjector |
L174-L770 | 全功能可配置投影器,支持标量/逐 token/逐头/逐值等多种门控粒度 |
StandardFFNLayer / RegularMLP |
L795-L858 | 预归一化(pre-RMSNorm)的轻量 MLP 积木,供 C2CProjector 拼装 |
C2CProjector |
L860-L1024 | 🌟 本文主角:论文最终采用的精简固定架构 |
create_projector 工厂函数 |
L1032-L1048 | 依据配置类型字符串实例化投影器(配合 rosetta/utils/registry.py 的 @register_model 装饰器) |
配套的官方训练配置在 recipe/train_recipe/C2C_0.6+0.5.json,其中 projector.params 给出了 C2CProjector 的默认超参:hidden_dim=1024、num_layers=3、门控温度 1.0 → 0.001、退火步数 1929。
三、KV-Cache 投影流程:Flatten → Concat → 双分支 MLP 🔀
C2CProjector.forward(L947-L1024)是整个设计的核心,输入输出都是 (key, value) 张量对,形状均为 (B, H, N, D)(批、头、token、头维)。流程分四步:
第 1 步:压平注意力头。 把 (B, H, N, D) 转置并展平成 (B, N, H*D)(L961-L964),让后续 MLP 能按"每个 token 的全头特征"处理。
第 2 步:拼接源与目标特征。 key_cat = concat(source_key_flat, target_key_flat)(L967-L968),这是"融合"而非"替换"的关键——投影器同时看到双方的表示。接着用线性层 key_in / value_in(L904-L905)降到 hidden_dim,再过一层 RegularMLP 得到公共中间表示(L974-L976)。
第 3 步:分叉出两条支路(K 和 V 各有一对,结构完全对称):
- 投影支路:中间表示 →
key_proj_mlp2(num_layers-2 层)→key_proj_out,输出 reshape 回(B, Ht, N, Dt),得到与接收方同形状的projected_key(L979-L982); - 标量支路:同一中间表示 →
key_scalar_mlp2→key_scalar_head,输出(B, N, Ht),即每个 token、每个注意力头一个融合权重(L985-L988)。
第 4 步:融合输出。 两条支路在最后一行汇合(见下一节)。
📎 训练时只有投影器参数更新,两个 LLM 全程冻结——见配置中的
"freeze": <a href="https://link.gitcode.com/i/c70f04e4384fe507ed65864b081d2b2b" target="_blank">"teacher","base"]([C2C_0.6+0.5.json#L33),所以整套通信能力由每个模型仅几 MB 的投影器承载。
四、门控机制:Gumbel-Sigmoid + 温度退火,让"通/断"可学习 🔌
投影器里最精巧的是两个标量门控参数 key_gate_logit 和 value_gate_logit(L931-L932),它们决定"这一层的 K(或 V)到底要不要融入分享方的信息"。
训练阶段走 Gumbel-Sigmoid 采样(L993-L999):
gate = sigmoid((gate_logit + gumbel_noise) / gate_temperature)
其中 Gumbel 噪声 g = -log(-log(u)) 提供可微的随机开关;温度 gate_temperature 由 update_temperature(L942-L945)按指数退火从 1.0 降到 0.001(1929 步内)。温度越高,门的开合越随机,利于探索;温度趋近 0 时,门逼向确定性的 0 或 1。训练循环在 script/train/SFT_train.py#L836-L837 每个 step 调用一次退火。
推理阶段则完全去掉噪声,退化为硬开关 gate = (logit > 0)(L1000-L1002)——即每个 projector 对 K 和 V 各自独立地"接通"或"断开"。
这意味着:模型可以学会"第 3 层借用分享方的 K 但保留自己的 V"这类细粒度策略。仓库里还提供了分析工具 script/analysis/gate_weight/analyze_projector_weights.ipynb 和 collect_projector_weights.py,可以可视化每个 projector 的门控 logit 与标量权重分布。
五、权重融合:逐头标量如何决定共享强度 ⚖️
最终融合公式是整个设计的"落点"(L1004-L1010):
norm_scalar = sigmoid(key_scalar) # 逐 token 逐头,0~1 连续值
output_key = target_key + key_gate × norm_scalar × projected_key
三个要素各司其职:
| 要素 | 粒度 | 作用 |
|---|---|---|
key_gate(门控) |
每层 K/V 各一个标量 | 全局"开关":这层是否启用分享方信息 |
norm_scalar(sigmoid 标量) |
每 token × 每头 | 连续"音量旋钮":不同 token、不同头按需调节注入强度 |
target_key(接收方自身 KV) |
原样保留 | 残差式叠加(add_self=True),保证接收方基线能力不被破坏 |
这种"硬门 × 软权重 × 残差"的组合,让融合既可控又平滑。想验证每个部件的贡献?仓库内置了消融投影器 rosetta/model/ablation_projector.py,通过 ablation_level 0~4 逐级关闭标量权重、门控或目标项,配合 bash/ablation/ablation_study.sh 一键跑完对照实验。
另外,构造函数支持 zero_init(L923-L928)把输出投影层置零——训练初期输出严格等于接收方原始 KV,防止大扰动破坏预训练表示,是很值得借鉴的稳定化技巧。
六、从投影器到推理:RosettaModel 的调度逻辑 🎛️
投影器不是孤立运行的,rosetta/model/wrapper.py 中的 RosettaModel 负责编排:
- 层映射配置:
set_projector_config(L93-L129)建立"源模型第 i 层 → 目标模型第 j 层 → 第 k 个 projector"的三元组;两个模型层数不同时,rosetta/train/model_utils.py#L41-L84 提供last_aligned_sources/k_nearest_sources等对齐策略。 - 分段投影:
forward通过kv_cache_index控制哪些 token 段启用 C2C——<a href="https://link.gitcode.com/i/1b2c40473df3ab7c44eca684cd155f84" target="_blank">1, 0]表示"这段从 1 号分享方投影",[-1, 0]表示"不投影"([L371-L378)。典型用法是指令段投影、答案段不投影;多分享方时该值还是位掩码(bit i 选中第 i 个分享方)。 - 生成循环:自定义
generate(L588)在 prefill 段执行投影融合,逐 token 解码阶段自动切回kv_cache_index=<a href="https://link.gitcode.com/i/8ff78f840d189198a1581066e489c222" target="_blank">-1, 0]([L780),避免每步重复融合,这也是 2× 加速的来源之一。
🧪 最小可运行示例:script/playground/inference_example.py、script/examples/two_stage_rosetta_example.py;交互演示见 script/playground/live_chat_example.py。
七、C2CProjector 设计要点清单 ✅
- Concat 而非仅投影源:让融合感知"双方上下文",再残差叠加,接收方能力零损失;
- 一条中间表示,两条支路:投影张量与逐头标量共享同一 MLP 主干,参数省、信息通;
- 两级控制粒度:层级硬门(Gumbel-Sigmoid + 温度退火)负责"要不要",token×head 级 sigmoid 标量负责"要多少";
- 零初始化 + 冻结 LLM:只训投影器即可安全接入任意模型对;
- 注册表工厂模式:
@register_model+create_projector(L1032)让新架构只改配置即可切换,扩展入口在 rosetta/utils/registry.py。
按 recipe/train_recipe/C2C_0.6+0.5.json 配置跑 python script/train/SFT_train.py --config recipe/train_recipe/C2C_0.6+0.5.json 即可复现训练;评估端参考 recipe/eval_recipe/unified_eval.yaml 与 script/evaluation/unified_evaluator.py。读懂 C2CProjector 这不到 200 行的 forward,基本就掌握了 C2C 让大模型"跳过文本直接对话"的全部秘密。
