深入EVIE-Preview-4.5B内部:Qwen3.5-4B混合注意力骨干与GatedDeltaNet架构解析
深入EVIE-Preview-4.5B内部:Qwen3.5-4B混合注意力骨干与GatedDeltaNet架构解析
EVIE-Preview-4.5B 是腾讯开源的 视觉文档检索模型:它把文档页面图像和文本查询分别编码成一组 128 维的多向量(multi-vector)嵌入,再通过后交互(MaxSim)打分,无需 OCR 即可"看懂"图表、表格和扫描表单。它以 Qwen3.5-4B 视觉-语言模型为骨干,内部采用 GatedDeltaNet 线性注意力与全注意力交替的混合架构,以 4.54B 参数拿下 ViDoRe V3 榜首(nDCG@10 65.36)与 ViDoRe V1+V2 榜首(85.77),是"小参数、高精度、低索引成本"的代表。
本文带你拆解 config.json 背后的架构细节:混合注意力是如何排布的、GatedDeltaNet 层与普通注意力层有何区别、检索场景下为什么要把全注意力层改成双向注意力,以及从骨干输出到 128 维检索向量的完整链路。
一分钟认识 EVIE-Preview-4.5B 🎯
在深入内部之前,先明确它的定位与关键数字:
| 维度 | 说明 |
|---|---|
| 任务 | 视觉文档检索(Visual Document Retrieval),免 OCR 多向量检索 |
| 骨干 | ColQwen3_5,基于 Qwen3.5-4B 视觉-语言模型 |
| 参数规模 | 4.54B(BF16 检查点约 8.5 GB) |
| 向量维度 | 原生 128D token 嵌入(同类模型常见 640D) |
| 视觉 token 预算 | 训练 768 tokens/页,可外推到 1,792 tokens/页 |
| 成绩 | ViDoRe V3 公开榜 65.36(第 1);V1+V2 85.77(第 1) |
| 多语言 | 支持英、法、德、意、西、葡、中 7 种查询语言 |
它采用典型的 ColPali 式后交互范式:查询侧和文档侧各自独立编码,打分时做 token 级 MaxSim 点积。得益于 128 维的窄向量,100 万页文档的原始索引仅需约 179.2 GiB(768 token 档),大幅低于 640 维方案的存储成本。
混合注意力骨干:GatedDeltaNet 与全注意力交替排布 🧠
打开 config.json 中的 text_config,能看到 Qwen3.5 文本骨干的核心参数:
| 配置项 | 值 | 含义 |
|---|---|---|
num_hidden_layers |
32 | 骨干共 32 层 |
full_attention_interval |
4 | 每 4 层插入 1 层全注意力 |
hidden_size |
2560 | 隐藏层宽度 |
num_attention_heads / num_key_value_heads |
16 / 4 | 全注意力层采用 4:1 的 GQA |
head_dim + partial_rotary_factor |
256 / 0.25 | 仅 25% 维度施加(分频段 MRoPE)旋转位置编码 |
max_position_embeddings |
262144 | 理论最长 256K 上下文 |
其中最有信息量的字段是 layer_types——一个 32 个元素的列表,按如下规律排布:
[linear_attention, linear_attention, linear_attention, full_attention,
linear_attention, linear_attention, linear_attention, full_attention, ...]
即 3 层 GatedDeltaNet 线性注意力 + 1 层全注意力 为一个周期,循环 8 次。
为什么是"混合"?两种注意力的分工
全注意力(full attention):标准的二次复杂度注意力,能精确地"回看"任意历史 token,擅长长程依赖与细节检索,但序列越长开销越大。
GatedDeltaNet 线性注意力(linear_attention):不维护完整的 KV 缓存,而是把历史信息压缩进一个固定大小的递归状态(recurrent state),逐 token 更新。其计算量随序列长度线性增长、内存恒定,非常适合长上下文;代价是"精确回忆"能力弱于全注意力。配置中这些层的专属参数如下:
linear_num_key_heads: 16、linear_num_value_heads: 32:值头数是键头数的 2 倍(GVA 结构)linear_key_head_dim/linear_value_head_dim:均为 128linear_conv_kernel_dim: 4:递归更新前叠加一个长度为 4 的短卷积,平滑局部特征mamba_ssm_dtype: float32:递归状态以 FP32 累加,保证长序列数值稳定
"3 线性 + 1 全注意力"的交错让模型大部分层以低成本的递归方式流动信息,每隔 4 层用一次全注意力"校准"全局视图——这正是 Qwen3.5-4B 能以 4B 规模支撑 256K 上下文的关键设计。
线性层 vs 全注意力层的配置对照
| 对比项 | GatedDeltaNet 层(24 层) | 全注意力层(8 层) |
|---|---|---|
| 复杂度 | O(n) 递归,恒定状态 | O(n²) KV 注意力 |
| 位置编码 | 无(递归顺序天然有序) | MRoPE 交织分频,rope_theta 1e7 |
| 头结构 | 16 键头 / 32 值头,head_dim 128 | 16 头 / 4 KV 头(GQA),head_dim 256 |
| 门控 | 状态门控 + delta 规则更新 | attn_output_gate: true 输出门控 |
| 检索时的行为 | 保持递归、不可改双向 | 被"编码器化"为双向注意力 |
检索场景的关键改造:只翻转全注意力层的双向性 🔍
生成式骨干默认使用因果掩码(causal mask)——每个 token 只能看左边。但检索是"整页理解"任务,EVIE 训练时把全注意力层改成了双向注意力,让每个 token 能同时利用左右上下文。
这个改造封装在 bidirectional.py 的 enable_bidirectional_attention() 中,逻辑很克制:
- 将
config与text_config的is_causal置为False,使掩码工厂回退到双向模式; - 遍历所有
Qwen3_5Attention/Qwen3Attention模块,关闭其is_causal属性; - GatedDeltaNet 的递归层保持原样不动——它们在构造上就依赖 token 顺序(状态必须按序更新),不存在"双向"一说。
源文件开头的注释解释得很清楚:
Only the full-attention layers are flipped here; the recurrent layers are order-dependent by construction and are left untouched.
另外还有一个容易踩的坑:前向编码完文档图像后,要把 model.rope_deltas = None 再编码查询。文档图像会写入 RoPE 的位置增量缓存,不重置会污染查询侧的位置编码。infer.py 的 score() 函数里就按这个顺序写的。
值得注意的是,走 Sentence Transformers 路线时不需要手动调用上述辅助函数:sentence_bert_config.json 已在 config_kwargs 中写死 text_config.is_causal: false,加载即双向。
从骨干输出到 128 维检索向量的链路 📐
骨干产出的是 2560 维的 token 隐状态。EVIE 作为 Sentence Transformers 的 MultiVectorEncoder 加载,modules.json 定义了 4 级流水线:
| 序号 | 模块 | 配置 | 作用 |
|---|---|---|---|
| 0 | Transformer |
— | ColQwen3_5 骨干前向,输出每 token 隐状态 |
| 1 | Dense |
1_Dense/config.json:2560 → 128 | 每个 token 独立线性投影到 128 维 |
| 2 | Normalize |
2_Normalize/config.json | 向量 L2 归一化 |
| 3 | MultiVectorMask |
3_MultiVectorMask/config.json | 掩掉 special token,只保留内容 token |
打分阶段用 MaxSim(后交互):对查询的每个向量,找文档侧所有 token 向量中点积最大值,再求和。向量越窄(128D),存储与打分成本同比越低——这就是 EVIE 索引成本优势的直接来源。
视觉前端方面,config.json 的 vision_config 是一个 24 层 ViT:patch_size: 16、spatial_merge_size: 2、输出对齐到 2560 维;processor_config.json 显示图像按 longest_edge: 786432 像素预算缩放,对应默认 768 视觉 token 档。想上 1,792 token 档,只需调大像素预算即可——同一套权重在两倍分辨率下反而多拿 0.80 nDCG@10,说明页面对表征的泛化性很好。
复现与验证:跑一遍 ViDoRe 榜单成绩 🏁
仓库自带完整复现脚本,所有公开数字都可本地验证:
bash reproduce.sh
首次运行会由 download_data.py 拉取 22 个 ViDoRe 公开数据集(约 55 GB),然后用 reproduce.py 在多卡上按 V1/V2/V3 协议评测。官方目标值:
ViDoRe V1 nDCG@5 91.73
ViDoRe V2 nDCG@5 70.87
ViDoRe V1+V2 nDCG@5 85.77
ViDoRe V3 public nDCG@10 65.36(1,792 视觉 token 档)
日常推理只需一条命令(依赖见 requirements.txt:colpali-engine>=0.3.15、accelerate):
python infer.py --query "Quarterly revenue report" --image page_1.png --image page_2.png
关键文件导览 📂
| 文件 | 作用 |
|---|---|
| config.json | 模型总配置:混合注意力排布、128 维输出、视觉塔参数 |
| bidirectional.py | 检索用双向注意力开关(只翻转全注意力层) |
| modules.json | Sentence Transformers 四级模块流水线 |
| 1_Dense/config.json | 2560 → 128 的压缩投影配置 |
| sentence_bert_config.json | MultiVectorEncoder + MaxSim 相似度声明 |
| infer.py | 命令行推理:查询 + 文档页打分排序 |
| reproduce.py / reproduce.sh | ViDoRe V1/V2/V3 榜单复现 |
| README.md | 榜单成绩、索引成本与训练细节 |
总结
EVIE-Preview-4.5B 的架构可以用三句话概括:
- 骨干:Qwen3.5-4B 混合注意力——24 层 GatedDeltaNet 线性注意力负责低成本长程信息流动,8 层全注意力(
full_attention_interval: 4)提供精确全局检索能力; - 改造:检索时仅将全注意力层编码器化为双向注意力,递归的线性层保持原序更新,改动最小但收益关键;
- 输出:每个 token 独立投影到 128 维并归一化,MaxSim 后交互打分,让小模型同时拿到榜首精度与极低的索引成本。
理解了这套"混合注意力 + 窄多向量"的设计,你就能看懂新一代轻量视觉文档检索模型的主流形态。