Recon2Reason-Reasoning-4B特殊token体系详解:<|feat|>与<|pos|>如何编码空间信息
Recon2Reason-Reasoning-4B特殊token体系详解:<|feat|>与<|pos|>如何编码空间信息
Recon2Reason-Reasoning-4B 是面壁智能(BAAI)推出的一个 4B 参数视觉语言模型,基于 Qwen3-VL-4B-Instruct 微调,专注室内与具身场景的空间推理。它的"空间感"背后,藏着一套精心设计的特殊 token(special tokens)体系:<|feat|>、<|/feat|>、<|pos|>、<|/pos|> 和 <|feat_pad|> 五个新增 token,负责把视觉特征与位置信息以结构化方式喂给语言模型。本文带你快速看懂这套体系。
一分钟认识 Recon2Reason-Reasoning-4B 🧭
先建立整体印象,再深入 token 细节:
| 属性 | 说明 |
|---|---|
| 模型架构 | Qwen3VLForConditionalGeneration(标准 Qwen3-VL 接口) |
| 参数量 | 4,437,815,808(BF16,2 分片 Safetensors) |
| 词表大小 | 151936(见 config.json 中 vocab_size) |
| 核心能力 | 度量距离、相对位置、物体布局、空间关系推理 |
| 输入形式 | 单图 / 多图,兼容标准 Qwen3-VL 对话格式 |
关键点:无需 trust_remote_code,直接用 Hugging Face Transformers 标准接口加载即可,特殊 token 全部走词表扩展机制。
五个特殊 token 总览:一张表看懂 👀
Recon2Reason 在原 Qwen 词表(0 ~ 151642 为原始 token)基础上,追加了 5 个空间相关 token。它们的完整定义见 added_tokens.json,声明见 special_tokens_map.json:
| Token | ID | 角色 | 一句话理解 |
|---|---|---|---|
| `< | feat | >` | 151669 |
| `< | /feat | >` | 151670 |
| `< | pos | >` | 151671 |
| `< | /pos | >` | 151672 |
| `< | feat_pad | >` | 151673 |
可以看到,feat 与 pos 各成一对"开始/结束"标签,形成**成对包裹(paired delimiters)**的结构——这是大模型中标记结构化信息的经典手法,就像 HTML 里的开闭标签,让语言模型能清晰地区分"这段是外观特征,那段是空间位置"。
<|feat|> 与 <|/feat|>:为视觉特征划定边界 🖼️
在多模态模型中,视觉编码器输出的特征需要"插入"到文本序列里。<|feat|> 与 <|/feat|> 就是这对特征的边界标记:
<|feat|>(ID 151669):告诉模型"接下来是一段图像/场景特征";<|/feat|>(ID 151670):告诉模型"特征段到此结束,可以回到文本推理了"。
这种设计带来两个好处:
- 边界清晰:模型注意力机制能明确知道哪些位置是视觉 token,哪些是语言 token,减少"串味";
- 结构化推理的载体:Recon2Reason 的场景重建扩展中,场景特征与位置信息可以分别打包成 feat 段与 pos 段,语言模型按段解析,从而实现"先识别、再推理位置"的两段式空间理解。
对应的 token 注册位置参见 added_tokens.json,其中 <|feat|>、<|/feat|>、<|pos|>、<|/pos|>、<|feat_pad|> 依次占据 151669 ~ 151673 的 ID 空间。
<|pos|> 与 <|/pos|>:空间坐标的语言化定位 📍
如果说 feat 段回答"这里有什么",pos 段回答的就是"它在哪里"。
<|pos|>(ID 151671):位置信息段的起点;<|/pos|>(ID 151672):位置信息段的终点。
空间推理模型最难的地方在于:图像本身只包含像素,不含米制坐标。Recon2Reason 通过 pos 段把物体间的相对位置、距离关系编码成序列内的一段结构化输入,与 feat 段并列。当模型被问到"哪把椅子离桌子最近"时,它可以:
- 在
feat段中确认"有什么物体"; - 在
pos段中比对"各物体的空间坐标"; - 用语言模型生成最终的空间判断。
这正是该模型在度量距离、相对位置等空间推理基准上表现突出的底层原因。
<|feat_pad|>:不起眼的填充兵 🧩
<|feat_pad|>(ID 151673)用于特征段长度对齐。
不同图像经过视觉编码器后产生的 token 数量不同(由分辨率和 patch 划分决定,preprocessor_config.json 中 patch_size: 16、merge_size: 2 控制着这一过程)。批量推理时,为了把变长特征对齐成统一形状,需要用填充 token 补齐——<|feat_pad|> 就是专门为此新增的"空位占位符",避免误用普通文本 pad(`