ConsiSpace研究团队、论文与社区资源清单:视频空间推理大模型完整指南
ConsiSpace研究团队、论文与社区资源清单:视频空间推理大模型完整指南
ConsiSpace 是一个面向视频空间推理的几何一致多模态模型,由北京大学汤浩团队与北京智源人工智能研究院(BAAI)联合发布。本文整理了关于这个项目的完整信息清单,覆盖研究团队、论文引用、模型权重文件与社区资源,带你快速看懂 ConsiSpace 空间推理模型的全部关键信息。
⚡ ConsiSpace 30秒速览
| 项目 | 信息 |
|---|---|
| 定位 | 几何一致多模态框架(geometry-consistent multimodal framework) |
| 核心能力 | 长视觉观测(长视频)中的空间推理 |
| 研究机构 | 北京大学计算机学院 + 智源研究院 BAAI |
| 基座模型 | Qwen2.5-VL 多模态大模型 |
| 几何引擎 | VGGT 几何编码器 |
| 许可证 | CC-BY-4.0 |
| 权重体积 | 约 11.35 GB,分 3 个分片 |
一句话解释:ConsiSpace 在 Qwen2.5-VL 多模态大模型的基础上,加了一个"VGGT 几何编码器",把几何一致性约束注入到模型的每一层解码过程中,让模型在面对长视频时也能做出更稳定、更连贯的空间推理。
🎓 研究团队与作者名单
根据 README.md 中的说明,该模型是以下两方联合研究的成果:
- 北京大学计算机学院:汤浩(Hao Tang)团队
- 北京智源人工智能研究院(BAAI):北京 Academy of Artificial Intelligence
论文作者名单(按署名顺序):
- Ting Huang
- Zhenyu Zhang
- Wenyuan Huang
- Jian Yang
- Hao Tang
如果你关注"ConsiSpace 研究团队",重点就是北大的汤浩团队与 BAAI 这两支力量的产学研合作。
📄 论文信息与 arXiv 引用编号
| 项目 | 内容 |
|---|---|
| 论文标题 | ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning |
| arXiv 编号 | 2607.17599 |
| 论文分类 | cs.CV(计算机视觉) |
| 发表年份 | 2026 |
| 许可证 | CC-BY-4.0(可自由使用,需注明来源) |
核心结论:学习"几何一致性"对视频空间推理至关重要(Learning Geometric Consistency Matters for Video Spatial Reasoning)。
写论文或报告需要引用时,可直接使用 README.md 中给出的 bibtex:
@article{huang2026consispace,
title={ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning},
author={Ting Huang and Zhenyu Zhang and Wenyuan Huang and Jian Yang and Hao Tang},
year={2026},
eprint={2607.17599},
archivePrefix={arXiv},
primaryClass={cs.CV},
}
📦 模型权重文件清单
ConsiSpace 仓库非常精简,共 10 个文件,每个文件的用途如下:
| 文件 | 用途 |
|---|---|
| README.md | 项目说明:团队信息、论文与 bibtex 引用 |
| config.json | 模型结构配置:基座、几何编码器、精度等 |
| model.safetensors.index.json | 权重分片索引:3 个分片,总大小 11,351,390,424 字节 |
| generation_config.json | 生成推荐参数:temperature、重复惩罚等 |
| preprocessor_config.json | 图像/视频预处理配置(Qwen2.5-VL Processor) |
| chat_template.json | 对话模板,定义了图片/视频占位 token |
| tokenizer_config.json | 分词器配置,词表大小 151,936 |
| vocab.json | 词表文件 |
| merges.txt | 子词合并规则 |
| special_tokens_map.json | 特殊 token 映射,含图片、视频等标记 |
💡 注意:实际权重以 3 个
safetensors分片存储(model-00001-of-00003.safetensors等),由索引文件统一描述,总计约 11.35 GB。
🔍 模型结构:新手必须懂的 3 个关键点
结合 config.json 来看,ConsiSpace 有三个最值得了解的设计:
1️⃣ 基座架构:Qwen2.5-VL + VGGT
架构名为 Qwen2_5_VLForConditionalGenerationWithVGGT(config.json),即 Qwen2.5-VL 多模态大模型外接 VGGT 几何编码器。LLM 主干为 36 层、隐藏层宽度 2048、16 个注意力头(其中 KV 头 2 个,采用 GQA 分组注意力),最大上下文长度 128,000 tokens。
2️⃣ 几何编码器:ConsiSpace 的核心差异点
- 启用几何编码器:
use_geometry_encoder: true(config.json),编码器类型为vggt(config.json) - 几何特征通过交叉注意力(cross-attention)逐层注入主干网络(
geo_layer_interval: 1,geo_cross_attn: true) - 开启重要性门控(
geo_importance_gate: true),以第一帧作为参考帧(reference_frame: first)
用大白话说:"几何一致性"意味着模型看长视频时,物体在前后的位置、大小、远近必须对得上。VGGT 就是那把"几何标尺",让模型看长视频不"走神"。
3️⃣ 精度与运行环境
- 权重精度:
bfloat16 - 推荐环境:
transformers >= 4.50.0(config.json) - 视觉编码器:32 层、窗口大小 112、patch 14,时间维度每 2 帧合并
⚙️ 推理推荐设置与生成参数
根据 generation_config.json,官方推荐的生成配置如下:
| 参数 | 推荐值 | 含义 |
|---|---|---|
temperature |
1e-06 | 接近贪心解码,输出稳定 |
repetition_penalty |
1.05 | 轻度抑制重复 |
do_sample |
true | 开启采样,但温度极低,接近确定性输出 |
eos_token_id |
151645 / 151643 | 结束与填充 token |
一句话总结:ConsiSpace 推荐接近贪心的生成方式——空间推理任务里,答案的稳定性和准确性远比"花样"重要。
🌐 社区资源与获取方式
1️⃣ 克隆仓库获取权重
git clone https://gitcode.com/BAAI/ConsiSpace
2️⃣ 加载方式
ConsiSpace 采用 Hugging Face Transformers 标准格式发布(README.md 头部标注 library_name: transformers),可直接用 transformers 库加载,也可接入主流推理框架。
3️⃣ 许可证与二次开发
许可证为 CC-BY-4.0:可自由使用、商用和修改,只需保留署名。结合 config.json 中 training: true 的标记,模型同样支持在此基础上继续训练与微调。
4️⃣ 社区搜索关键词
想获取更多讨论与资料,推荐用这些关键词搜索:
ConsiSpace、视频空间推理、几何一致性、VGGT、Qwen2.5-VL 空间推理、BAAI 多模态模型
❓ 新手常见问题 FAQ
Q1:ConsiSpace 能处理纯图片问答吗?
可以。它基于 Qwen2.5-VL,天然支持图像输入;但模型的设计重点是长视觉观测(长视频)的空间推理,最合适的场景仍是视频空间理解任务。
Q2:跑起来需要多大的显存?
权重约 11.35 GB(bfloat16 精度),推理时加上激活开销,建议至少准备 16 GB 以上显存的显卡。
Q3:如何在论文里引用 ConsiSpace?
直接复制 README.md 里的 bibtex 即可,arXiv 编号为 2607.17599。
Q4:可以商用吗?
可以。CC-BY-4.0 是宽松许可证,商用、修改、分发都可以,只需在产出中注明 ConsiSpace 及其来源机构(北京大学 + BAAI)。
📌 总结:ConsiSpace 是北京大学汤浩团队与 BAAI 联合推出的视频空间推理模型,核心创新在于用 VGGT 几何编码器实现"几何一致性"。想深入了解,认准三个入口:论文(arXiv 2607.17599)、本仓库的模型权重文件、以及 config.json 中的结构配置。