ConsiSpace研究团队、论文与社区资源清单:视频空间推理大模型完整指南

原创2026-10-19 19:11:191,697 阅读
文章标签:人工智能大模型多模态计算机视觉

ConsiSpace研究团队、论文与社区资源清单:视频空间推理大模型完整指南

ConsiSpace 是一个面向视频空间推理的几何一致多模态模型,由北京大学汤浩团队与北京智源人工智能研究院(BAAI)联合发布。本文整理了关于这个项目的完整信息清单,覆盖研究团队、论文引用、模型权重文件与社区资源,带你快速看懂 ConsiSpace 空间推理模型的全部关键信息。

⚡ ConsiSpace 30秒速览

项目 信息
定位 几何一致多模态框架(geometry-consistent multimodal framework)
核心能力 长视觉观测(长视频)中的空间推理
研究机构 北京大学计算机学院 + 智源研究院 BAAI
基座模型 Qwen2.5-VL 多模态大模型
几何引擎 VGGT 几何编码器
许可证 CC-BY-4.0
权重体积 约 11.35 GB,分 3 个分片

一句话解释:ConsiSpace 在 Qwen2.5-VL 多模态大模型的基础上,加了一个"VGGT 几何编码器",把几何一致性约束注入到模型的每一层解码过程中,让模型在面对长视频时也能做出更稳定、更连贯的空间推理。

🎓 研究团队与作者名单

根据 README.md 中的说明,该模型是以下两方联合研究的成果:

  • 北京大学计算机学院:汤浩(Hao Tang)团队
  • 北京智源人工智能研究院(BAAI):北京 Academy of Artificial Intelligence

论文作者名单(按署名顺序):

  1. Ting Huang
  2. Zhenyu Zhang
  3. Wenyuan Huang
  4. Jian Yang
  5. Hao Tang

如果你关注"ConsiSpace 研究团队",重点就是北大的汤浩团队与 BAAI 这两支力量的产学研合作。

📄 论文信息与 arXiv 引用编号

项目 内容
论文标题 ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning
arXiv 编号 2607.17599
论文分类 cs.CV(计算机视觉)
发表年份 2026
许可证 CC-BY-4.0(可自由使用,需注明来源)

核心结论:学习"几何一致性"对视频空间推理至关重要(Learning Geometric Consistency Matters for Video Spatial Reasoning)。

写论文或报告需要引用时,可直接使用 README.md 中给出的 bibtex:

@article{huang2026consispace,
      title={ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning},
      author={Ting Huang and Zhenyu Zhang and Wenyuan Huang and Jian Yang and Hao Tang},
      year={2026},
      eprint={2607.17599},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
}

📦 模型权重文件清单

ConsiSpace 仓库非常精简,共 10 个文件,每个文件的用途如下:

文件 用途
README.md 项目说明:团队信息、论文与 bibtex 引用
config.json 模型结构配置:基座、几何编码器、精度等
model.safetensors.index.json 权重分片索引:3 个分片,总大小 11,351,390,424 字节
generation_config.json 生成推荐参数:temperature、重复惩罚等
preprocessor_config.json 图像/视频预处理配置(Qwen2.5-VL Processor)
chat_template.json 对话模板,定义了图片/视频占位 token
tokenizer_config.json 分词器配置,词表大小 151,936
vocab.json 词表文件
merges.txt 子词合并规则
special_tokens_map.json 特殊 token 映射,含图片、视频等标记

💡 注意:实际权重以 3 个 safetensors 分片存储(model-00001-of-00003.safetensors 等),由索引文件统一描述,总计约 11.35 GB。

🔍 模型结构:新手必须懂的 3 个关键点

结合 config.json 来看,ConsiSpace 有三个最值得了解的设计:

1️⃣ 基座架构:Qwen2.5-VL + VGGT

架构名为 Qwen2_5_VLForConditionalGenerationWithVGGT(config.json),即 Qwen2.5-VL 多模态大模型外接 VGGT 几何编码器。LLM 主干为 36 层、隐藏层宽度 2048、16 个注意力头(其中 KV 头 2 个,采用 GQA 分组注意力),最大上下文长度 128,000 tokens。

2️⃣ 几何编码器:ConsiSpace 的核心差异点

  • 启用几何编码器:use_geometry_encoder: true(config.json),编码器类型为 vggt(config.json)
  • 几何特征通过交叉注意力(cross-attention)逐层注入主干网络(geo_layer_interval: 1,geo_cross_attn: true)
  • 开启重要性门控(geo_importance_gate: true),以第一帧作为参考帧(reference_frame: first)

用大白话说:"几何一致性"意味着模型看长视频时,物体在前后的位置、大小、远近必须对得上。VGGT 就是那把"几何标尺",让模型看长视频不"走神"。

3️⃣ 精度与运行环境

  • 权重精度:bfloat16
  • 推荐环境:transformers >= 4.50.0(config.json)
  • 视觉编码器:32 层、窗口大小 112、patch 14,时间维度每 2 帧合并

⚙️ 推理推荐设置与生成参数

根据 generation_config.json,官方推荐的生成配置如下:

参数 推荐值 含义
temperature 1e-06 接近贪心解码,输出稳定
repetition_penalty 1.05 轻度抑制重复
do_sample true 开启采样,但温度极低,接近确定性输出
eos_token_id 151645 / 151643 结束与填充 token

一句话总结:ConsiSpace 推荐接近贪心的生成方式——空间推理任务里,答案的稳定性和准确性远比"花样"重要。

🌐 社区资源与获取方式

1️⃣ 克隆仓库获取权重

git clone https://gitcode.com/BAAI/ConsiSpace

2️⃣ 加载方式

ConsiSpace 采用 Hugging Face Transformers 标准格式发布(README.md 头部标注 library_name: transformers),可直接用 transformers 库加载,也可接入主流推理框架。

3️⃣ 许可证与二次开发

许可证为 CC-BY-4.0:可自由使用、商用和修改,只需保留署名。结合 config.json 中 training: true 的标记,模型同样支持在此基础上继续训练与微调。

4️⃣ 社区搜索关键词

想获取更多讨论与资料,推荐用这些关键词搜索:

ConsiSpace、视频空间推理、几何一致性、VGGT、Qwen2.5-VL 空间推理、BAAI 多模态模型

❓ 新手常见问题 FAQ

Q1:ConsiSpace 能处理纯图片问答吗?

可以。它基于 Qwen2.5-VL,天然支持图像输入;但模型的设计重点是长视觉观测(长视频)的空间推理,最合适的场景仍是视频空间理解任务。

Q2:跑起来需要多大的显存?

权重约 11.35 GB(bfloat16 精度),推理时加上激活开销,建议至少准备 16 GB 以上显存的显卡。

Q3:如何在论文里引用 ConsiSpace?

直接复制 README.md 里的 bibtex 即可,arXiv 编号为 2607.17599。

Q4:可以商用吗?

可以。CC-BY-4.0 是宽松许可证,商用、修改、分发都可以,只需在产出中注明 ConsiSpace 及其来源机构(北京大学 + BAAI)。


📌 总结:ConsiSpace 是北京大学汤浩团队与 BAAI 联合推出的视频空间推理模型,核心创新在于用 VGGT 几何编码器实现"几何一致性"。想深入了解,认准三个入口:论文(arXiv 2607.17599)、本仓库的模型权重文件、以及 config.json 中的结构配置。

登录后查看全文
ConsiSpace