工业焊装落地复盘:空间具身模型从翻车到闭环的真实边界
工业焊装落地复盘:空间具身模型从翻车到闭环的真实边界
物理 AI 正从实验室跑分进入产业验证期。过去一年,机器人厂商在焊装、装配、质检等场景里批量尝试"大模型开箱即用",结果多数碰壁:模型在基准榜上秀出的空间理解,到了产线强光、金属反光、夹具遮挡的真实工况里频频失手。2026 年 9 月开源的空间具身多模态模型 ZDTaichu5.0-9B(约 9.2B 参数),在九大空间理解基准中拿下八项第一,随后被密集投放到智能制造场景,其中焊装场景"先翻车、后闭环"的演进路径,恰好构成了一次关于空间具身模型能力边界的完整实证。本文结合社区复盘情报与仓库源码,拆解静态定位与相对关系解析的能力分界线、焊装落地的失败原因与闭环机制,以及工业场景筛选的可复用准则。
一、先分清两种"空间能力":静态定位与相对关系解析
要判断一个空间具身模型适不适合上产线,第一步不是看跑分总分,而是把"空间能力"拆开。ZDTaichu5.0-9B 在 README 的基准表中呈现出一组非常有信息量的"偏科"数据:
| 能力域 | 基准 | ZDTaichu5.0-9B | Qwen3.5-9B | Gemini 3 Pro |
|---|---|---|---|---|
| 基础空间感知 | CV-Bench | 86.82 | 87.19 | 90.07 |
| 基础空间感知 | 3DSRBench | 60.96 | 56.78 | 68.92 |
| 基础空间感知 | SparBench | 51.82 | 50.79 | 48.74 |
| 复杂空间推理 | ViewSpatial | 62.50 | 48.20 | 50.36 |
| 复杂空间推理 | MMSI-Bench | 47.20 | 38.70 | 45.20 |
| 复杂空间推理 | MindCube-tiny | 78.27 | 57.60 | 70.87 |
(完整对比见 README.md 基准章节,开源模型横向对比图见 assets/taichu-release-benchmark-comparison.svg)
注意两个反差:CV-Bench(物体位置、方向、大小等静态属性判断)上,9B 模型没有打过同规模 Qwen3.5-9B,更低于 Gemini 3 Pro 的 90.07;而在 ViewSpatial(跨视角空间一致性)、MMSI-Bench、MindCube-tiny(三维空间推理)这类"相对关系解析"任务上,它以 62.50 / 47.20 / 78.27 断层领先,甚至反超 Gemini 3 Pro。
这背后是两条截然不同的技术路径:
- 静态定位是"感知主导"任务:本质是"识别目标 + 输出坐标/方位",考验的是视觉编码器对空间属性的归纳精度,模型越大、预训练视觉数据越强,这类分数越高,边际收益递减且可被小模型逼近。
- 相对关系解析是"推理主导"任务:本质是"建立参照系 + 在参照系内做变换推理",比如判断"另一个视角下该物体在左还是右""这张图纸折叠后对应哪一面"。这类任务依赖位置编码对空间结构的表达能力和语言模型对几何规则的推理深度。
源码层面,ZDTaichu5.0-9B 恰好把工程资源押在了后者。在 modeling.py 的架构注释与实现中可以看到:
- 视觉 token 使用 3D M-RoPE 位置编码,即每个视觉 token 携带
(temporal, height, width)三维位置 ID,由 get_vision_position_ids 按 InternVL 式 tile 网格 + 全局缩略图(thumbnail)逐 token 计算。缩略图的局部坐标被映射到全局网格坐标(thumb_h = lr * tile_rows),使"整体布局"与"局部细节"两套空间坐标系在同一个注意力空间里对齐——这正是跨视角、跨尺度相对关系推理的结构基础; - 语言骨干采用 Qwen3.5 混合注意力(config.json 中
layer_types以 3:1 比例混合 Gated DeltaNet 线性注意力与全注意力),配合每 4 层一次的全注意力 checkpoint 用于全局空间关系整合; - 视觉编码器 C-RADIOv4-H(ViT-H/16, 653M)由 siglip2-g、dino_v3_7b、sam3 三路教师蒸馏(config.json
teachers字段),并在 image_processing.py 中通过select_tile_grid的"面积上限 + 3 倍宽高比防护"双守卫完成任意分辨率输入切分。
结论先行:这个模型在"相对关系解析"上是真强项,在"静态绝对定位"上只是第一梯队而非最强。 这一能力分布直接决定了它在焊装场景的成败曲线。
二、焊装复盘:翻车在静态定位,闭环在相对关系
社区对 ZDTaichu5.0-9B 工业落地路径的复盘(如《紫东太初5.0-9B:10B内最强空间具身大模型解析》所述"在工业焊装场景中从失败到闭环进化的落地路径")勾勒出一条清晰的演进线:第一轮试错,问题几乎全部出在静态定位类子任务上。
翻车点一:把零样本静态定位当成了即插即用
焊装场景最常见的诉求是"找到焊点/焊缝/工件的绝对位置",属于典型的感知主导任务。零样本直接上线的结果是:CV-Bench 一档的精度(86.82,且低于同规模竞品)在产线工况下进一步缩水——现场光照不均、金属表面高光反射、夹具遮挡、工件批次差异造成的分布偏移,都会让"识别 + 坐标"式推理的误差放大到无法驱动焊枪的地步。这一点与基准表高度自洽:该模型的强项不在绝对坐标精度,而在空间语义理解。 把前者当后者用,翻车是大概率事件。
翻车点二:忽视空间输入的"参照系"工程
社区复盘同时提到部署侧的三个高频坑:CUDA 兼容性、推理引擎定制、空间归一化预处理。仓库源码印证了这些并非空穴来风:
- 空间归一化被显式外置:C-RADIO 视觉编码器的
input_conditioner在 modeling.py 初始化时通过make_preprocessor_external()移除,归一化统一由 image_processing.py 的图像处理器完成((pixel_values - norm_mean) / norm_std),任何推理栈(Transformers / vLLM)都必须与这套预处理逐位对齐; - 动态切图规则与 vLLM 强耦合:
dynamic_preprocess注释明确写着"Keep PIL input through tiling so resize order matches vLLM",即切图顺序、缩略图策略必须与定制版 vLLM 一致,否则视觉 token 的位置编码全错; - 推理后端是深度定制而非开箱即用:官方推荐基于 vLLM v0.26.0 定制分支部署,需要
--mamba-ssm-cache-dtype float32(DeltaNet 线性注意力状态缓存精度)与--gdn-prefill-backend triton(Gated DeltaNet 预填充后端)等专有参数(见 README.md Online Serving 章节)。
也就是说,"参照系"不只存在于模型的注意力空间里,也存在于预处理管线与推理引擎里。哪一环没对齐,空间推理都会静默退化。
闭环机制:数据生产管线 + 场景化微调 + 确定性部署
复盘情报中给出的转折点是"开放全流程空间多模态数据生产管线"——把模型从"开箱即用"的消耗者,变成"数据闭环"的受益者。结合仓库,完整的焊装闭环可以还原为四步:
- 场景数据采集与空间标注:采集现场焊装图像/视频,标注"焊缝-母材""焊枪-夹具坐标系"等相对关系语义(这正是模型在 ViewSpatial、MMSI-Bench 上断层领先的能力域,用强项换场景);
- 空间归一化预处理:沿用仓库的 tile 切分 + thumbnail 方案,保证训练与部署侧输入分布一致;
- 场景化微调:在相对关系语义上微调,将"静态绝对定位"这类感知主导子任务降级为辅助信号,或干脆交给传统视觉方法兜底;
- 确定性部署:按 generation_config.json 与 README 的推荐参数,空间推理任务将
temperature设为 0、top_k=20、top_p=0.95,关闭采样随机性,配合定制 vLLM 服务保证产线可复现。
闭环后的效果是:模型负责它真正擅长的"语义空间理解"——判断工件的相对位姿关系、焊缝与夹具的空间约束、跨视角一致性;而毫米级绝对定位交给激光/结构光等外部位姿系统。这正是情报中"智能制造与科学实验闭环"所验证的分工。
三、工业落地场景筛选:四条可复用的经验
从焊装复盘可以提炼出空间具身模型工业选型的四条准则,它们共同定义了"翻车"与"闭环"之间的真实边界:
1. 先做任务分类:感知主导 vs 推理主导。 静态绝对定位、目标计数、固定位姿检测属于感知主导,视觉大模型的边际优势有限,且越接近计量级精度越吃亏;相对关系判断、跨视角一致性、语义 affordance、任务级空间规划属于推理主导,是空间 VLM 的护城河。筛选的第一条就是"别让模型干它不擅长的那类活",或者明确把它降级为辅助角色。
2. 评估数据闭环成本。 工业场景的空间分布偏移无法靠通用预训练抹平。能否以可接受成本完成"采集—空间标注—微调—回归评测"循环,决定了模型是死是活。模型开放全流程数据生产管线(含空间多模态数据格式、预处理协议)的价值,正在于把闭环成本从"工程谜题"降为"标准流程"。
3. 用 9B 的工程边界换取部署自由度。
与同期 770B MoE(如腾讯混元 Hy4 preview,每 token 激活 49B)的"大参数稀疏化"路线不同,9B 级空间具身模型走的是"小参数专用化"路线:官方 vLLM 部署示例 --tensor-parallel-size 1、--max-model-len 220000,单卡即可支撑 22 万 token 上下文,匹配焊装产线的边缘算力约束。当场景需要"高频率、低延迟、可私有化"时,9B 的工程可落地性本身就是竞争力。
4. 对"空间理解"与"空间计量"做诚实切分。 任何空间 VLM 输出的都是语义空间判断,不是计量级位姿。机器人执行器需要的 6D 位姿、毫米级坐标,仍应由相机标定、激光测量、伺服反馈等确定性系统提供。模型的价值是给这些系统一个"理解场景语义"的上层,而不是替代它们。 把这一条写进技术方案评审,能避免绝大多数"模型不行"的误判。
小结
ZDTaichu5.0-9B 在焊装场景的演进,本质上是把能力边界变成了工程边界:静态定位的平庸(CV-Bench 86.82)与相对关系解析的断层领先(ViewSpatial 62.50)同时存在,而 3D M-RoPE、混合注意力、空间归一化预处理、定制 vLLM 后端这些仓库源码里的实现细节,决定了哪些能力可以被工程化放大、哪些会在产线噪音里衰减。空间具身模型的真实边界从来不是一条单一的性能曲线,而是"感知 vs 推理"的能力分界线与"数据闭环 + 确定性部署"的工程分界线的交集。看清这张边界图,比追任何一个基准榜的第一名都更接近落地本身。