焊装车间实测:9B空间大模型第一次上岗就“翻车”,改完这三处才真正跑通

原创2026-10-27 22:08:541,997 阅读
文章标签:人工智能大模型基础模型多模态计算机视觉具身智能AI Agent

焊装车间实测:9B空间大模型第一次上岗就“翻车”,改完这三处才真正跑通

先说一个很多工厂都遇到过的场面。

汽车焊装车间里,白车身刚从夹具上下来,几块钣金件的搭接位置差了几毫米,机械臂却还在按老程序走。老师傅戴着面罩凑过去看半天,凭经验判断“这块偏了,得补一下”。旁边工程师小声说:能不能让AI看一眼,直接告诉机器人该往哪焊?

这就是“空间具身大模型”最容易让人心动的地方。也是它最容易翻车的地方。

最近开源圈讨论度很高的紫东太初ZDTaichu5.0-9B,就是冲着这件事来的:它只有9B参数,却号称在10B以内的通用多模态模型里,空间理解能力做到了第一梯队。九项空间基准里拿下八项第一,MindCube-tiny这种“脑子里转立方体”的题拿到78.27分,把不少几十倍参数的大模型甩在后面。

但真正把这种模型搬进焊装线,故事远没有榜单那么漂亮。今天不复述发布会,只复盘一条真实路径:它是怎么从“看图片很聪明、上产线就犯傻”,一步步走到能闭环干活的。

一、它到底是个啥?给机器人装一双“看得懂关系”的眼睛

别被“多模态”“具身智能”这些词吓到。

你可以把它理解成一个刚进厂的实习工程师:你给他一张车间照片、一段巡检视频,他能说出“左边那个白色料箱离焊枪更近”“这个零件被夹具挡住了一半”“从这个角度看,机械臂要绕到后面才够得着”。

注意,重点不是“他认识这是什么零件”,而是他懂“谁在谁左边、谁离谁更近、从哪个方向伸手不会撞”。这才是空间智能。

传统视觉系统像一把游标卡尺,量得准,但你换一个车型、换一种摆放,它就得重新调参数、重新标定。大模型更像一个能举一反三的学徒,看一眼新工位,先给出一个“大概合理”的判断。

紫东太初5.0-9B的底子是Qwen3.5-9B的语言大脑,加上C-RADIOv4-H视觉编码器,能同时吃文字、图片、多张图和视频,最长能处理128K的内容。说白了,它不只能看一张照片,还能把巡检视频从头看到尾,记住“刚才那个件放在哪、现在被谁挪走了”。

听起来很美,对吧?问题也恰恰出在这里。

二、第一次进车间,它翻在了哪?

第一版试点,最常见的幻觉是:工程师以为模型会“指挥机器人”,其实模型只会“描述画面”。

翻车点主要有三个。

第一个坑:它说的“左边”,不是机器人认的左边。

人看照片说“左边”,是以看图人的视角为准。可机械臂的坐标系挂在底座上,工件的坐标系挂在夹具上,相机又是另一个坐标系。模型一句“目标在左侧”,到了执行端就变成三种完全不同的动作方向。

这不是模型笨,是大家说的根本不是同一种“左”。后来工程上补了一层空间归一化预处理,把相机画面、工位坐标、机器人基座坐标统一到同一套参照里,模型输出的方位词才有意义。

第二个坑:焊装车间的光,专治各种“视觉自信”。

弧光一亮,白车身一片过曝;钣金件反光,边缘和背景糊在一起;夹具、气管、线缆到处遮挡。模型在干净数据集上能答对“杯子把手朝哪边”,到了现场,面对一块反光的不锈钢板,判断就开始飘。

真正管用的办法不是硬堆模型,而是多给几个视角:工位相机、侧上方相机、机器人末端相机各来一张,让模型做交叉判断。它本来就是靠“多图关联”吃饭的,一张图看不懂,三张图往往就通了。

第三个坑,也是最致命的:单张照片里没有“深度”。

照片能告诉你“这两个件挨着”,但告诉不了你“差3毫米还是3厘米”。焊装恰恰是毫米级的活儿。指望一个9B模型直接输出焊枪该走的精确轨迹,本身就用错了工具。

这一轮下来,结论很清楚:它不是替代传统视觉和PLC的,它是给整套系统当“参谋”的。

三、从翻车到闭环,关键是把位置摆对

后来这套方案能跑通,靠的不是模型突然变强,而是分工变了。

模型负责“看懂局面、给出候选”,传统控制负责“算准、兜底”。

具体来说,模型看多视角画面,判断工件大致姿态、哪个位置被遮挡、从哪个方向接近不会撞夹具,输出几个候选抓取或接近位姿;下游再用结构光、力控、传统视觉做毫米级修正和碰撞校验。模型说“往左一点”,执行端只把它当成一个方向提示,而不是绝对坐标。

同时加了一道“干完再回头看一眼”的闭环:机器人动作完成后,相机再拍一张,让模型确认“件是不是真的放进去了、有没有歪、夹爪是不是空的”。没成功就回退重试,而不是一条道走到黑。

这套“看一眼—动一下—再看一眼”的循环,才是具身智能和普通图像识别最大的区别。

官方放出的LIBERO仿真对比挺能说明问题:同一个“把汤罐和奶酪盒放进收纳篮”的任务,紫东太初5.0-9B分别用26次和25次工具调用完成,松爪退避后物体保持稳定;另外两个对比模型跑满40次调用,一个没抓起奶酪盒,一个中途把番茄酱罐当成了目标。

差距不在“谁更会聊天”,而在谁能在多步操作里始终记得自己要干什么、干到哪一步了。

紫东太初5.0-9B与主流闭源模型在空间与具身任务上的对比

四、它的真实边界:擅长“关系”,不擅长“刻度”

这一点必须说透,免得又被吹成“万能”。

从公开榜单看,它强在空间关系判断:MindCube-tiny 78.27分,Qwen3.5-9B是57.60,Gemini 3 Pro是70.87;ViewSpatial视角转换62.50分,明显领先;VSI-Bench视频空间理解59.69分。这些题考的都是“转个身之后东西在哪”“这几个面能不能同时看见”,正是产线换型、工件识别最需要的能力。

但它也有明显的短板。

ERQA这项具身交互推理,它拿48分,Gemini 3 Pro是66分,GPT-5.2是59.80;通用知识MMLU-Pro是77.20,也低于Qwen3.5-9B的82.50。翻译成人话:它是个空间感很好的专才,不是门门满分的全才。

所以焊装场景里,凡是需要“绝对精度”的环节,别交给它;凡是需要“快速理解一个没见过的现场”的环节,它很值钱。

五、什么样的工厂适合先试?什么样的别碰?

复盘下来,场景筛选比模型选型更重要。

适合先上的:

换型频繁、品种多、批量小的工位。传统视觉每换一个车型就要重新调参数,大模型的“看一眼就懂”能省下大量调试时间。

有人工复检兜底的中低速工位。模型判断错了,后面还有人或者传感器能拦住,风险可控。

需要“看懂状态”而不是“量准尺寸”的环节,比如工件有没有放歪、料框是不是空了、夹具上有没有遗留物、巡检视频里有没有异常。

暂时别碰的:

高速节拍、零容错的关键焊点定位。这类活儿还是要靠成熟的结构光和闭环控制。

纯靠单目相机就想定毫米级位置的方案。物理上就不成立,换多大的模型都没用。

没有工程团队、指望开箱即用的企业。这玩意儿要接相机、接坐标系、接机器人接口、做数据回流,本质是个工程项目,不是装个软件。

六、普通人、普通公司怎么上手?

先说门槛,别被“9B”骗了。

9B指的是参数规模,听着不大,但它是多模态模型,权重文件加起来接近20GB,实际跑起来仍然需要一张像样的显卡。官方给了打包好的推理镜像,也支持常见的OpenAI接口调用方式,一张卡能起服务,属于“小团队够得着”的级别,但不是家里老笔记本能跑的玩具。

它适合谁?

制造业的数字化团队、机器人公司的算法组、高校实验室,以及想做“视觉+空间+动作”原型的开发团队。国家超算互联网的AI社区、魔搭和Hugging Face上都能直接拿到模型,许可证方面模型权重走的是NVIDIA开放模型许可,底层Qwen3.5部分是Apache-2.0,商用前需要法务确认清楚。

它不适合谁?

想找个App替代车间主任的老板,想一键生成焊接程序的操作工,以及期待它“自己学会干活”的人。它不会自己执行工具,工具调用必须由外面的应用来实现、校验和兜底——这句话官方写得很直白,也是所有具身模型目前的共同现状。

七、写在最后

这轮大模型进工厂,最容易被忽略的一点是:真正的门槛从来不是模型分数,而是“怎么把一个会看图的脑袋,接进一条不会等人的产线”。

紫东太初5.0-9B让人看到的是,9B这个量级的模型已经能把“空间关系”这件事做得相当像样,单卡能部署,成本可控,对中小制造企业来说不再是遥不可及的东西。

但它也诚实地暴露了边界:它能把“翻车”变成“闭环”,靠的不是自己变神,而是工程师把它的位置摆对了——当参谋,不当司机;给方向,不给刻度;允许它犯错,但一定有人兜底。

也许未来两三年,焊装车间里真的会出现这样的组合:老师傅负责最后拍板,AI负责先把一看就头大的画面看完。那时候再回头看今天这些“翻车”,大概都只是必经的学费。

你觉得,工厂里第一个该交给AI的活儿,会是质检、巡检,还是上下料?评论区聊聊。

登录后查看全文
ZDTaichu5.0-9B