万字拆解 SAM3 的 PCS 范式:30 毫秒分割 100 个对象,凭什么快 2 倍
万字拆解 SAM3 的 PCS 范式:30 毫秒分割 100 个对象,凭什么快 2 倍
最近 AI 圈被 Meta 的新模型刷屏了。
不是那种"会聊天、会画图"的大模型,而是一个看起来更"朴素"的东西——SAM 3,也就是大名鼎鼎的"分割一切"模型的第三代。
什么叫分割一切?说白了,就是你指哪,它抠哪,边缘抠得比剪刀还齐。
以前用第一代 SAM,你想把图里的猫抠出来,得自己点一下猫的位置;想抠 100 只羊,就得点 100 下,手点酸了它才跟着动。
而 SAM 3 干了件颠覆性的事:你只需要说一句"把所有黄校车都找出来",它自己就能把画面里每一辆黄校车,一只不漏地抠出来。
更要命的是它的速度:处理 100 个检测对象,只花 30 毫秒。
30 毫秒是什么概念?眨眼的时间大约是 100 到 400 毫秒,也就是说它干完这一票活,你连眼睛都没来得及眨。
网上有人问:这玩意儿凭什么比上一代快了整整 2 倍?
今天这篇,我就把 SAM 3 的核心玩法——业内叫 PCS 范式——用大白话拆个底朝天,保证你看完能给别人讲明白。
一、PCS 是个啥?从"指哪抠哪"到"说啥抠啥"
先说结论:SAM 3 最大的突破,不是把抠图做得更快,而是换了个干活的思路。
前两代 SAM 的玩法,叫"可提示分割"。
你可以理解成请了个抠图师傅,但这个师傅有个规矩:他不动脑子,你不指,他不干活。
你想抠左边那只狗?点一下。右边那只?再点一下。中间挤着的一只?还得再点。画面里有 100 个目标,你就得伺候 100 下。人成了机器的一部分,累的还是人。
SAM 3 提出的 PCS(Promptable Concept Segmentation,可提示概念分割),把这套规矩彻底改写了。
你不再指"哪一个",而是描述"哪一类"。
比如你对着一张街景照片说:
"把所有戴红帽子的人找出来。"
SAM 3 会把画面里每一个戴红帽子的人,一个接一个全部抠出来,还给每个人编上号——这个是一号,那个是二号,谁是谁,全程不认错。
再比如对着球场说"穿白色球衣的球员",它就能把白队队员一个个全抠出来,绝不会把红队的错当成自己的。
这就是 PCS 和老 SAM 的本质差异:
- 老 SAM:一个提示,处理一个对象。你点 100 次,它抠 100 次。
- SAM 3 的 PCS:一个提示,处理一类概念。你说一次,它把这一类的全部成员一网打尽。
业内管这叫"穷尽式分割"——不是找到一个就算,而是一个都不能漏。这个"一个都不能漏"看着不起眼,其实是行业级的难题,下面细说它为什么难。
二、为什么说"说啥抠啥"是块硬骨头?
这里藏着一个很多外行容易误解的点。
"用文字找东西"这件事,其实别的 AI 早就会。比如你问聊天大模型"图里有几只猫",它能答上来。
但"答上来"和"抠出来"是两码事。
聊天模型告诉你"有 3 只猫",是嘴上功夫;SAM 3 要交出的,是每一只猫精确到每一个像素的轮廓,而且三只猫各自独立,边界不串门。
这就好比考试:
- 聊天大模型是"开卷选择题",给你个答案就行;
- SAM 3 干的是"画图题",还得要求每个图形都描边描到毫米级精度,一个都不能画错。
更难的还有"找全"这一条。
以前很多模型抠图是"找到一只就收工",画面里挤了 50 只羊,它给你交 3 只,剩下 47 只你爱莫能助。SAM 3 的训练数据里专门塞了大量"难例"——长得像的、挤在一块的、被遮挡的,逼着它学会"数清楚、抠全、别认错"。
为了练出这个本事,Meta 干了一件很狠的事:
他们搭了一条自动化的"数据流水线",让 AI 自己去标注、自己当质检,硬生生攒出了 400 万个不同概念的高精度训练数据。这是什么规模?他们顺手发布的 SA-Co 测试基准里装了 27 万个独特概念,是市面上同类测试集的 50 多倍。
通俗点说:以前的模型是在"小题库"里刷题,SAM 3 是在"整座图书馆"里练过。
效果直接体现在成绩单上:在这套新基准上,SAM 3 干到了人类水平 75% 到 80% 的位置。注意,这还只是开放概念任务的起步线,而且它比上一代同类系统精度直接翻倍。
三、30 毫秒凭什么?拆解它快 2 倍的三个秘诀
好,回到标题里那个灵魂拷问:快 2 倍,到底快在哪?
我拆开讲,一共三个秘诀,个个都能用生活场景打比方。
秘诀一:一个大脑,两副手套
SAM 3 的内部结构,是一个"看图的大脑"加两副"干活的手套"。
大脑是它的视觉编码模块,只负责把图"看懂"一遍;两副手套一个是"检测手套",管在图里找东西;一个是"跟踪手套",管在视频里盯住东西不跟丢。
关键在于:两副手套共用同一个大脑。
这就好比一个老警察,进屋扫一眼(大脑工作一次),记性全在脑子里。接下来你要他找人(检测),他要得动就动;你要他盯梢(跟踪),他还是凭同一份记忆。
老一代的做法是找人一套班子、盯梢一套班子,两拨人各看各的图,重复劳动一大半。SAM 3 把"看图"这件事只做一次,后面的活全复用,速度自然就上来了。
整个模型 8.48 亿参数,听着不小,但因为有这种"一份记忆,多处取用"的设计,跑起来相当利索。
秘诀二:先"有没有",再"在哪儿"
这是 SAM 3 里最精巧的一个设计,官方叫它 presence token,直译是"存在标记"。
老模型干活是一股脑的:边找边定位边抠,三步揉在一起。
问题出在哪?出在"长得太像"的时候。
你问它"穿白球衣的球员",画面里偏偏有一排穿红球衣的。老模型很容易犯轴——它觉得"反正场上都是球员,先框一个再说",结果白球衣没找全,红球衣倒错抠了两个。
SAM 3 把这个流程拆成了两步:
第一步先问自己:图里到底有没有你要的东西? 有,再往下走;没有,直接干净利落地收手。
第二步才问:它具体在哪个位置?
打个比方,这就像老练的店员接订单。你订"红富士",他先抬头看看货柜里有没有红富士——没有,直接告诉你缺货;有了,才动手给你挑。而不是一来就先往袋子里装果子,装完了发现颜色不对,再把果子往外掏。
就这么一个"先确认存在、再动手定位"的小改动,把"形近概念"的准确率拉了一大截。"白球衣球员"和"红球衣球员"这种细差别,SAM 3 分得门儿清。
秘诀三:检测管检测,跟踪管跟踪
处理视频的时候,SAM 3 又把"找"和"盯"拆开了。
老办法里,找东西和盯东西是搅在一起的,两件事互相拖后腿——就像让同一个人又当快递员又当仓库管理员,哪个都干不细。
SAM 3 的思路是:检测器只管把第一帧的东西找齐,跟踪器只管顺着记忆一路盯下去,各司其职,谁也不添谁的乱。
所以它处理视频的方式特别省心:你不用逐帧标注,只要在任意一帧丢一句"person"(人),它就能自动把画面里所有人找出来,然后一路盯到视频结束,谁转身、谁被挡住、谁走出画面再进来,都认得。
三个秘诀加在一起,就是"30 毫秒干掉 100 个对象、精度比上一代翻倍"的全部底气。
顺带一提,今年 3 月 Meta 还悄咪咪放出了 SAM 3.1,专门给视频多目标跟踪做了"共享内存"优化——多个目标盯梢时共用一份记忆,速度再提一截,精度还不掉。这波属于是"卷完第一代,继续卷自己"。
四、普通网友怎么上手?门槛高吗?
这部分大家最关心,直接上结论。
不想折腾的:直接玩网页版。
SAM 3 有官方在线 Demo,打开网页,传一张图,输入一句英文(比如 "red hat"、"cup"),几秒之后你就看到图里所有目标被五颜六色的轮廓描出来。Hugging Face 社区也有网友搭的在线体验版,同样是上传图片、输入文字、出结果,零安装、零配置,手机电脑都能玩。
玩一把你就懂什么叫"降维打击":传一张菜市场照片,输入"fish",每一条鱼都被描了出来,连案板角落里那条都跑不掉。
想本地跑的:准备一块像样的显卡。
SAM 3 的完整模型放出了开源权重,想要本地部署的朋友,基本需要一块带 CUDA 的 N 卡显卡,装好环境就能跑,社区里已经有一大批保姆级教程,覆盖了从网页界面到接口调用的各种姿势。
有两点提醒一下:
第一,这个模型在 Hugging Face 上的权重是"带门"的,需要先提交个简单申请(填个姓名职业,同意条款),审核通过才能下载,不是注册了账号就能直接抱走。
第二,它目前提示词主要吃英文,输入 "ear" 它认耳朵,输入"耳朵"它可能犯迷糊。中文用户要么用翻译转一下,要么等着社区后续补上。
哪些人会真香?
- 做电商搜索的:用户搜"带纽扣的红色连衣裙",以前得训练专门的识别模型,现在一句提示词就能把商品图里匹配的全部筛出来;
- 做视频剪辑、换背景的:说一句"把视频里所有车都抠出来",整段视频的车自动打码或替换,以前这活儿按帧数收费;
- 搞医疗影像的:已经有团队在用类似的提示驱动分割做医学图像,一句"病灶区域"就能把目标描出来,省掉大量人工勾边;
- 搞自动驾驶、内容审核的:街景里"行人找全"、直播画面"敏感目标全量标出",都是 PCS 这种"说一类、抠一类"最对口的活儿;
- 学生党、数码发烧友:白嫖网页版当玩具,顺便理解一下"多模态"到底是干嘛的,体验极佳。
五、它到底改变了什么?
最后说点大的,但尽量说人话。
过去几年,AI 看图是"从名词到形容词"的进化:
- 第一代:图里有只猫。(只能认死词表里的那几个东西)
- 第二代:你指哪儿,我抠哪儿。(会干活了,但得人工带)
- SAM 3:你说个概念,我把符合的全找出来、全盯住。(开始"理解"了)
这就是为什么业内说 SAM 3 不只是"分割一切",而是"开始理解世界"了。
以前的机器看图,像背单词的学生,词表外一概不认;SAM 3 看图,像一个见过世面的老店员,你说个描述,它就能在满屋子的货里给你把对的都挑出来。
而"理解概念"这件事,恰恰是很多应用最缺的那一环。让 AI 干具体活,靠的从来不是它会说多少漂亮话,而是它能不能精确地找到、抠下、盯住你要的那个东西。
30 毫秒 100 个对象,快 2 倍不是最惊人的数字,最惊人的是:"用一句话指挥机器干活"这件事,终于从聊天框里,走进了像素级执行的现实。
最后留个话题给各位:
如果你能让 AI"说一句话就抠出图里任何东西",你最想先拿它玩点什么?是批量给照片换背景、给猫狗做表情包,还是干脆用它做自己的"商品自动找货器"?
评论区聊聊,说不定下一个全民刷屏的玩法,就从你这句话里长出来。