文字和图片两条入口塞进同一个模型:这种设计到底省了什么
文字和图片两条入口塞进同一个模型:这种设计到底省了什么
2024 年 11 月,腾讯开源 Hunyuan3D-1.0,宣传语里最抓人的一句是"业界首个同时支持文字、图像生成 3D 的开源大模型";再往前追,OpenAI 的 Shap-E 早就把 text 和 image 两种条件塞进了同一套隐式函数参数空间。到 2026 年,Luma、Tripo、V2Fun 这类产品基本都默认"文/图双入口"是标配,很少有人再问一句:把两条入口并到一个模型里,省下来的到底是什么,又悄悄付出了什么代价。
这篇文章不打算停在论文摘要层面。我们拿一个真实的工程仓库 3d-model-anything 当对照样本——它的输入同样是"两路"(LiDAR 几何与测量、带位姿的照片),但它没有把两路融成一个网络,而是硬性保持两条独立证据链。恰恰是这种"反统一"的做法,把统一模型的账算得特别清楚。
一、统一的收益:省的是条件编码器,不是监督
Shap-E 的结构值得先拆开看。它分两阶段训练:第一阶段训一个编码器,把 3D 资产确定性地映射成隐式函数的参数;第二阶段在编码器输出上训条件扩散模型。文字和图像两种条件最终都对齐到同一个隐式表征上,于是同一套几何解码器、同一个 latent 空间、同一份评测脚本可以服务两种输入。这是实打实的工程收益:模型参数不用翻倍,推理管线不用分叉,部署时也不必维护两条 ONNX 图。
Hunyuan3D-1.0 讲的是同一个故事的另一半——不仅双入口,还给出轻量版"10 秒内生成高质量 3D 资产"的指标。TripoSR 更极端,单图生成、宣称 0.5 秒、不依赖强 GPU。这些数字共同说明一件事:统一入口之后,几何生成这一段的成本被摊薄了,剩下的瓶颈转移到了条件理解与后处理上。
但要注意,"省"的边界在哪里。Shap-E 的论文里有一句容易被忽略的观察:它在图像条件下的成功与失败案例,跟 Point·E 高度相似——换掉输出表征,模型行为并没有本质改变。这句话反向证明了:真正决定上限的不是"入口是否统一",而是这条入口能提供多强的监督信号。统一只是让你少写一份 dataloader,不会让文本突然具备米级精度。
3d-model-anything 从另一侧印证了这一点。它的 README 写得很直白:
The app records the evidence. The skill guides an agent through measurement, modeling and matched-camera visual comparisons. This is an iterative reconstruction workflow, not a one-click scan-to-perfect-model converter.
"记录证据"和"生成模型"被明确分成两件事。仓库里根本没有一个端到端网络,两路输入各司其职,谁也不能替代谁。这不是能力不足,而是对监督强度的诚实。
二、代价一:两路输入的监督强度天然不对等
统一模型最容易被忽略的成本,是它把两路质量完全不同的监督压进了同一个损失函数。在生成式 3D 里,这种不对等体现为:图像监督是有几何锚点的(像素、位姿、投影),文本监督是无锚点的(只有语义)。
3d-model-anything 里有一份非常"较真"的实现,可以当作量化参照。它给每个 LiDAR 顶点打一个"照片覆盖分",函数在 CoverageEngine.swift:
static func contribution(_ ph: Photo, _ p: SIMD3<Float>, _ n: SIMD3<Float>, twoSided: Bool = false) -> Float {
let c = ph.worldToCamera * SIMD4(p, 1)
let d = -c.z
guard d > 0.25, d < 5 else { return 0 }
// ... 投影到像素,要求落在画面内 3%~97% 的安全区
var cosT = simd_dot(n, toCam)
guard cosT > 0.2 else { return 0 }
// 有深度图就查遮挡:dg > surface + 0.06 + 0.03 * surface
let pxPerCm = ph.fx * cosT / d / 100
return min(1, pxPerCm / 4) * ph.sharpness * occlusionFactor
}
这一行返回值里塞了四个物理量:距离区间(0.25–5 m)、入射角余弦、分辨率密度(4 px/cm 才算"看得清标签和收边")、清晰度,外加一个随距离放宽的遮挡容差(6 cm + 3%×深度,因为深度图在远处噪声更大)。分数上限被硬编码为 2,绿色阈值 0.8,红色阈值 0.35。
对照之下,几何这一路的"置信度"是什么?RoomPlan 给每面墙一个 confidence,取值只有 high / medium / low 三档,bundle_to_room.py 直接取它的枚举名:
'confidence': next(iter(w['confidence'])),
一边是连续、可微、带物理单位的覆盖度;另一边是三档离散标签。技能文档还补了几刀:RoomPlan 每面墙只报一个平顶高度,"could miss local ceiling variations",天花板形状必须从照片或网格里取;家具框只是包围盒,"RoomPlan boxes are bounds, not finished furniture"。
这就是两路监督不对等的具体形态:
| 维度 | 几何/测量入口 | 照片入口 | 文本入口(生成式模型侧) |
|---|---|---|---|
| 基本单位 | 米、面、开口 | 像素 + 位姿 + 内参 | token |
| 监督强度 | 强(可验证的尺寸) | 强(可投影、可遮挡检验) | 弱(只有语义) |
| 失效方式 | 漏结构、平顶假设 | 模糊、过曝、无覆盖 | 概念组合、属性绑定错误 |
| 能回答的问题 | 多宽、多高、在哪 | 长什么样、什么材质 | 是什么、像不像 |
3d-model-anything 的应对方式不是"用一个大损失抹平差异",而是给每一路单独定权、单独设阈值。技能总纲里有一句像是写给所有 3D 生成工程师的:
Record uncertainty rather than inventing measurements.
当文本这一路只能给出"是什么",而几何这一路能给出"多宽"时,任何把它们塞进同一回归头的做法,本质上都在用弱监督拖累强监督。Shap-E 的失败模式恰好印证了这一点——组合概念、计数、属性绑定这些坑,论文归因于"有限的成对训练数据",而不是编码器容量。数据不够,统一表征救不了。
三、代价二:失败时难以归因是哪一路出了问题
统一模型第二个隐性成本,出现在上线之后。当输出不对劲,你只有一个重建结果和一个总损失,没有中间量。是条件没读懂?是几何先验错了?还是条件与几何在融合处打架?
3d-model-anything 在这件事上的投入,几乎可以当成一份"归因设计"的参考实现。
第一层:按通道拆统计。 CoverageEngine.swift 的 publishStats() 同时维护四组数字:LiDAR 网格面积覆盖率、RoomPlan 目标面覆盖率、天花板覆盖率、地板覆盖率。为什么要拆?因为"这里是红的"可能意味着两件完全不同的事:没有照片,或者根本没有几何。拆开之后,红区直接指向责任方。
第二层:把中间产物落盘。 Diagnostics.swift 的探针会把 ARKit 配置原样打印出来——reconstruction、frameSemantics、planeDetection、视频分辨率与帧率:
let s = "\(type(of: c))" + " reconstruction=\(w.sceneReconstruction.rawValue) semantics=\(w.frameSemantics.rawValue) ..."
s += " video=\(Int(c.videoFormat.imageResolution.width))x\(Int(c.videoFormat.imageResolution.height))@\(c.videoFormat.framesPerSecond)"
这段代码是给 -diag 启动参数用的,专门验证"RoomPlan 和 ARKit 的 mesh/depth 能不能共存于同一个 ARSession"。为什么需要这种探针?因为这类失败无法从最终模型反推。README 里有一句非常克制的判断:
A successful simulator check cannot reproduce or rule out a device tracking failure.
翻译过来就是:端到端跑通不等于没 bug。统一模型最容易丢失的,正是这种"分层可观测性"。
第三层:把对齐误差和尺度误差分开。 alignment.json 里存的不是一句"已对齐",而是一个列主序 4×4 矩阵,加上 yawDegrees: 90.00516760003931、毫米级平移,以及一份独立的墙平面 RMS 记录(2.6 cm)。BRIEF 里明确写着"不得假设单位矩阵,也不得用包围盒缩放"(demos/office-v4/BRIEF.md)。这两句话把 3D 重建里最常见的两种错误——转错了和缩错了——在数据层面就切开了。
第四层:控制变量做对比。 这是整个仓库最值得抄走的工程习惯。cmp.sh 用完全相同的相机参数渲染两次,一次 src=scan、一次 src=model,然后左右拼接:
$DIR/cap.sh $1-scan "src=scan&$2" >/dev/null && \
$DIR/cap.sh $1-model "src=model&$2" >/dev/null || { echo FAIL; exit 1; }
# 尺寸不一致直接报错,不做任何裁剪
if a.size != m.size: raise ValueError(f'Camera frame mismatch: {a.size} vs {m.size}')
cmp_photo.sh 更狠,直接用第 N 张照片的位姿渲染模型(photo=$N),让"照片"和"模型"在同一相机下并排。
脚本注释里两句话点破了归因的前提:
Never crop black scene pixels: that changes the camera framing. These tools capture and stitch comparisons; they do not evaluate similarity.
不裁剪,是因为空白区域本身是证据;不自动判分,是因为"差在哪"必须由人(或 agent)看图判断——相似度指标只能告诉你"差多少",不能告诉你"哪一路错了"。
把这三层叠起来看,统一模型的代价就清晰了:它把四个可独立观测的量,压缩成了一个标量。而 3d-model-anything 的整套设计,本质上是在拒绝这种压缩。
注意这张图里的关键细节:椅子是被当作独立可选中的对象提起来的,而不是从一整块融合网格里切下来的。能拆到对象级,意味着每个对象都有自己的来源、自己的照片依据、自己的误差范围。这正是"可归因"在最终产物上的样子。
四、什么时候该拆开:按场景路由比强行统一更实际
讲到这里,结论不应该是"统一模型不行"。恰恰相反,统一入口在产品层面是必要的——用户不会为了一张图和一个 prompt 去装两个 App。真正需要分开的,是入口和证据通道。
3d-model-anything 的流水线把这件事做成了显式的路由表:
先看有什么,再决定走哪条路。 技能文档对老版本 bundle 的指示是"Some early bundles have no usable mesh/depth. Use their RoomPlan boxes and photos instead of assuming those inputs exist. Inspect actual files before choosing a reconstruction route."——先 jq 'keys' structure.json 探明结构,再决定是用 PLY 直接上色、还是用深度帧重建、还是退回 RoomPlan 盒子。
按要素分工。 墙和开口走 RoomPlan JSON(有标签、有置信度);天花板起伏、吊顶、内嵌柜走 PLY 网格的高度直方图和正交渲染;遮挡判定走深度帧(256×192 Float16,带 0–2 置信度);纹理与材质走照片。技能文档对投影的说明精确到像素:
const pc = invert(transform) · [P, 1];
if (pc.z >= 0) continue; // 在相机背后
const x = fx * (pc.x / -pc.z) + cx;
const y = fy * (-pc.y / -pc.z) + cy;
坐标系、传感器朝向、"用内参投影时忽略 EXIF",这些都被写进格式契约,而不是靠模型自己学。
按资源调度。 PhotoTextures.swift 里所有解码纹理共享一个像素预算,缩放系数是面积的开方比:
let scale = min(1, sqrt(Double(pixelBudget) / max(1, area)))
README 说明这个预算是整栋房子 48 兆像素。而 CaptureQuality.swift 则按热状态和内存压力动态调采集频率:depthInterval 在 0.2 / 0.5 / 1.0 秒之间切换。这是路由的另一种形态——不确定的时候降级哪一路,是有明确优先级的。
按产物能力路由。 公开 demo 里 room.referenceAvailable = false(demos/office-v4/index.ts),因为原始扫描和照片集不随仓库分发,于是 Scan/Overlay 两个模式被直接关掉。宁可少一个功能,也不给一个"看起来能比、其实没参考"的假入口。
把这些抽象出来,就是一条给生成式 3D 产品的路由策略:
- 入口统一,证据分离。 用户侧一个框,同时接受 prompt 和参考图;内部为每种输入维护独立的质量分与失败码。
- 能力按场景选。 要尺寸精度(家装、工程、电商打样)走图像/几何主导;要概念探索和变体走文本主导;两者都要时,用文本定"是什么"、用图像定"多大、多长"。
- 失败可回退。 任何一路不可用,管线要能降级而不是报错——就像仓库里
referenceAvailable: false那样,把能力缺口显式暴露给用户。 - 对比要控变量。 评测不是算一个总分,而是在同一相机、同一构图下看差异。
五、一份可以直接抄走的检查清单
如果你正在做多模态 3D 产品,下面这几条都能在这个仓库里找到对应实现,可以直接落到自己的代码里:
- 给每一路输入一个带物理单位的分数。 不要只写
confidence,写清"多远、多斜、多少像素每厘米、有没有被挡住"。参考contribution()的四段门槛。 - 把"没有数据"和"数据不好"分开统计。 前者是覆盖问题,后者是质量问题,两者的修复手段完全不同。
- 位姿和内参进契约,不进模型。
transform是相机到世界,相机看向 −Z,像素是未旋转的传感器图像——把这些写进格式文档,比让网络去猜便宜得多。 - 对齐与尺度分开验证。 存矩阵、存 yaw、存 RMS,别只存一个"aligned: true"。
- 对比工具只做对照,不做判分。 拼图脚本负责保证相机一致、尺寸一致、不裁剪;"改哪里"留给会看图的人。
- 记录不确定性。 这句写在技能文档里的话,值得贴在每个重建管线的 README 第一行。
回到标题那个问题:文字和图片塞进同一个模型,省的是条件编码器和部署复杂度,这部分收益是真实的,也是 Hunyuan3D-1.0、Shap-E 这类工作值得被开源的原因。但它省不掉监督强度的差异,也省不掉失败归因的成本——这两笔账只是从训练阶段挪到了排障阶段。3d-model-anything 给出的答案很朴素:入口可以合并,证据必须分账;模型可以端到端,诊断不能。