微软TRELLIS项目：3D资产到结构化潜在表示(SLAT)的转换技术解析

微软研究院的TRELLIS项目提出了一种创新的3D生成方法，其核心在于将3D资产转换为结构化潜在表示(Structured LATents，简称SLAT)。本文将深入解析这一转换过程的技术细节，帮助读者理解如何将各种3D表示(如网格、NeRF、3D高斯泼溅等)高效编码为紧凑的潜在表示。

3D资产到SLAT的转换流程

1. 体素化处理

转换过程首先需要识别3D物体表面的活跃体素。这些体素是与物体表面相交的3D空间单元，构成了后续处理的基础数据结构。通过只保留活跃体素，可以显著减少计算量，实现稀疏化处理。

2. 多视角渲染与特征提取

系统会从多个视角渲染3D物体的2D图像，并使用DINOv2模型提取每张图像的特征。DINOv2是一种先进的视觉特征提取器，能够捕获丰富的语义和几何信息。

3. 特征反投影与融合

将提取的2D特征反投影回3D空间，对应到之前确定的活跃体素上。由于每个体素可能被多个视角观察到，系统会对所有相关视角的特征进行平均融合，形成每个体素的综合特征表示。

4. 结构化潜在编码

最后，通过一个浅层Transformer编码器，将体素化的3D特征压缩为紧凑的SLAT表示。这一步骤会丢弃非活跃体素，仅将活跃体素序列化为1D序列，并使用体素索引作为位置编码。

技术实现细节

在实际实现中，整个处理流程可以自动化完成，包括以下几个关键步骤：

1. 元数据构建：首先建立3D资产的元数据描述，为后续处理提供基础信息
2. 数据下载：获取原始3D资产数据
3. 多视角渲染：使用Blender等工具从多个角度渲染2D图像
4. 体素化处理：基于Open3D等库实现3D空间的离散化
5. 特征提取：应用DINOv2模型获取图像特征
6. 潜在编码：最终生成SLAT表示

应用价值与优势

这种结构化潜在表示具有几个显著优势：

• 高效性：通过稀疏化处理，只保留有意义的3D信息
• 兼容性：可以处理多种3D表示形式，包括网格、点云、NeRF等
• 语义丰富：结合了DINOv2提取的高级语义特征
• 生成友好：适合作为扩散模型等生成方法的输入

TRELLIS项目的这一技术为3D内容生成提供了新的思路，将复杂的3D数据处理为结构化、紧凑的表示形式，为后续的生成、编辑等操作奠定了基础。随着相关代码的开源，这一技术有望在3D生成领域产生广泛影响。