facebook/sapiens2-pointmap-1b 还是 MLX 版?sapiens2-pointmap-1b-bf16 选型与对比清单
facebook/sapiens2-pointmap-1b 还是 MLX 版?sapiens2-pointmap-1b-bf16 选型与对比清单
sapiens2-pointmap-1b-bf16 是 Meta Sapiens2 人体点图模型(facebook/sapiens2-pointmap-1b)的 MLX 社区版,以 bfloat16 精度打包、体积减半,专为 Apple Silicon(M 系列芯片)打造。本文用一份完整对比清单,帮你在 5 分钟内选对版本 👇
先搞懂:Sapiens2 pointmap 模型是做什么的?
Sapiens2 是 Meta 发布的以人为中心(human-centric)的视觉基础模型(ICLR 2026)。它的核心能力是:
- 对输入图像中的每个像素,输出该点在世界坐标系下的 XYZ 三维坐标(即 pointmap,点图)
- 同时输出一个 scale(缩放因子),用于恢复真实尺度
- 底层架构为 40 层 Transformer(
hidden_size: 1536),输入分辨率 1024×768,详见 config.json
简单说:给它一张人像照片,它就能告诉你画面里每个点"离相机多远、在哪个位置",常用于 3D 人体重建、姿态估计、深度理解 等场景。
关键差异:原版与 MLX 版有什么不同?
📦 这个仓库(README.md)是原版模型的 MLX bf16 转换版,由 mlx-vlm 0.7.0 转换而来。核心差异只有两点,但都很实在:
- 精度:所有参数从 float32 转为 bfloat16,与官方混合精度推理一致
- 结构适配:每个 Transformer 块的 q/k/v 投影被合并为一个
wqkv张量,这是 mlx-vlm 中 Sapiens2 模型所期望的格式(可从 model.safetensors.index.json 中的attn.wqkv.weight键名确认)
选型对比清单:一张表看明白
| 对比项 | facebook/sapiens2-pointmap-1b(原版) | sapiens2-pointmap-1b-bf16(MLX 版) |
|---|---|---|
| 运行平台 | NVIDIA GPU(CUDA)/ 通用 | Apple Silicon(M 系列 Mac) |
| 运行框架 | PyTorch / transformers | mlx-vlm(MLX) |
| 数值精度 | float32 | bfloat16 |
| 权重体积 | 约为本版的 2 倍 | 3.26 GB(单文件 model.safetensors) |
| 推理精度 | 混合精度推理 | bf16,与参考实现一致 |
| 加载方式 | transformers 等常规方式 |
mlx_vlm.load("mlx-community/sapiens2-pointmap-1b-bf16") |
| 模型权重 | 完整参数 | 相同参数,bf16 + wqkv 合并 |
| 预处理器 | Sapiens2ImageProcessor | 相同,见 preprocessor_config.json |
| 适用人群 | 服务器 / 工作站用户 | Mac 本地开发与尝鲜用户 |
💡 一句话结论:同一个模型、同一套能力——有 Mac 选 MLX 版,有 NVIDIA 显卡选原版,二者不是"谁更强"的关系,而是"在哪跑"的问题。
如何快速做出选择?
按你的硬件环境对号入座 ✅
- M 系列 Mac(M1/M2/M3/M4/M5):直接用
sapiens2-pointmap-1b-bf16,MLX 框架能充分利用统一内存,本地推理无需额外部署 - NVIDIA 显卡服务器:使用原版
facebook/sapiens2-pointmap-1b,MLX 版在 x86 + CUDA 环境下并非最优选择 - 只关心结果、不关心硬件:两者输出等价(同为 bf16 混合精度推理),任选其一即可
三步快速上手(MLX 版)
以 Mac 环境为例,完整流程如下(代码摘自 README.md):
第 1 步:安装框架
pip install -U mlx-vlm
第 2 步:加载模型并推理
from mlx_vlm import load
from mlx_vlm.models.sapiens2.generate import Sapiens2Predictor, read_image
model, _ = load("mlx-community/sapiens2-pointmap-1b-bf16")
predictor = Sapiens2Predictor(model)
output = predictor.infer(read_image("image.jpg"))
pointmaps, scale = output["pointmaps"], output["scales"] # (H, W, 3), (1,)
第 3 步:理解输出
pointmaps:与输入分辨率一致的密集 XYZ 点图(numpy 数组,形状(H, W, 3))scales:形状(1,)的缩放因子,用于还原真实尺度- 姿态类任务的输出则位于源图像像素坐标系中
仓库文件结构速览
仓库内容非常精简,全部文件各司其职:
| 文件 | 作用 |
|---|---|
| README.md | 模型说明 + mlx-vlm 使用示例 |
| config.json | 模型架构配置(40 层、1536 维、1024×768 输入) |
| preprocessor_config.json | 图像预处理配置(均值/方差归一化、双线性重采样) |
model.safetensors |
bf16 权重文件,约 3.26 GB |
| model.safetensors.index.json | 权重键名索引(含 wqkv 合并张量) |
常见问题(FAQ)
Q:bf16 会不会损失精度? 不会明显损失。官方参考实现本身就是 bf16 混合精度推理,MLX 版与此保持一致。
Q:为什么 MLX 版体积只有原版一半? float32 → bfloat16 每参数占用字节减半,这是量化位宽带来的直接收益,并非删减了任何参数。
Q:可以用在其他框架里吗?
不建议。wqkv 合并格式是 mlx-vlm 专用布局,移植到 transformers 等框架需额外拆分转换,直接用原版更省事。
Q:许可证需要注意什么? 本项目采用 sapiens2-license(见 README.md 头部信息),商用前请以 Meta 官方模型卡中的许可条款为准。
总结
🎯 选型口诀:平台决定版本,能力完全一致。
- Mac 用户 →
sapiens2-pointmap-1b-bf16,3.26 GB 轻量下载,mlx-vlm一行加载 - CUDA 用户 → 原版
facebook/sapiens2-pointmap-1b - 输出都是逐像素 XYZ 点图 + scale,下游处理代码无需改动