NVIDIA DGX Spark 部署 Ultralytics YOLO 实战指南：Docker / 原生安装、TensorRT 加速与性能基准

本篇指南完整讲解如何在 NVIDIA DGX Spark（GB10 Grace Blackwell 桌面级 AI 超级计算机，DGX OS 环境）上部署 Ultralytics YOLO 模型：既可用官方预构建 ARM64 Docker 镜像一键拉起，也可通过原生安装方式配置 Python 环境，并重点围绕 TensorRT 引擎导出、FP16/INT8 量化与批量推理榨取最高推理性能。读完本文，你将掌握 DGX Spark 上的环境搭建、TensorRT 最优实践、多格式性能基准的解读与复现方法，以及系统更新与监控的常规操作。

NVIDIA DGX Spark 平台概览

NVIDIA DGX Spark 是一款紧凑型桌面 AI 超级计算机，搭载 NVIDIA GB10 Grace Blackwell Superchip，在 FP4 精度下可提供高达 1 petaFLOP 的 AI 算力。对需要在本机获得强大 AI 能力的开发者、研究人员与数据科学家而言，它把高性能计算带入了桌面形态。

关键硬件规格

规格	详情
AI 性能	最高 1 PFLOP（FP4）
GPU	NVIDIA Blackwell 架构，第 5 代 Tensor Core，第 4 代 RT Core
CPU	20 核 Arm 处理器（10 Cortex-X925 + 10 Cortex-A725）
内存	128 GB LPDDR5x 统一系统内存，256-bit 接口，4266 MHz，273 GB/s 带宽
存储	1 TB 或 4 TB 自加密 NVMe M.2
网络	1× RJ-45（10 GbE）、ConnectX-7 Smart NIC、Wi-Fi 7、Bluetooth 5.4
连接性	4× USB Type-C、1× HDMI 2.1a、HDMI 多声道音频
视频处理	1× NVENC、1× NVDEC

值得注意的是，DGX Spark 采用 ARM64（aarch64）架构，这与 x86 工作站有本质差异，因此后续环境安装（PyTorch 的 CUDA 版本选择、onnxruntime-gpu 轮子下载、TensorRT 引擎构建）都必须围绕 ARM64 + CUDA 13 的软件栈展开。当前仓库中为 DGX Spark 定制的镜像即构建于该架构之上，见 docker/Dockerfile-nvidia-arm64。

DGX OS：为 AI 工作负载定制的 Linux 发行版

NVIDIA DGX OS 是针对 DGX 系统定制、经过测试与支持的 Linux 发行版，为运行 AI、机器学习与分析类应用提供稳定的操作系统底座，主要包括：

• 面向 AI 工作负载优化的 Linux 基础
• 为 NVIDIA 硬件预配置的驱动与系统设置
• 安全更新与系统维护能力
• 与更广泛的 NVIDIA 软件生态兼容

DGX OS 遵循规律的发布节奏，主版本更新通常每年两次（约 2 月和 8 月），主版本之间还会提供额外的安全补丁。

DGX Dashboard：内置管理面板

DGX Spark 内置 DGX Dashboard，提供以下能力：

• 实时系统监控：系统当前运行指标的概览
• 系统更新：可直接在面板中应用更新
• 系统设置：修改设备名称及其他配置
• 集成 JupyterLab：访问本地 Jupyter Notebook 进行开发

访问 Dashboard 的三种方式

本地访问：在 Ubuntu 桌面左下角点击 “Show Apps”，选择 “DGX Dashboard” 即可在浏览器中打开。

通过 SSH 远程访问（建立隧道后浏览器访问 http://localhost:11000）：

ssh -L 11000:localhost:11000 [e-mail]

通过 NVIDIA Sync 远程访问：与 NVIDIA Sync 连接后，点击 “DGX Dashboard” 按钮，即可在 http://localhost:11000 打开。

DGX Dashboard 内含集成的 JupyterLab 实例——首次启动时它会自动创建虚拟环境并安装推荐包，每个用户账户会被分配一个专用端口用于 JupyterLab 访问。

适用范围说明：本指南已在运行基于 Ubuntu 的 DGX OS 的 NVIDIA DGX Spark Founders Edition 上验证通过，预期同样适用于最新的 DGX OS 版本。

快速开始：Docker 方式

在 DGX Spark 上运行 Ultralytics YOLO 最快捷的方式是使用官方预构建镜像。同一个镜像既支持 Jetson AGX Thor（JetPack 7.0），也支持运行 DGX OS 的 DGX Spark——两者的共同基础是 ARM64 架构与 CUDA 13 软件栈，仓库中用于构建该镜像的 Dockerfile 头部注释即同时标注了 “JetPack 7.0 and DGX OS” 两种目标（docker/Dockerfile-nvidia-arm64）。

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

两点关键说明：

1. 上面的 CDI 设备请求（--device nvidia.com/gpu=all）适用于运行 DGX OS 的 DGX Spark。如果是在 Jetson AGX Thor 上启动同一镜像，则应改用 --runtime=nvidia，具体可参考 NVIDIA Jetson 指南。
2. 该镜像构建自 nvcr.io/nvidia/pytorch:25.10-py3 基础镜像，内部依次完成 onnxruntime_gpu-1.24.0（aarch64 轮子）、CUDA 13.0 兼容版 torch/torchvision 的强制重装，以及 -e ".[export]" 的源码安装（见 docker/Dockerfile-nvidia-arm64）。需要挂载数据集时，可追加卷参数：

sudo docker run -it --ipc=host --device nvidia.com/gpu=all -v "$PWD/shared/datasets:/datasets" $t

完成上述步骤后，可直接跳至下文「使用 TensorRT」一节。仓库 Dockerfile 的注释还提示了 CDI 依赖：需要 Docker ≥ 28.2.0 与 nvidia-container-toolkit ≥ 1.18，且传统 --gpus all 在宿主机 systemd 守护进程重载后可能丢失 GPU 访问权限（nvidia-container-toolkit#48），这解释了为何官方推荐使用 CDI 设备请求语法。

原生安装方式

若不想使用 Docker，可在 DGX Spark 上按原生方式安装，流程分为三步：安装 Ultralytics 包、重装 CUDA 13 兼容版 PyTorch/Torchvision、手动安装 onnxruntime-gpu。

第一步：安装 Ultralytics 包

由于导出依赖会在首次导出模型时自动安装，此处只需安装基础包即可。本文后续聚焦 TensorRT 导出——TensorRT 能确保从 DGX Spark 上获得最高性能。

# 1. 更新软件包列表，安装 pip 并升级到最新
sudo apt update
sudo apt install python3-pip -y
pip install -U pip

# 2. 安装 ultralytics pip 包
pip install ultralytics

# 3. 重启设备
sudo reboot

第二步：安装 PyTorch 与 Torchvision

pip install ultralytics 会自动带上 Torch 与 Torchvision，但这些来自 pip 的包未必针对 DGX Spark 的 ARM64 + CUDA 13 组合做完全优化，因此官方建议安装 CUDA 13 兼容版本：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

这一点与 Docker 镜像的做法一致——镜像构建时同样使用 --force-reinstall torch torchvision --index-url https://download.pytorch.org/whl/cu130 来确保 CUDA 13.0 兼容（见 docker/Dockerfile-nvidia-arm64）。

在 DGX Spark 上运行 PyTorch 2.9.1 时，初始化 CUDA（例如执行 yolo checks、yolo predict）可能遇到如下 UserWarning：

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

该警告可以安全忽略。修复方案已提交至 PyTorch PR #164590，将随 PyTorch 2.10 版本发布。

第三步：手动安装 onnxruntime-gpu

PyPI 上托管的 onnxruntime-gpu 包没有提供 ARM64（aarch64）的二进制，而部分模型导出格式需要该包，因此必须在 ARM64 系统上手动安装。官方提供了带 Python 3.12 支持的 onnxruntime-gpu 1.24.0 aarch64 轮子：

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

该轮子在 Docker 镜像构建流程中也被直接引用安装（见 docker/Dockerfile-nvidia-arm64），说明这是 DGX Spark / Jetson Thor 这类 ARM64 设备的标准依赖处理路径。

使用 TensorRT：DGX Spark 上的首选推理后端

在 Ultralytics 支持的所有导出格式中，TensorRT 在 NVIDIA DGX Spark 上提供最高的推理性能，因此是官方首推的部署方式。关于安装与进阶用法，可查阅 TensorRT 集成指南。

需要注意 TensorRT 引擎的硬件/运行时绑定特性：引擎是在构建 GPU 上完成 profile 与 tuning 的，应针对实际部署的 GPU 架构构建，并匹配 TensorRT/CUDA 运行时——.engine 文件并非可移植的模型格式（见 TensorRT 集成指南）。因此导出与推理都应在 DGX Spark 本体上完成。

将模型转换为 TensorRT 并运行推理

以下示例把 PyTorch 格式的 YOLO26n 模型转换为 TensorRT 引擎，再用导出的引擎运行推理：

Python 方式：

from ultralytics import YOLO

# 加载 YOLO26n PyTorch 模型
model = YOLO("yolo26n.pt")

# 导出为 TensorRT 引擎
model.export(format="engine")  # 生成 'yolo26n.engine'

# 加载导出的 TensorRT 模型
trt_model = YOLO("yolo26n.engine")

# 运行推理
results = trt_model("https://ultralytics.com/images/bus.jpg")

CLI 方式：

# 将 YOLO26n PyTorch 模型导出为 TensorRT 格式
yolo export model=yolo26n.pt format=engine # 生成 'yolo26n.engine'

# 使用导出的模型运行推理
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

导出不同模型格式时可追加更多参数，详见 导出模式参数说明。

理解导出与基准背后的实现

从当前仓库源码看，YOLO.export() 最终会调用 Exporter 类完成格式转换，format="engine" 即进入 TensorRT 导出路径（见 ultralytics/engine/model.py）。精度量化参数统一为 quantize：底层在 ultralytics/cfg/init.py 中维护了 QUANTIZE_ALIASES 别名映射，16/fp16、8/int8、32/fp32 等写法会先被规范化再参与导出；过去遗留的 half=True/int8=True 参数仍会被兼容处理并转发到 quantize=16/quantize=8。这意味着在 DGX Spark 上你既可以写 quantize=16，也可以沿用旧的 half=True。

NVIDIA DGX Spark YOLO11 基准测试

下表由 Ultralytics 团队在 NVIDIA DGX Spark 上测得，覆盖 PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch 等格式，统一以 FP32 精度、默认输入尺寸 640 测速与测精度（Benchmarked with Ultralytics 8.3.249）。

YOLO11n

格式	状态	磁盘大小 (MB)	mAP50-95(B)	推理时间 (ms/im)
PyTorch	✅	5.4	0.5071	2.67
TorchScript	✅	10.5	0.5083	2.62
ONNX	✅	10.2	0.5074	5.92
OpenVINO	✅	10.4	0.5058	14.95
TensorRT (FP32)	✅	12.8	0.5085	1.95
TensorRT (FP16)	✅	7.0	0.5068	1.01
TensorRT (INT8)	✅	18.6	0.4880	1.62
TF SavedModel	✅	25.7	0.5076	36.39
TF GraphDef	✅	10.3	0.5076	41.06
TF Lite	✅	10.3	0.5075	64.36
MNN	✅	10.1	0.5075	12.14
NCNN	✅	10.2	0.5041	12.31
ExecuTorch	✅	10.2	0.5075	27.61

YOLO11s

格式	状态	磁盘大小 (MB)	mAP50-95(B)	推理时间 (ms/im)
PyTorch	✅	18.4	0.5767	5.38
TorchScript	✅	36.5	0.5781	5.48
ONNX	✅	36.3	0.5784	8.17
OpenVINO	✅	36.4	0.5809	27.12
TensorRT (FP32)	✅	39.8	0.5783	3.59
TensorRT (FP16)	✅	20.1	0.5800	1.85
TensorRT (INT8)	✅	17.5	0.5664	1.88
TF SavedModel	✅	90.8	0.5782	66.63
TF GraphDef	✅	36.3	0.5782	71.67
TF Lite	✅	36.3	0.5782	187.36
MNN	✅	36.2	0.5775	27.05
NCNN	✅	36.2	0.5806	26.26
ExecuTorch	✅	36.2	0.5782	54.73

YOLO11m

格式	状态	磁盘大小 (MB)	mAP50-95(B)	推理时间 (ms/im)
PyTorch	✅	38.8	0.6254	11.14
TorchScript	✅	77.3	0.6304	12.00
ONNX	✅	76.9	0.6304	13.83
OpenVINO	✅	77.1	0.6284	62.44
TensorRT (FP32)	✅	79.9	0.6305	6.96
TensorRT (FP16)	✅	40.6	0.6313	3.14
TensorRT (INT8)	✅	26.6	0.6204	3.30
TF SavedModel	✅	192.4	0.6306	139.85
TF GraphDef	✅	76.9	0.6306	146.76
TF Lite	✅	76.9	0.6306	568.18
MNN	✅	76.8	0.6306	67.67
NCNN	✅	76.8	0.6308	60.49
ExecuTorch	✅	76.9	0.6306	120.37

YOLO11l

格式	状态	磁盘大小 (MB)	mAP50-95(B)	推理时间 (ms/im)
PyTorch	✅	49.0	0.6366	13.95
TorchScript	✅	97.6	0.6399	15.67
ONNX	✅	97.0	0.6399	16.62
OpenVINO	✅	97.3	0.6377	78.80
TensorRT (FP32)	✅	99.2	0.6407	8.86
TensorRT (FP16)	✅	50.8	0.6350	3.85
TensorRT (INT8)	✅	32.5	0.6224	4.52
TF SavedModel	✅	242.7	0.6409	187.45
TF GraphDef	✅	97.0	0.6409	193.92
TF Lite	✅	97.0	0.6409	728.61
MNN	✅	96.9	0.6369	85.21
NCNN	✅	96.9	0.6373	77.62
ExecuTorch	✅	97.0	0.6409	153.56

YOLO11x

格式	状态	磁盘大小 (MB)	mAP50-95(B)	推理时间 (ms/im)
PyTorch	✅	109.3	0.6992	23.19
TorchScript	✅	218.1	0.6900	25.75
ONNX	✅	217.5	0.6900	27.43
OpenVINO	✅	217.8	0.6872	149.44
TensorRT (FP32)	✅	222.7	0.6902	13.87
TensorRT (FP16)	✅	111.1	0.6883	6.19
TensorRT (INT8)	✅	62.9	0.6793	6.62
TF SavedModel	✅	543.9	0.6900	335.10
TF GraphDef	✅	217.5	0.6900	348.86
TF Lite	✅	217.5	0.6900	1578.66
MNN	✅	217.3	0.6874	168.95
NCNN	✅	217.4	0.6901	132.13
ExecuTorch	✅	217.4	0.6900	297.17

基准结论解读

横向对比上述数据，可以得出几个有实操价值的结论：

• TensorRT FP16 是最优单帧延迟选择：以 YOLO11n 为例，FP16 引擎仅 1.01 ms/im，相比 PyTorch（2.67 ms/im）提升约 2.6 倍，同时 mAP50-95 基本无损失（0.5068 vs 0.5071）。
• INT8 进一步压缩模型体积：YOLO11x 的 INT8 引擎仅 62.9 MB（FP32 引擎为 222.7 MB），体积缩小约 3.5 倍，精度下降约 0.01 mAP，推理时间与 FP16 相当。INT8 的精度差异意味着若你依赖精确的置信度阈值，建议在 INT8 模型自身的 F1 曲线上重新选择工作阈值。
• PyTorch/ONNX 在 ARM64 上可作调试用：它们虽便捷，但单帧推理时间普遍为 TensorRT 的 3~10 倍以上，不适合作为生产路径。

关于格式覆盖范围有一个工程细节值得注意：从 ultralytics/utils/benchmarks.py 的源码逻辑看，benchmark() 会对每种格式执行“导出 → predict 冒烟测试 → val 精度验证”三步流水线，若某格式在当前系统不支持（例如 CoreML 需要 macOS 或非 aarch64 Linux），对应行会标记失败而非报错中断，这解释了为何不同硬件上基准表的行为存在差异。

复现基准测试

若要复现上述全部导出格式的基准结果，可运行以下命令（内部会遍历 导出格式列表）：

Python 方式：

from ultralytics import YOLO

# 加载 YOLO26n PyTorch 模型
model = YOLO("yolo26n.pt")

# 在 COCO128 数据集上对全部导出格式做 YOLO26n 的速度与精度基准
results = model.benchmark(data="coco128.yaml", imgsz=640)

CLI 方式：

# 在 COCO128 数据集上对全部导出格式做 YOLO26n 的速度与精度基准
yolo benchmark model=yolo26n.pt data=coco128.yaml imgsz=640

需要说明的是，基准结果会因系统精确的硬件/软件配置以及运行时的当前负载而波动。为获得最可靠的结果，建议使用图像数量较大的数据集，例如 data='coco.yaml'（5000 张验证图像）。

从源码看，model.benchmark() 默认会合并 DEFAULT_CFG_DICT 与模型自身参数（见 ultralytics/engine/model.py），而 benchmarks.py 中的验证环节固定使用 conf=0.001 与 batch=1，这与官方基准表所基于的 mAP 口径一致（见 ultralytics/utils/benchmarks.py），复现时不必自行调整置信度。

DGX Spark 上的最佳实践

为在 DGX Spark 上把 YOLO26 跑出最佳性能，官方建议遵循以下几条实践：

1. 监控系统性能 —— 用 NVIDIA 监控工具跟踪 GPU 与 CPU 利用率：

nvidia-smi

2. 优化内存使用 —— DGX Spark 拥有 128 GB 统一内存，可以支撑较大的 batch size 与模型。考虑增大 batch 以提升吞吐：

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.predict(source="path/to/images", batch=16)

3. 使用 FP16 或 INT8 精度的 TensorRT —— 导出引擎时选择低精度以获得最佳性能：

yolo export model=yolo26n.pt format=engine quantize=16 # FP16
yolo export model=yolo26n.pt format=engine quantize=8  # INT8

FP16 / INT8 导出的精度与细节

结合仓库中的 TensorRT 集成指南 可以进一步明确：quantize=16 与 quantize=8 分别请求 FP16 与 INT8 导出，其中 INT8 走训练后量化（PTQ）并依赖校准过程；在校准期间，TensorRT 会度量每个激活张量的数值分布以估算量化 scale。以下是导出时值得关注的参数：

• workspace：控制权重转换期间分配的显存工作区大小（GiB）。DGX Spark 场景下，若校准崩溃或导出报 UNSUPPORTED_STATE（workspace 超过设备可用内存），应调低该值或置为 None 交由 TensorRT 自动分配；对 YOLO11x 这类大模型，可同时降低 imgsz 与 batch 来压缩内存需求。
• batch：导出引擎允许的最大推理 batch，同时参与 INT8 校准。过小的 batch 可能造成校准 scale 不准确，因此官方建议校准样本尽量覆盖真实数据分布（NVIDIA 的经验指引约为至少 500 张具有代表性的校准图）。
• data：当 quantize=8 时必须提供数据集 YAML（例如 coco.yaml），校准将使用其中的验证集图像；若省略，系统会根据任务自动选择小型示例数据集，而不是直接报错。
• 校准缓存（calibration .cache）可在相同数据下加速后续权重导出，但若数据差异极大或 batch 大幅变化，应重命名或删除旧缓存以避免劣化校准质量。

从当前仓库源码看，INT8 请求会经由 QUANTIZE_ALIASES（ultralytics/cfg/init.py）规范化为统一取值后才进入导出器，因此 CLI 中使用 quantize=8、Python 中使用 quantize=8/"int8" 的效果一致。另外需注意：INT8 校准高度依赖设备，应在最终部署的同一台 DGX Spark 上完成导出与校准；TensorRT 引擎本身就是硬件与运行时专属的，跨设备迁移 .engine 文件并不被支持。

系统更新（Founders Edition）

保持 DGX Spark Founders Edition 及时更新对性能与安全至关重要。NVIDIA 提供两种主要更新方式，用于更新系统 OS、驱动与固件。

方式一：通过 DGX Dashboard 更新（推荐）

DGX Dashboard 是官方推荐的系统更新方式，可确保更新兼容性，支持：

• 查看可用的系统更新
• 安装安全补丁与系统更新
• 管理 NVIDIA 驱动与固件更新

方式二：终端手动更新

高级用户可通过终端手动执行更新：

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

在执行更新前，请确保系统连接到稳定的电源，并已备份关键数据。

常见问题（FAQ）

如何在 NVIDIA DGX Spark 上部署 Ultralytics YOLO26？

部署过程很直接：既可使用官方预构建 Docker 镜像快速上手，也可手动安装所需包。两种方式的详细步骤分别见上文「快速开始：Docker 方式」与「原生安装方式」。

在 DGX Spark 上 YOLO26 能达到什么性能水平？

得益于 GB10 Grace Blackwell Superchip，YOLO26 系列模型在 DGX Spark 上表现出色，其中 TensorRT 格式提供最佳推理性能。不同模型尺寸与格式的具体基准结果可参考上文「详细对比表」中的基准数据。

为什么在 DGX Spark 上应使用 TensorRT？

TensorRT 是 DGX Spark 上部署 YOLO26 的首选：它通过层融合、动态张量内存管理、自动 kernel 调优等手段，充分利用 Blackwell GPU 的算力，实现最高效率与速度。具体使用方法见「使用 TensorRT」一节。

DGX Spark 与 Jetson 设备在 YOLO26 场景下如何取舍？

DGX Spark 提供最高 1 PFLOP 的 AI 性能与 128 GB 统一内存；DGX Spark 定位是桌面级 AI 超级计算机，而 Jetson 系列是面向边缘部署优化的嵌入式系统。两者软件栈高度相似（ARM64 + CUDA 13），因此官方镜像可复用。

DGX Spark 与 Jetson AGX Thor 能否共用同一 Docker 镜像？

可以。ultralytics/ultralytics:latest-nvidia-arm64 镜像同时支持 NVIDIA DGX Spark（DGX OS）与 Jetson AGX Thor（JetPack 7.0），因为两者同为 ARM64 架构、搭配 CUDA 13 及相近的软件栈。唯一的差异是容器启动时的 GPU 接入方式（DGX Spark 用 CDI 设备请求，Jetson 用 --runtime=nvidia），这一点在 docker/Dockerfile-nvidia-arm64 的用法注释中有明确区分。

延伸阅读

• 想深入了解 YOLO26 更多能力与任务类型，可继续查阅 Ultralytics YOLO26 文档。
• TensorRT 导出参数的完整说明与 INT8 量化进阶内容，见 TensorRT 集成指南 与 导出模式文档。
• 若目标设备是 Jetson 系列而非 DGX Spark，参见 NVIDIA Jetson 快速上手指南。