TensorRT-LLM 0.17.0发布：Blackwell架构支持与PyTorch工作流实验性功能解析

TensorRT-LLM是NVIDIA推出的一个高性能推理库，专门针对大型语言模型(LLM)进行了优化。它基于TensorRT构建，能够充分利用NVIDIA GPU的硬件特性，为LLM推理提供极致的性能表现。最新发布的0.17.0版本带来了多项重要更新，特别是对Blackwell架构的支持和实验性的PyTorch工作流功能。

Blackwell架构全面支持

0.17.0版本最重要的更新之一就是对NVIDIA最新Blackwell架构GPU的支持。Blackwell是NVIDIA推出的新一代GPU架构，在AI计算性能方面有显著提升。

B200与GeForce RTX 50系列支持

新版本增加了对B200 GPU的完整支持，同时也为GeForce RTX 50系列GPU提供了有限支持。需要注意的是，在Windows Subsystem for Linux(WSL)环境下使用GeForce RTX 50系列时，目前仅支持部分模型。

NVFP4计算精度支持

NVFP4是NVIDIA引入的一种新型4位浮点计算格式，特别适合AI推理场景。0.17.0版本为Llama和Mixtral模型添加了NVFP4 Gemm支持，这意味着这些模型现在可以在保持较高精度的同时，显著减少显存占用和计算开销。开发者可以通过LLM API和trtllm-bench命令直接使用这一特性。

KV缓存主机卸载性能测试

针对GH200等新型GPU，新版本增加了KV缓存主机卸载的基准测试脚本。KV缓存是LLM推理中的关键组件，将其部分内容卸载到主机内存可以显著减少GPU显存占用，这对于处理超长上下文特别有价值。

实验性PyTorch工作流

0.17.0版本引入了一个实验性的PyTorch工作流(tensorrt_llm._torch)，为开发者提供了更灵活的模型部署方式。

硬件与模型支持

目前PyTorch工作流支持H100/H200/B200系列GPU，模型方面支持Llama系列、Mixtral、QWen和Vila等主流架构。计算精度方面支持FP16、BF16、FP8和NVFP4等多种格式，特别是对混合专家(MOE)模型的融合计算提供了优化支持。

关键特性

新版本通过PyTorch自定义操作实现了高效的上下文和解码注意力内核，支持分块上下文处理(默认关闭)。对于纯解码场景，新增了CudaGraph支持，可以显著减少内核启动开销。此外，重叠调度器特性允许在准备输入数据的同时执行模型前向计算，通过额外解码一个token来实现计算重叠。

其他重要更新

除了上述两大特性外，0.17.0版本还包含多项重要改进：

1. W4A8量化工作流现在支持FP8上下文FMHA，进一步提升了低精度推理的性能表现。

2. ModelOpt量化检查点现在可以直接通过LLM API使用，简化了量化模型的部署流程。

3. Llama-3.2 VLM视觉语言模型新增FP8支持，为多模态应用提供了更高性能的推理方案。

4. 新增了基于userbuffer的AllReduce-Norm融合内核的PDL支持，优化了分布式推理性能。

5. 运行时支持无缝前瞻解码(lookahead decoding)，可以提升解码效率。

6. C++ executor API现在支持token对齐的任意输出张量，为自定义输出处理提供了更大灵活性。

兼容性注意事项

开发者在使用0.17.0版本时需要注意以下几点：

1. 当启用paged_context_fmha时，KV缓存重用将自动开启，这是与之前版本的一个不兼容变更。

2. trtllm-bench的throughput子命令新增了--concurrency参数支持，可以更方便地测试并发性能。

3. 在Blackwell平台上，推荐使用NVIDIA NGC 25.01 PyTorch容器从源码构建，而不是通过pip安装。

4. 基础Docker镜像已更新至nvcr.io/nvidia/pytorch:25.01-py3，依赖的TensorRT版本升级到10.8.0，CUDA升级到12.8.0。

TensorRT-LLM 0.17.0的这些更新为开发者提供了更强大的工具来部署和优化大型语言模型，特别是在Blackwell架构GPU上能够充分发挥硬件潜力。实验性的PyTorch工作流也为模型部署提供了新的可能性，值得开发者关注和尝试。