多模态推理优化成下一站:vLLM 在多模态与视频生成上双双提速
多模态推理优化成下一站:vLLM 在多模态与视频生成上双双提速
当社区还在用「PagedAttention」「KV Cache 复用」「连续批处理」来概括 vLLM 的价值时,vLLM 本身已经换了一个战场。社区情报中关于 vLLM 的讨论,已经从「哪个框架吞吐更高」逐步转向「多模态输入怎么吃进引擎」「视频理解能不能跑满多卡」「图像视频生成能不能走同一条服务链路」。这些议题的背后,是 vLLM 在过去一年里完成的一次关键转身:把推理优化能力从纯文本的 token 流,扩张到图像、视频、音频乃至扩散式生成模型的全模态范畴。
本文基于 vLLM 仓库源码与官方技术博客,拆解多模态推理的三大难点、视频生成 2.4 倍提速的实现路径,以及多模态推理对自建推理服务形态的重塑。
多模态推理的三大难点
多模态推理的难点,首先在于「多模态输入本身就不是 token」。一张 1024×1024 的图片经过视觉编码器后可能产生数百到上千个视觉 token,一段几十秒的视频则要抽取数十帧、逐帧编码。这些中间结果如果每次都重新计算,首 token 延迟(TTFT)会被彻底拖垮。vLLM 给出的解法,是把多模态处理拆成可缓存、可预算、可解耦的三层结构:
第一层:处理器级缓存(processor cache)。 在 vllm/multimodal/processing/inputs.py 中,ProcessorInputs.get_mm_hashes() 对每个模态的媒体数据及其处理参数(media_io_kwargs、hf_processor_mm_kwargs)计算哈希,作为多模态缓存键。同一张图片、同一套编码参数,处理器结果直接命中缓存,不再重复走视觉塔。值得注意的实现细节是:即使客户端提供了 UUID,只要处理参数有变化,vLLM 仍会重新计算哈希——因为「模型输出取决于当前模态的哈希因子」,保证缓存一致性优先于缓存命中率。
第二层:显存预算(encoder budget)。 多模态编码需要在 GPU 上分配中间显存,如果不受控,编码器峰值会挤占 KV Cache 预算,拖垮整个批次的吞吐。vLLM 在 vllm/multimodal/encoder_budget.py 中实现 MultiModalBudget:依据模型配置、调度器配置与处理器信息,计算出每个模态条目允许的最大 token 数,并据此为每批次编码任务设定硬预算;而 vllm/multimodal/gpu_ipc_memory.py 中的 MultiModalGPUMemoryPool 则是一个「字节计数信号量」——解码路径必须先 acquire 到足额字节才能分配设备内存,用完即 release,并发请求因此「串行化而非超卖」,前端进程的 GPU 占用被严格锁进预算之内。
第三层:编码器解耦(EPD)。 即便有缓存与预算,视觉编码器与文本 prefill/decode 挤在同一批 GPU 上仍会互相干扰。vLLM 官方博客披露的 Encoder Disaggregation(EPD)方案把视觉编码器从主引擎中拆出,独立成 GPU 资源池,与文本 prefill/decode 流水线式协同执行,从根源上消除多模态计算对文本解码的干扰——这套思路与文本侧 prefill/decode 分离一脉相承,只是把「解耦」的对象从推理阶段扩展到了模态本身。
视频生成推理 2.4 倍提速是怎么做到的
社区情报中反复出现的一个数字是「Wan2.2 性能 2.4 倍提升」,这正是 vLLM 团队与华为 MindIE 联合优化 Wan2.2 视频生成模型时拿到的实测结果。它之所以有代表性,是因为视频生成与文本生成的优化哲学完全不同,而 vLLM 恰恰把扩散模型的优化路径「复用」进了自家体系。
扩散式生成(diffusion)模型不再逐 token 自回归,而是在一个固定长度的「画布(canvas)」上做迭代去噪。vLLM 为此在仓库中专门铺设了一条扩散管线:配置侧有 vllm/config/diffusion.py 的 DiffusionConfig,其中 canvas_length 定义去噪画布宽度,max_denoising_steps 限制每个画布块的最大去噪迭代数;调度侧有 vllm/v1/core/sched/diffusion_scheduler.py 的 DiffusionScheduler,它把扩散请求映射进 vLLM 已有的投机解码数据通路——draft token ids 在这里被重载为「去噪占位符」,画布多宽,每步就调度多少个投机 token。官方博客对此的表述很直接:扩散模型「reuse the speculative-decoding data path」;而 vllm/model_executor/models/diffusion_gemma.py 中首个原生支持的 DiffusionGemma,则展示了「encoder 模式写 KV、decoder 模式双向注意力读 KV 不复写」的双模式复用同一套权重的设计。
在此基础上,视频生成的提速来自两层叠加:
层一:扩散缓存加速(Diffusion Cache Acceleration)。 扩散模型每步去噪都在重算大量中间计算,而相邻时间步的结果高度相似。vLLM-Omni 集成了 Cache-DiT 与 TeaCache 两套缓存机制,跨时间步复用中间计算,官方博客给出的图像生成提速为 1.5–2 倍,且质量损失可控。这一思路本质上是把文本侧的「KV Cache 复用」哲学迁移到扩散生成侧——不再缓存注意力历史,而是缓存去噪轨迹上的重复计算。
层二:全栈系统优化。 Wan2.2 2.4 倍提速并非单一技巧的功劳,而是分布式并行、调度器、显存管理与算子层面的系统化调优。MindIE 与 vLLM 在昇腾硬件上联合优化了图模式、通信与内存复用,最终把视频生成端到端吞吐推高 2.4 倍。这个数字的行业含义是:视频生成已经可以像文本推理一样被当成「服务」来规模化运营,而不是只能跑在单卡脚本里。
配套的视频处理链路同样在仓库中落地:解码侧 vllm/multimodal/video_decoders/ 支持 opencv、torchcodec、pynvvideocodec、deepstream 多种后端,其中 torchcodec 后端可直接在 device="cuda" 上解码出设备端帧张量,pynvvideocodec 则调用 NVIDIA 硬件解码器;vLLM 官方博客还专门展示了如何用 PyNvVideoCodec 在 8 卡上实现视频理解的近线性多卡扩展。帧采样侧,vllm/multimodal/video.py 提供 sample_frames_from_video() 等工具,把任意帧数的视频均匀抽帧到模型需要的帧数,并对单帧像素上限做硬校验。
多模态推理将如何改变自建推理服务的形态
把图像、视频、音频与扩散生成纳入同一套服务链路,对自建推理服务的影响是结构性的。
首先是 API 形态从「单一文本端点」走向「可流式、可张量的多模态端点」。仓库中的 vllm/entrypoints/scale_out/render/serving.py 定义了 ServingRender 服务,负责把多模态请求「渲染」成引擎可处理的输入,其 _extract_mm_features() 支持以 mm_payload="tensors" 直接传递张量级多模态特征;与之配套的 vllm/entrypoints/scale_out/ 还包含 derender 与 token_in_token_out 两组服务,分别负责从引擎输出反解出多模态结果,以及「token 进、token 出」的流式多模态协议。多模态请求不再需要外部管道手工切分、中转,服务端到端闭环。
其次是推理引擎的角色从「文本加速器」升级为「全模态加速器」。社区讨论中反复出现的 Ollama vs vLLM 之争,其结论恰恰印证了这一点:Ollama 面向个人开发者做轻量体验,vLLM 面向企业级高并发服务。而一旦把视频理解、图像生成、扩散模型纳入服务范围,能同时驾驭连续批处理、投机解码、PD 分离、多卡并行与扩散去噪调度的引擎,几乎只剩下 vLLM 这一条技术路线。部署者可以在同一个 vLLM 实例上既跑文本对话,又跑视频字幕生成,再跑图像扩散生成——服务形态从「为每个模型搭一套栈」收敛为「一套栈服务所有模态」。
最后是成本的重新核算。多模态推理的瓶颈从来不在算力本身,而在「重复计算」与「资源互相挤占」。vLLM 的处理器缓存省去重复编码,显存预算与 GPU 内存池防止编码器挤爆 KV Cache,EPD 让编码器与文本解码各占资源互不干扰,扩散缓存让去噪轨迹上的重复计算不再重复——四条优化路径叠加起来,自建多模态服务的单位 token/帧成本被系统性压低,也让「视频生成跑在自建服务上」从实验走向了工程现实。
vLLM 在 2023 年用 PagedAttention 重新定义了文本推理的内存管理,如今它正在用同样的思路重新定义多模态推理的资源管理。当社区还在争论文本吞吐谁家更强时,多模态与视频生成已经成为推理优化真正的主战场——而 vLLM 已经把旗帜插在了下一个山头。