INT8 量化与多卡并行:Jasna 批量处理性能调优实战路线
INT8 量化与多卡并行:Jasna 批量处理性能调优实战路线
批量修复视频最痛苦的不是效果,而是时间与显存的博弈:一段 1080p 视频动辄跑几分钟到几十分钟,显存不够就要压缩片段大小,片段小了重叠帧又重复计算,反而更慢。Jasna 作为一款纯 GPU 流水线的开源视频修复工具(NVDEC 解码 → 马赛克检测 → BasicVSR++/LTX 修复 → NVENC 编码),把整条链路都押在了 NVIDIA 生态上,这也让它成了观察 TensorRT 编译、INT8 量化、CUDA Graph 这类推理优化技术的绝佳样本。官方基准显示它比同类工具快 3.4~4.7 倍,RTX 5090 修复 1080p 视频仅需约 34 秒——这些数字背后,是仓库里一组扎实的量化内核与子引擎编译设计。本文结合源码与官方基准数据,梳理一条从单卡到批量任务可落地的调优路线。
INT8 量化的收益与精度代价
权重侧:三种精度并存的设计
LTX 模型的线性层在仓库中允许以三种形态存储,对应三套推理路径(jasna/ltx/transformer.py):
- 原始 bf16 权重(
<name>.weight); - ConvRot W8A8 量化权重:
<name>.qdata(int8 旋转码)+<name>.scales(fp32 每输出通道缩放); - NVFP4 W4A4 量化权重:uint8 打包的 E2M1 编码 + 128×4 分块缩放(cuBLAS 布局)。
其中 INT8 路径的核心是 int8_linear:先做 ConvRot 块哈达玛旋转(沿最后一维),再按 token 做对称逐行 int8 量化(round half to even),送入 INT8 tensor-core GEMM,最后用行缩放与通道缩放反缩放回 bf16。旋转的作用是摊平激活的幅值分布,让逐行量化更均匀——这是 W8A8 路线中提升精度的关键设计。
在 GPU 侧,同样的算术被下沉为 Triton 内核(jasna/ltx/kernels.py):rotate_quantize 把旋转与量化合并为一次激活读取;int8_scaled_mm 把反缩放、bias 与 bf16 转换写进 GEMM 的 epilogue,且与 torch._int_mm + 参考 rescale 路径 bit-exact。
收益:内核与整窗两级的实测数字
基准数据(benchmarks/2026-09-30_ltx_int8_kernels.md)记录了 INT8 GEMM tile 的调优过程。针对每种 GPU 挑选一组 tile 参数,即可在所有 LTX 形状上取胜:
| GPU | INT8 GEMM tiles (BM, BN, BK, stages, warps) | 相对 _int_mm + rescale |
|---|---|---|
| RTX 3090 | 128,128,64,3,4(约 215 TOPS) |
1.2–2.2× |
| RTX 4090 | 256,128,128,3,8(约 565 TOPS) |
1.6–3.9× |
换算成端到端去噪窗口(distilled 512 画布,median of 3):
| GPU | 基线 s/窗 | 最终版本 s/窗 | 提升 |
|---|---|---|---|
| RTX 3090 | 18.54 | 15.73 | −15% |
| RTX 4090 | 8.17 | 6.60 | −19% |
| RTX 5090 | 5.13 | 3.92 | −24% |
可见量化带来的提速随显卡代际递增,Blackwell 架构上 INT8 tensor core 的收益最明显。profile 数据同时显示:一个窗口步中 attention 约占 45~50%、GEMM 约占 40%,也就是说仅优化 GEMM 还不够,attention 也必须量化。
把 attention 切到 INT8 后的对比(benchmarks/2026-09-30_ltx_attention.md):在 RTX 4090 上,INT8 attention 相对 cuDNN SDPA 快 22%(512 画布)/ 36%(768 画布),整窗从 5.18 s 提到 5.18 s 附近的量级进一步压缩到与 SageAttention 2.2.0 持平甚至略优。
精度代价:怎么才算"可接受"
量化的代价必须量化。内核单独评测(32 头 × 18432 token × 128)的相对 L2 误差(相对 fp32)为:cuDNN SDPA 约 0.002,SageAttention 约 0.013,comfy-kitchen 约 0.017。真实 1080p/2160p 片段与整帧合成马赛克样本的 PSNR 评测,均落在 run-to-run 噪声范围内——即 INT8 的误差在真实画面上不可分辨。
更有参考价值的是项目如何否决激进方案:comfy-kitchen 的稀疏 sol_attn 内核快 3 倍,但误差飙到 0.07–0.34,被明确排除。这说明该项目的量化取舍标准是"提速必须在精度底线之上",而非单纯追逐吞吐。
顺带一提,NVFP4 是 INT8 之外的另一个档位:RTX 5090 上 distilled 512 去噪 386 ms/step(低于 INT8 的 491 ms/step),30 秒 1080p 片段端到端 INT8 147 s、NVFP4 96 s、undistilled 205 s(benchmarks/2026-10-01_ltx_gpus.md)。对于追求极限速度的 Blackwell 用户,NVFP4 是比 INT8 更进一步的选项。
CUDA Graph 与多卡并行的提速实测
CUDA Graph:捕获时机比回放本身更讲究
BasicVSR++ 被拆成六个静态/动态 shape 的 TensorRT 子引擎(jasna/restorer/basicvsrpp_sub_engines.py):四个 loop_body 引擎(融合 deform_align + backbone,静态 batch=1)、一个 preprocess 引擎(feat_extract + bicubic 降采样 + 双向 SPyNet)、一个 upsample 引擎。其中 loop_body 形状静态,正是 CUDA Graph 的理想对象。
两个工程细节值得注意:
- 开关:
JASNA_TRT_CUDAGRAPHS环境变量,默认开启(设为0关闭); - 捕获时机:
_warmup_capture_loop_body_graphs必须在流水线 worker 线程开始派发 CUDA 工作之前完成捕获——graph capture 会"污染"其他线程的并发 CUDA 调用,而回放则是线程安全的。因此预热在启动阶段串行执行,用随机输入各跑两遍后torch.cuda.synchronize。
实测(benchmarks/2026-07-27_v0.9.1_e2e_cudagraphs.md,RTX 5090,六个 SONE-610 片段,median of 3,输出 bit-exact):
| 输入 | 基线 | +CUDA Graph | 提升 |
|---|---|---|---|
| 720p h264 | 35.3 s | 31.7 s | −10.2% |
| 1080p h264 | 36.2 s | 34.1 s | −5.8% |
| 1080p hevc10 | 37.7 s | 34.3 s | −9.0% |
| 2160p av1 | 65.2 s | 63.7 s | −2.3% |
| 2160p hevc10 | 66.1 s | 63.6 s | −3.8% |
规律很明显:分辨率越低、kernel launch 开销占比越高,Graph 收益越大(低分辨率段峰值 fps 从 171 提到 192);4K 分辨率下 compute-bound,Graph 只贡献 2~6%。且 VRAM 占用基本不变,这是 CUDA Graph 相比增大 batch 最划算的地方。
同一份报告还记录了 FP8 upsample 子引擎的完整试验:该引擎可达 63.9 dB / SSIM 0.9998,配合 Graph 还能再省约 1 GB 显存,但发布版中因另一条 QDQ-ONNX 路径在 b180 预留约 5.7 GB scratch 导致显存回退 +1.8 GB,最终被移除。这也是"量化收益必须端到端验证,不能只看单引擎"的又一佐证(benchmarks/2026-07-28_engine_batch_vram.md)。
多卡并行:任务级切分是现成的正确姿势
仓库内并没有跨 GPU 的自动数据并行调度——Jasna 单进程绑定单 GPU,但 CLI 的 --device 参数(默认 cuda:0,见 jasna/main.py)允许为每次运行显式指定任意 cuda:N,AMD 显卡经 ROCm 也走同样的命名。这实际上给出了最稳妥的多卡方案:多实例任务级并行。
具体做法是把一个文件夹输入拆成几个子集,分别指定不同 GPU 并行跑:
jasna --input batch_a --output out_a --device cuda:0 --max-clip-size 180 --temporal-overlap 8
jasna --input batch_b --output out_b --device cuda:1 --max-clip-size 180 --temporal-overlap 8
为什么任务级并行比单卡内加大 batch 更划算?因为 BasicVSR++ 的传播阶段(propagate)本身是逐帧串行的,batch=1 的 loop_body 引擎就是为此设计的;强行在单卡上加大 batch 只会线性吃显存。而两个实例各占一张卡时,TensorRT 引擎、CUDA Graph 预热、NVENC/NVDEC 硬件单元全部独立,互不争抢。配合以下两点,多实例并行几乎零额外成本:
- 引擎复用:首次运行会把编译好的子引擎与 CUDA Graph 预热产物写进
model_weights,换版本时整体拷贝即可跳过 15–60 分钟的编译等待(docs/zh/tuning.md); - 队列编排:GUI 本身带任务队列与多任务排队,逐任务指定显卡即可把"排队"变成"并行"。
从单卡到批量的调优路径与资源配置建议
先做性价比最高的事
第一优先级:开启 BasicVSR++ 编译。 同一段 1080p 视频、clip 180 帧,编译后 33 秒 / 5.0 GB,不编译 107 秒 / 4.6 GB——约 3 倍差距,且只多占不到 0.5 GB 显存(docs/zh/tuning.md)。关闭编译"几乎没有理由"。
第二优先级:把 --max-clip-size 拉到你显存能承受的最大值。 直觉上很多人会调小片段省显存,但实际相反——小片段里重叠帧被重复处理,反而更慢。官方 sweep(1080p,overlap 8,RTX 5090):
| 最大片段大小 | 时间 | VRAM |
|---|---|---|
| 30 | 51 s | 3.4 GB |
| 60 | 40 s | 3.7 GB |
| 90 | 34 s | 4.1 GB |
| 180 | 35 s | 5.0 GB |
| 360 | 32 s | 6.3 GB |
| 720 | 33 s | 8.0 GB |
超过约 180 帧后耗时不再改善,只剩显存上涨。4K 输入同样片段大小约需 1.5 倍显存,这也是显存规划的关键系数。
第三优先级:时间重叠与交叉淡化保持默认。 --temporal-overlap 取 8~20(须小于片段大小的一半),--enable-crossfade 默认开启且不额外占 GPU(用的是已处理但原本要丢弃的帧)。
显存与批量的工程细节
固定批处理是另一个隐藏收益点:preprocess 与 upsample 引擎原先按片段大小预留 scratch,180 帧片段就预留 180 帧的临时空间。改为固定 batch(BASICVSRPP_PREPROCESS_BATCH = 60、BASICVSRPP_UPSAMPLE_BATCH = 30,见 jasna/engine_paths.py 与 benchmarks/2026-07-28_engine_batch_vram.md)后,常驻引擎内存从 4560 MiB 降到 916 MiB,upsample 引擎文件从 452 MB 缩到 78 MB,端到端 1080p 中位显存下降约 42%,速度无损失。这提醒批量场景的一个通用原则:给动态 batch 引擎预留的显存是按 profile 上限算的,能固定就固定。
检测侧同样有参数可调:--batch-size(默认 4)控制检测批大小,旧版 rfdetr-v5 固定为 4;--detection-score-threshold 负责漏检/误检的平衡。检测约 2000 FPS 的 GPU 扫描定位在批量场景几乎不构成瓶颈,不值得为它牺牲稳定性。
不同硬件档位的配置起点
结合 LTX 各 GPU 实测(benchmarks/2026-10-01_ltx_gpus.md)与 BasicVSR++ 显存曲线,批量任务的推荐起点如下:
| 显卡 | 推荐路线 | 建议配置 |
|---|---|---|
| RTX 5090 / 4090(24 GB+) | LTX INT8 或 NVFP4 | --max-clip-size 180~360,大马赛克可开 --ltx-large-canvas |
| RTX 3090 / 5080(16~24 GB) | BasicVSR++ 批量主力,LTX 处理精选片段 | --max-clip-size 90~180,overlap 8 |
| RTX 20 系列 / 8~12 GB | 只用 BasicVSR++(RTX 20 无快速 bf16 路径,LTX decode 约为 5090 的 20 倍) | --max-clip-size 30~60 起步,配合 --fp16 |
| 多卡环境 | 按子集拆分 + --device cuda:N 并行 |
每实例独立引擎,共享 model_weights |
最终,一条完整的批量命令长这样:
jasna --input batch --output out --restoration-model-name basicvsrpp \
--max-clip-size 180 --temporal-overlap 8 --enable-crossfade \
--batch-size 4 --fp16 --post-export-action shutdown
--post-export-action shutdown 适合无人值守的夜间批量任务——全部跑完后自动关机。Jasna 的调优哲学贯穿始终:先用编译与 CUDA Graph 这种零精度代价的手段榨出确定性收益,再用量化换吞吐,而量化方案必须端到端验证画质与显存,最后才轮到硬件层面的多卡任务切分。沿着这条路线,从单卡单视频到多卡批量处理,每一步都有源码与基准数据兜底。