为什么FP8、NVFP4搬不进原生ComfyUI?FastH3-Omni-Comfy量化兼容性审计全记录

原创2026-10-25 19:04:591,456 阅读
文章标签:人工智能大模型媒体生成多模态模型量化模型压缩本地部署

为什么FP8、NVFP4搬不进原生ComfyUI?FastH3-Omni-Comfy量化兼容性审计全记录

FastH3-Omni-Comfy 仓库为原生 ComfyUI 提供了 MiniMax-H3 的 BF16 与 INT8 ConvRot 扩散模型,支持从提示词加图像、视频、音频参考一键生成带同步音频的视频。本文完整记录该仓库的量化兼容性审计:为什么 FP8、NVFP4 量化版本无法直接搬进原生 ComfyUI,而 INT8 却能开箱即用。

📦 项目速览:模型文件与格式清单

FastH3-Omni-Comfy 采用「单仓库全量打包」的组织方式,所有模型文件都附带 SHA-256 校验,清单见 MANIFEST.json。核心文件如下:

目录 文件 格式 大约体积
diffusion_models/ fasth3_omniref_8step_pruned_bf16.safetensors BF16 扩散模型 44.2 GB
diffusion_models/ fasth3_omniref_8step_pruned_int8_convrot.safetensors INT8 ConvRot 扩散模型 22.2 GB
text_encoders/ qwen3vl_32b_minimax_h3_bf16.safetensors BF16 文本编码器 51.5 GB
text_encoders/ qwen3vl_32b_minimax_h3_int8_convrot.safetensors INT8 文本编码器 27.1 GB
text_encoders/ qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors NVFP4 文本编码器(需 Blackwell 显卡) 15.7 GB
vae/ minimax_h3_video_vae_fp16 / int8_convrot、minimax_h3_audio_vae_fp32.safetensors 视频/音频 VAE 0.6~5.2 GB

生成时采用固定推理合约:8 步采样、guidance 1.0、视频 shift 12.0、音频 shift 3.0,参考输入在提示词里用 <Picture 1>、<Video 1>、<Audio 1> 标签指定,原始合约完整保留在 fastvideo_inference.json。

🔍 审计前提:结论必须锚定在冻结版本上

量化兼容性结论最怕「环境漂移」。本次审计先把环境钉死:

  • ComfyUI 锁定在 commit b1a247c9cf9dbfda4b2c0a0c1d50950667eeaa0c;
  • 其依赖的 comfy-kitchen 锁定在 v0.2.39(commit e40e76d9),关键文件逐字节 SHA-256 比对一致,证据在 COMFY_KITCHEN_SOURCE_AUDIT.json;
  • 上游架构定义、检测器、官方 INT8 量化器均冻结在 upstream/ 目录,版本与哈希记录在 SOURCE_PINS.json。

审计正文就是 QUANTIZATION_COMPATIBILITY.md,下面按三种量化格式逐一拆解。

✅ INT8:唯一「开箱即用」的量化方案

仓库里的 INT8 扩散模型并不是重新转换的,而是逐字节复用的一份现成 Comfy 产物——仅改了文件名,内容零改动:

  • 大小 22,213,723,064 字节,SHA-256 为 851b2dc9…f80,复用凭证见 receipt 文件;
  • 1,098 个张量中包含 258 个原生 int8_tensorwise ConvRot 标记,以及 FP32 AdaLN 坐标表、FP16 精简 AdaLN 矩阵和 FP32 PDD 输出头。

为确认它确实来自正规来源,审计做了两组抽样核对:

抽查项 覆盖范围 结果
PDD 输出头 视频/音频头 0/1/7/31,共 43,008 个 FP32 值 与标准源精确相等
量化行 Q/K/V、SwiGLU 两半、block 0/49 INT8 字节与 FP32 行 scale 全部一致

证据分别落在 PREVIEW_PDD_SAMPLE_VALIDATION.json、PREVIEW_QUANTIZED_SAMPLE_VALIDATION.json 和 PREVIEW_HEADER.json。审计结论很干脆:直接复用,无需重新量化。

❌ FP8:逐通道 scale 撞上「逐张量」内核

FP8 版本(FastVideo 侧的 OmniRef FP8 源)的存储方式与原生 ComfyUI 的量化内核存在结构性错位,实测证据见 FP8_SOURCE_SAMPLE_HEADER.json:

维度 FastVideo FP8 源 原生 ComfyUI
权重 E4M3 E4M3(float8_e4m3fn → TensorCoreFP8E4M3Layout)
权重 scale 逐输出通道 FP32,shape [7168, 1] 逐张量(per-tensor)单标量
激活 scale 动态逐 token 整张量取一个 amax

原生路径的 GEMM 走 scaled_mm_v2,默认 ScalingType.TensorWise;CUDA 回退路径的 dequantize_per_tensor_fp8 更是直接断言 scale.numel() == 1。也就是说,把 Q/K/V 权重和行 scale 简单拼接起来,既过不了 CUDA 断言,也保不住源模型的激活量化语义。

审计给出的三条出路,没有一条属于「原样搬运」:

  1. 自研「逐行权重 × 逐 token 激活」运行时常规模块;
  2. 重新做一次 per-tensor FP8 量化,并单独评估精度;
  3. 导出稠密反量化权重——但这既失去 FP8 存储优势,也失去 W8A8 计算。

审计明确警告:以上任何结果都不能宣传为「未改动的原生 repack」。

❌ NVFP4:三个 Q/K/V 标量对不齐,融合 QKV 直接卡死

NVFP4 QAD 源的问题更具体、更「物理」。它把 Q、K、V 存成三块独立的 packed 矩阵,每块带一个独立的标量 _nvfp4_alpha。实测第一个 transformer block 的取值(完整数据见 NVFP4_QKV_SCALAR_AUDIT.json):

投影 _nvfp4_alpha
Q 0.0009068080107681453
K 0.0013427734375
V 0.0006626674439758062

而原生 ComfyUI 的架构只有一个融合 qkv_proj:NVFP4 layout 对这条线性层只接收一个 weight_scale_2,Kitchen 的 scaled_mm_nvfp4 CUDA 实现只会构造一个 alpha 并断言 alpha.numel() == 1。

三个实测标量互不相等 → 三块 packed 矩阵无法在单一原生 weight 标量下简单拼接并保住数值。要打通只有两条路:

  • 拆出独立的 Q/K/V 原生模块,或做其他运行时改造以保留各自 scale;
  • 对 block scale / BF16 母版重新缩放重量化——但这属于新的数值处理,必须重新验证,且不能宣称保留了 QAD kernel 表示。

此外,nibble packing、block-scale swizzle、激活 scale 约定等细节在任何未来桥接方案里都需要显式核对——不过仅凭标量不匹配,「简单原样 repack」这一条就已经被否决了。

🧾 审计证据链:每个结论都可回溯到文件

结论 证据文件
环境冻结、内核逐字节一致 COMFY_KITCHEN_SOURCE_AUDIT.json
FP8 scale 形状不匹配 FP8_SOURCE_SAMPLE_HEADER.json
NVFP4 三标量不匹配 NVFP4_QKV_SCALAR_AUDIT.json、NVFP4_SOURCE_HEADER.json
INT8 可复用 PREVIEW_HEADER.json、PREVIEW_SOURCE_MATCH.json
BF16 导出 CPU 测试通过 VALIDATION.json(6 项 CPU 回归,2.36 秒)

BF16 导出侧的完整说明(688 个源张量重命名、QKV 按行融合、SwiGLU 半区交换、32 个 PDD 头保留、AdaLN 曲线压缩等)见 CONVERSION.md。

🧭 新手选型指南:你的显卡该用哪个格式?

你的硬件 扩散模型建议 文本编码器建议
任意支持 ComfyUI 的 GPU INT8 ConvRot(22.2 GB,显存友好) INT8(27.1 GB)
显存充裕的高端卡 BF16(44.2 GB,精度基线) BF16(51.5 GB)
Blackwell 平台(GB200/B200、RTX PRO 6000) INT8 或 BF16 可用 NVFP4(15.7 GB,省显存)

💡 注意:FP8 与 NVFP4 QAD 扩散模型目前只服务于 FastVideo / UniServe 等其他运行时,不是可用的原生 ComfyUI 检查点;请勿将未实现的「格式桥」当作可运行文件下载。

一句话总结

  • INT8 能进:字节级复用的原生 Comfy 产物,抽样验证全部精确匹配;
  • FP8 进不来:源的「逐通道权重 scale + 逐 token 激活」与原生 per-tensor 内核的 scale.numel() == 1 断言正面冲突;
  • NVFP4 进不来:融合的 qkv_proj 只认一个标量,而源里 Q/K/V 三个 alpha 各不相同。

整份审计贯彻了一个朴素原则:先做字节级与抽样级验证,再下结论;凡是没实现的桥,绝不宣传成能用的 Comfy 检查点。这也是新手选择量化模型文件时最值得借鉴的判断方式。

登录后查看全文
FastH3-Omni-Comfy