CPU+GPU+NPU混合推理背后的秘密:VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K如何跑满Ryzen AI算力
CPU+GPU+NPU混合推理背后的秘密:VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K如何跑满Ryzen AI算力
🎬 VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K 是 AMD 面向 Ryzen AI 平台打造的视频理解多模态模型包:它以 Qwen2.5-7B 语言模型为"大脑"、InternVideo2-1B 视觉编码器为"眼睛",通过 CPU+GPU+NPU 混合推理(Hybrid Inference)将不同计算阶段分发到最合适的硬件上,配合 UINT4 量化与 16K 长上下文(Token Fusion),让端侧 AI PC 也能流畅"看懂"视频。
一、先搞懂:这是一个什么模型?
| 组成 | 说明 |
|---|---|
| 语言模型 | Qwen2.5-7B(28 层、hidden 3584、28 个注意力头,GQA 4 个 KV 头) |
| 视觉编码器 | InternVideo2-1B(输入 224×224 图像,输出 64 个 visual token) |
| 定位 | 视频/图像对话理解(VideoChat-Flash 架构) |
| 适配硬件 | AMD Ryzen AI(NPU),软件栈版本 1.8.0 |
模型本体来自开源项目 VideoChat-Flash(Qwen2.5-7B + InternVideo2-1B),AMD 对其进行了修改与优化,专为 Ryzen AI 硬件部署(见 README.md 中的 License 说明)。模型名中的 npu_16K 就点明了两大特性:NPU 加速 + 16K 上下文。
二、混合推理是如何分工的?
混合推理(Hybrid Inference)的核心思想是:不把所有任务都压给一块芯片,而是把每个阶段交给最擅长的硬件。
在本仓库中,推理被拆成三段,对应三个 ONNX 模型文件:
- 视觉编码:vision.onnx 负责把图像/视频帧变成 64 个视觉 token——这类高分辨率张量计算更适合 CPU/GPU 处理;
- 嵌入拼接:embedding.onnx 把文本 token 与
image_features融合成统一的inputs_embeds; - 逐 token 解码:text.onnx 负责生成式解码——这是循环耗时最长、也最适合 NPU 的环节。
关键证据在 genai_config.json 的 RyzenAI provider 参数里:
hybrid_opt_token_backend: "npu"—— 明确指定 token 生成后端跑在 NPU 上;hybrid_opt_max_seq_length: "4096"—— 混合优化的序列长度阈值,超过/低于该长度时调度策略会切换;hybrid_opt_chunk_context: "1"与hybrid_opt_chunk_context_threshold: "1"—— 启用 chunked prefill,把长上下文的预填充切成小块分阶段执行,避免一次性挤爆内存;external_data_file: "text.pb.bin"—— 解码器引用外部计算图 text.pb.bin,即针对 NPU 重构过的混合图;fusion_opt_io_bind_kv_cache: "1"—— 将输入输出与 KV Cache 做内存绑定,减少数据搬运开销。
简单说:Prefill 与视觉部分由 CPU/GPU 分担,NPU 专心做它最擅长的逐 token 解码——这就是"跑满算力"的秘密。
三、16K 长上下文与量化:体积减半,速度翻倍
3.1 量化策略(Quark Quantization)
按照 README.md 的说明,模型先经过 Quark Quantization 量化:
- AWQ + Group 128 + 非对称量化:权重量化到 UINT4,体积约为 FP16 的 1/4;
- 激活值保持 BFP16:兼顾精度与 NPU 计算单元的数据类型支持。
对端侧部署来说,7B 模型压到 UINT4 后,才能顺利放进 AI PC 的 NPU 内存预算里。
3.2 OGA Model Builder + Token Fusion
量化之后,AMD 用 OGA Model Builder 重新打包模型,并通过 Token Fusion(16K 上下文) 后处理把解码图改造为长上下文版本。仓库中这一系列 dd_metastate_... 元状态文件(如 dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM.state 及 256~16384 各档 attention_mask_padded_*.meta)就是 NPU 图融合在各序列长度档位(256/512/1024/.../16384)下的缓存元数据——运行时无需重新编译,按实际序列长度直接取用对应缓存,这也是首帧推理快的原因之一。
在 genai_config.json 中可以看到 max_length: 16384、context_length: 32768,解码上限正是 16K。
四、仓库文件结构一览
| 文件 | 作用 |
|---|---|
| README.md | 模型卡:来源、量化策略、许可 |
| genai_config.json | ONNX Runtime GenAI 总配置(混合推理参数核心) |
| text.onnx / text.onnx.data | 7B 语言解码器主图及外部权重 |
| text.pb.bin | NPU 外部混合计算图数据 |
| vision.onnx / vision.onnx.data | InternVideo2 视觉编码器 |
| embedding.onnx / embedding.onnx.data | 嵌入层(文本+视觉 token 融合) |
| processor_config.json | 视觉预处理管线:解码→RGB→224×224 缩放→归一化 |
| tokenizer.json / tokenizer_config.json | 词表与分词器配置 |
dd_metastate_* 系列 |
NPU 图融合元状态缓存(多档序列长度) |
五、如何获取与运行
如果你想在 Ryzen AI 机器上体验,只需三步:
-
准备硬件与软件栈:搭载 AMD Ryzen AI(带 NPU)的 AI PC,安装 Ryzen AI 1.8.0 及以上运行时(含 ONNX Runtime GenAI 与 RyzenAI Execution Provider);
-
下载模型:
git clone https://gitcode.com/hf_mirrors/amd/VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K -
通过 Ryzen AI 文档中的 hybrid OGA 流程加载:使用 genai_config.json 初始化 GenAI 会话,运行时会自动按配置把视觉/嵌入留在 CPU/GPU,把 token 解码交给 NPU。
💡 提示:search 配置里 do_sample: false、top_k: 50、chunk_size: 4096 是开箱即用的默认采样与分块参数,长视频理解场景可以直接沿用。
六、总结:谁适合用它?
- AI PC 端侧开发者:想在不依赖云端的前提下做视频问答、长视频摘要;
- 多模态推理研究爱好者:想研究 NPU 混合推理调度(chunked prefill + 图融合缓存)的工程实现;
- AMD 生态应用开发者:需要一个已量化、已适配、可直接投产的 7B 级视频理解模型。
一句话回顾:量化省体积、混合调度用对芯片、图融合省编译——VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K 正是靠这三招,把 Ryzen AI 的 CPU+GPU+NPU 算力真正"跑满"了。