CPU+GPU+NPU混合推理背后的秘密:VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K如何跑满Ryzen AI算力

原创2026-10-21 21:20:011,837 阅读

CPU+GPU+NPU混合推理背后的秘密:VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K如何跑满Ryzen AI算力

🎬 VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K 是 AMD 面向 Ryzen AI 平台打造的视频理解多模态模型包:它以 Qwen2.5-7B 语言模型为"大脑"、InternVideo2-1B 视觉编码器为"眼睛",通过 CPU+GPU+NPU 混合推理(Hybrid Inference)将不同计算阶段分发到最合适的硬件上,配合 UINT4 量化与 16K 长上下文(Token Fusion),让端侧 AI PC 也能流畅"看懂"视频。

一、先搞懂:这是一个什么模型?

组成 说明
语言模型 Qwen2.5-7B(28 层、hidden 3584、28 个注意力头,GQA 4 个 KV 头)
视觉编码器 InternVideo2-1B(输入 224×224 图像,输出 64 个 visual token)
定位 视频/图像对话理解(VideoChat-Flash 架构)
适配硬件 AMD Ryzen AI(NPU),软件栈版本 1.8.0

模型本体来自开源项目 VideoChat-Flash(Qwen2.5-7B + InternVideo2-1B),AMD 对其进行了修改与优化,专为 Ryzen AI 硬件部署(见 README.md 中的 License 说明)。模型名中的 npu_16K 就点明了两大特性:NPU 加速 + 16K 上下文。

二、混合推理是如何分工的?

混合推理(Hybrid Inference)的核心思想是:不把所有任务都压给一块芯片,而是把每个阶段交给最擅长的硬件。

在本仓库中,推理被拆成三段,对应三个 ONNX 模型文件:

  1. 视觉编码:vision.onnx 负责把图像/视频帧变成 64 个视觉 token——这类高分辨率张量计算更适合 CPU/GPU 处理;
  2. 嵌入拼接:embedding.onnx 把文本 token 与 image_features 融合成统一的 inputs_embeds;
  3. 逐 token 解码:text.onnx 负责生成式解码——这是循环耗时最长、也最适合 NPU 的环节。

关键证据在 genai_config.json 的 RyzenAI provider 参数里:

  • hybrid_opt_token_backend: "npu" —— 明确指定 token 生成后端跑在 NPU 上;
  • hybrid_opt_max_seq_length: "4096" —— 混合优化的序列长度阈值,超过/低于该长度时调度策略会切换;
  • hybrid_opt_chunk_context: "1" 与 hybrid_opt_chunk_context_threshold: "1" —— 启用 chunked prefill,把长上下文的预填充切成小块分阶段执行,避免一次性挤爆内存;
  • external_data_file: "text.pb.bin" —— 解码器引用外部计算图 text.pb.bin,即针对 NPU 重构过的混合图;
  • fusion_opt_io_bind_kv_cache: "1" —— 将输入输出与 KV Cache 做内存绑定,减少数据搬运开销。

简单说:Prefill 与视觉部分由 CPU/GPU 分担,NPU 专心做它最擅长的逐 token 解码——这就是"跑满算力"的秘密。

三、16K 长上下文与量化:体积减半,速度翻倍

3.1 量化策略(Quark Quantization)

按照 README.md 的说明,模型先经过 Quark Quantization 量化:

  • AWQ + Group 128 + 非对称量化:权重量化到 UINT4,体积约为 FP16 的 1/4;
  • 激活值保持 BFP16:兼顾精度与 NPU 计算单元的数据类型支持。

对端侧部署来说,7B 模型压到 UINT4 后,才能顺利放进 AI PC 的 NPU 内存预算里。

3.2 OGA Model Builder + Token Fusion

量化之后,AMD 用 OGA Model Builder 重新打包模型,并通过 Token Fusion(16K 上下文) 后处理把解码图改造为长上下文版本。仓库中这一系列 dd_metastate_... 元状态文件(如 dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM.state 及 256~16384 各档 attention_mask_padded_*.meta)就是 NPU 图融合在各序列长度档位(256/512/1024/.../16384)下的缓存元数据——运行时无需重新编译,按实际序列长度直接取用对应缓存,这也是首帧推理快的原因之一。

在 genai_config.json 中可以看到 max_length: 16384、context_length: 32768,解码上限正是 16K。

四、仓库文件结构一览

文件 作用
README.md 模型卡:来源、量化策略、许可
genai_config.json ONNX Runtime GenAI 总配置(混合推理参数核心)
text.onnx / text.onnx.data 7B 语言解码器主图及外部权重
text.pb.bin NPU 外部混合计算图数据
vision.onnx / vision.onnx.data InternVideo2 视觉编码器
embedding.onnx / embedding.onnx.data 嵌入层(文本+视觉 token 融合)
processor_config.json 视觉预处理管线:解码→RGB→224×224 缩放→归一化
tokenizer.json / tokenizer_config.json 词表与分词器配置
dd_metastate_* 系列 NPU 图融合元状态缓存(多档序列长度)

五、如何获取与运行

如果你想在 Ryzen AI 机器上体验,只需三步:

  1. 准备硬件与软件栈:搭载 AMD Ryzen AI(带 NPU)的 AI PC,安装 Ryzen AI 1.8.0 及以上运行时(含 ONNX Runtime GenAI 与 RyzenAI Execution Provider);

  2. 下载模型:

    git clone https://gitcode.com/hf_mirrors/amd/VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K
    
  3. 通过 Ryzen AI 文档中的 hybrid OGA 流程加载:使用 genai_config.json 初始化 GenAI 会话,运行时会自动按配置把视觉/嵌入留在 CPU/GPU,把 token 解码交给 NPU。

💡 提示:search 配置里 do_sample: false、top_k: 50、chunk_size: 4096 是开箱即用的默认采样与分块参数,长视频理解场景可以直接沿用。

六、总结:谁适合用它?

  • AI PC 端侧开发者:想在不依赖云端的前提下做视频问答、长视频摘要;
  • 多模态推理研究爱好者:想研究 NPU 混合推理调度(chunked prefill + 图融合缓存)的工程实现;
  • AMD 生态应用开发者:需要一个已量化、已适配、可直接投产的 7B 级视频理解模型。

一句话回顾:量化省体积、混合调度用对芯片、图融合省编译——VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K 正是靠这三招,把 Ryzen AI 的 CPU+GPU+NPU 算力真正"跑满"了。

登录后查看全文
VideoChat-Flash-Qwen2_5-7B_InternVideo2-1B_rai_1.8.0_npu_16K