图片、视频、音频一次喂进去:Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8多模态输入能力详解与使用示例
图片、视频、音频一次喂进去:Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8多模态输入能力详解与使用示例
Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8 是一个支持图片、视频、音频和文本四种模态输入的开源多模态大模型(816B 总参数、每 token 激活 42B),基于 AMD-Quark 量化为 FP8 格式,专为 AMD MI300/MI325/MI350/MI355 加速卡优化。下面用最通俗的方式讲清楚:它能"看懂"什么、这些多模态输入在内部如何变成模型能读的内容,以及拿到模型后怎么用。
🧩 30秒了解:这是什么模型?
先给一张速览表,新手看这里就够了:
| 项目 | 说明 |
|---|---|
| 模型架构 | MuseSparkForConditionalGeneration(条件生成多模态架构) |
| 参数规模 | 816B 总参数,MoE 混合专家结构,每 token 激活约 42B |
| 输入模态 | 文本、图片、视频、音频(可同时混合输入) |
| 输出 | 纯文本(回答、描述、转写、总结等) |
| 上下文长度 | 最长 1,048,576(1M)tokens |
| 运行硬件 | AMD MI300 / MI325 / MI350 / MI355(Linux) |
| 推理框架 | SGLang / vLLM |
| 量化 | PTPC FP8(E4M3),视觉、音频、路由层保留 bf16 |
💡 名字拆解:Quark = AMD 的量化工具(Model Optimizer);PTPC = Per-Channel 静态权重量化方案;FP8 = 8 位浮点精度。简单说,这就是把 Meta 的 Muse-Spark-Open-816B-A42B 原版模型"压缩"成 AMD 显卡跑得动的版本,官方资料见 README.md。
🎨 多模态输入能力全解:每种输入怎么被"读"进去?
这个模型内部其实装着三套"感官器官":视觉塔(vision tower)、音频塔(audio tower)和一个超大语言模型主干。下面分别看看每种模态的关键参数(均取自 config.json 与 processor_config.json)。
图片输入:切成小块,最多 4096 个 token
- 视觉编码器共 50 层,采用"窗口注意力 + 全局注意力"交替结构;
- 图片被切成 14×14 像素的小块(patch),每 2 个相邻 patch 再合并为 1 个 token;
- 单张图片最多编码为 4096 个 token,足够描述一张高清大图;
- 图片在对话序列里用占位符
<|patch|>(token id 200092)表示,处理流程由MuseGlimmerImageProcessor完成。
能做什么:描述画面、OCR 读图里的文字、看图答题、图表分析、多图对比。
视频输入:每秒抽 2 帧,带时间戳
- 视频按 2 fps(每秒抽 2 帧) 采样,最多处理 600 帧(约 5 分钟视频);
- 每帧最多占用 256 个 token,帧与帧之间用
<|vid_frame_separator|>分隔; - 每个 token 还附带 "Time: x.xx s" 格式的时间戳,所以模型能回答"第几秒发生了什么";
- 视频整体由占位符
<|video|>(token id 200091)引入,处理器为MuseGlimmerVideoProcessor。
能做什么:总结视频内容、事件定位("猫在第 12 秒跳上桌")、教学视频讲解、视频问答。
音频输入:0.08 秒 = 1 个 token
- 音频采样率固定 24000 Hz,由
MuseSparkFeatureExtractor预处理; - 每 1920 个采样点(即 0.08 秒)压缩成 1 个音频 token,换算下来 1 分钟语音 ≈ 750 个 token;
- 音频塔由 4 级卷积块(隐层从 256 逐级升到 2048)构成,把波形变成语义特征,再通过
<|audio|>(token id 200038)接入语言模型。
能做什么:语音转文字(ASR)、会议录音摘要、判断说话情绪与语种、音频内容问答。
文本 + 1M 超长上下文
- 语言主干 62 层、隐藏维度 8192,每层有 256 个专家、每 token 选 8 个(top-8 MoE);
- 上下文窗口高达 1,048,576 tokens——一张图、一段视频、一段音频再加上几万字文本一起喂进去也装得下;
- 注意力采用"4 层滑窗 + 1 层全局"交替模式(滑窗 2048),长序列推理更快更省显存。
📊 四种模态参数速查:
| 模态 | 占位符 | 关键参数 | 处理组件 |
|---|---|---|---|
| 图片 | `< | patch | >` |
| 视频 | `< | video | >` |
| 音频 | `< | audio | >` |
| 文本 | 普通 token | 1M 上下文,vocab 202,048 | tokenizer.json |
🔍 幕后揭秘:多模态信号如何变成"词"?
用一个类比理解整条流水线(处理器定义见 processor_config.json):
- 预处理:统一入口
MuseSparkProcessor把图片缩放归一化、视频抽帧、音频重采样为 24 kHz; - 编码:视觉塔/音频塔各自把原始信号编码成语义特征;
- 投影:经过
vision_adapter/audio.proj投影层,把特征映射到语言模型的隐空间; - 拼接:特征被"插"到输入序列里占位符的位置,和文字 token 一起进入 62 层 MoE 主干;
- 输出:像正常对话一样,逐 token 生成文本回答。
占位符与 token id 的对应关系可在 special_tokens_map.json 和 tokenizer.json 中核对,词表规模为 202,048(其中包含 20 万个常规词元,词表清单另见仓库中的 l4_200k_base)。
💬 使用示例:对话消息怎么写?
这个模型的对话模板(chat_template.jinja)支持结构化内容块:消息里的 image / video / audio 类型部分,会被自动渲染成对应的占位符。你只需要按"多模态消息列表"的常见格式组织数据:
[
{"role": "user", "content": [
{"type": "video", "video": "lecture.mp4"},
{"type": "text", "text": "请总结这段视频,并标出重点出现的时间点"}
]}
]
三类典型输入写法(type 字段换成对应模态即可):
- 🖼️ 图片:
{"type": "image", "image": "photo.jpg"}+ "图里的白板写了什么?" - 🎬 视频:
{"type": "video", "video": "clip.mp4"}+ "按时间顺序描述视频里发生了什么?" - 🎙️ 音频:
{"type": "audio", "audio": "meeting.wav"}+ "把这段会议录音转成文字并提炼 3 条待办"
两个实用细节:
- 可以混合输入:同一条消息里图片 + 视频 + 音频 + 文本可以任意组合,一次喂进去;
- 模板自带防注入设计:如果你在纯文本里手写
<image>、<|patch|>之类的占位符,模板会自动将其转义破坏,防止和真实媒体数据错位(见 chat_template.jinja 中的esc宏)——所以让处理器/框架自动插占位符,不要手工拼。
推荐生成参数(来自 generation_config.json):temperature=1.0、top_p=1、top_k=64,直接沿用即可。
⚙️ 部署要点:硬件、量化与获取模型
硬件与框架:该检查点面向 AMD MI300 / MI325 / MI350 / MI355 系列加速卡(Linux),推荐使用 SGLang 或 vLLM 加载推理。
量化结构(详见 config.json 中的 quantization_config):
- MoE 专家与自注意力权重 → FP8 E4M3,逐通道静态量化(PTPC);
- 激活值 → FP8 E4M3,逐 token 动态量化;
- 视觉塔、音频塔、专家路由(gate)和
lm_head→ 保留 bf16,保住多模态感知精度。 - 权重分片为 65 个 safetensors 文件(如 model-00001-of-00065.safetensors),张量分布索引见 model.safetensors.index.json。
获取模型:
git clone https://gitcode.com/hf_mirrors/amd/Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8
⚠️ 提示:仓库 README 中"Deployment"章节目前标注为 Todo,具体启动命令请以 AMD 官方发布渠道和 SGLang/vLLM 的适配说明为准;816B 体量建议直接部署在整卡集群上。
📁 关键文件速查表
| 文件 | 作用 |
|---|---|
| README.md | 模型概览、量化方案、硬件要求 |
| config.json | 架构配置:视觉/音频/文本三塔参数 + 量化配置 |
| processor_config.json | 多模态预处理参数:图片/视频/音频处理器 |
| chat_template.jinja | 对话模板:多模态占位符渲染、工具调用格式 |
| generation_config.json | 推荐采样参数(top_k=64 等) |
| tokenizer.json / special_tokens_map.json | 分词器与特殊 token 定义 |
| LICENSE.md / USE_POLICY.md | 许可证(muse-model-license)与使用政策 |
⚠️ 使用须知
- 本模型遵循 muse-model-license,具体条款见 LICENSE.md;
- 使用政策见 USE_POLICY.md:该模型不面向 18 岁以下用户,禁止用于违法内容生成、虚假信息、绕过安全限制等用途;
- 多模态能力以"理解输入、输出文本"为主,不能生成图片/视频/音频,选型时注意区分。
总结:Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8 把图片(≤4096 token/张)、视频(2fps、≤600 帧、带时间戳)、音频(24 kHz、0.08s/token)和 1M 长文本统一塞进同一个 MoE 主干,一套 FP8 检查点即可在 AMD MI300 系显卡上跑起来——做图片理解、视频问答、语音转写的多模态应用,值得把它放进你的技术选型清单。