真机部署实录:MiniCPM-V 4.7 在鸿蒙与安卓 App 里的落地姿势
真机部署实录:MiniCPM-V 4.7 在鸿蒙与安卓 App 里的落地姿势
端侧多模态模型的竞争,正在从"能不能跑"切换到"跑得顺不顺"。当面壁智能在 MiniCPM-V 4.7 上拿出 35B 总参数、激活 3B 的 MoE 结构,并把官方旗舰指标定在"iPhone 17 Pro Max 上 3GB 内存、13+ tokens/s"时,社区的第一反应是:MoE 这种为服务器设计的稀疏架构,凭什么能无损地塞进手机? 官方给出的答案是一套名为 Lookahead Expert Scheduling(LES)的调度技术,加上细粒度分层量化与 DSpark 投机采样。本文不重复发布稿里的宣传口径,而是回到模型仓库本身,从 config.json、model.safetensors.index.json、chat_template.jinja 这些真实文件出发,梳理端侧引擎选型、App 集成与内存管理的工程要点,并对照官方在 iPhone、iPad 上的实机演示与安卓、鸿蒙的支持状态,给出可落地的部署判断。
端侧推理引擎选型:先把 MoE 的"流动性"问题想清楚
为什么 35B 总参数的 MoE 反而适合端侧
MoE 的核心矛盾在于:总参数远大于单 token 激活参数。MiniCPM-V 4.7 35B-A3B 的 35B 是"总容量",A3B 表示每个 token 实际只激活 3B 参数——这是它敢上手机的前提。但从 model.safetensors.index.json 的权重映射看,全量 bfloat16 权重共 70,425,751,648 字节(约 70.4GB),分布在 16 个 safetensors 分片中,其中绝大部分是 mlp.experts.down_proj 与 mlp.experts.gate_up_proj——也就是被路由的专家矩阵。
关键配置在 config.json 的 text_config 里:
"num_hidden_layers": 40,
"num_experts": 256,
"num_experts_per_tok": 8,
"shared_expert_intermediate_size": 512,
"moe_intermediate_size": 512,
"hidden_size": 2048,
"full_attention_interval": 4
40 层 Transformer 中,每层配有 256 个专家,每个 token 只激活 8 个,外加一个 shared expert。如果把这套权重全部常驻内存,手机上根本装不下;而每次从闪存加载又必然带来延迟抖动。README 把这个问题讲得很直白:不同 token 在不同层会选择不同专家,设备内存往往无法同时容纳全部专家权重。于是端侧跑 MoE 只剩三条路。
三条路线:SSD 反复加载 / 专家子集冻结 / LES 前瞻调度
路线一:权重留在存储上,随用随取、用完即释放。 这在理论上可行,但每生成一个 token 都要多次触发闪存 I/O,反复加载导致的停顿会让解码慢到无法用于实时交互。README 给出的对比动图正是展示优化前后这种卡顿差异的(见 minicpm_v4dot7_assets/minicpmv4.7/moe_speed_comparison_en.gif,左侧为经过 LES 等优化后的流畅输出,右侧为未优化时的频繁停滞)。
路线二:冻结专家子集。 比如整个 prompt 只允许某个固定子集的专家参与。这能大幅降低加载频率,但等于把后续每个 token 的路由空间锁死——模型本来想选的专家可能根本不在子集内,能力随之打折。这是典型的"性能换流畅",不符合官方"无损"的定位。
路线三(官方采用):LES 前瞻专家调度。 核心思想是用跨层路由预测来指导预取,但计算仍严格遵循模型原始的逐 token 路由:
- 根据前序层实际选中的专家,预测下一层大概率需要的专家,提前从存储加载;
- 在实际 router 选出的专家中,优先执行那些已被成功预取的专家,让它们的计算与剩余专家的加载重叠;
- 预测只影响预取与调度顺序,预测漏掉的专家照常加载、照常参与计算,不改变模型的输出。
这等于把"等 I/O"变成了"计算与 I/O 流水化",既保住了路由的完整性,又掩盖了加载延迟。在此基础上,细粒度分层量化压低专家权重的体积与内存搬运量,DSpark 投机采样让草稿模型先试生成、目标模型批量验证,进一步摊薄单 token 的解码成本。三件事合起来,才凑出"首个开源无损端侧 MoE"的卖点。
引擎与量化选型:llama.cpp 是主线,变体按内存预算挑
端侧落地绕不开 llama.cpp 生态:LES 正是随 llama.cpp-omni 分支引入的(README 中给出了技术文档链接)。对于没有专用推理框架的团队,起步组合是 llama.cpp-omni + GGUF 量化权重。仓库 README 列出的量化变体覆盖了不同预算档位:
| 变体 | 适用场景 |
|---|---|
MiniCPM-V-4.7-35B-A3B-FP8 |
服务器/PC 端低显存推理 |
MiniCPM-V-4.7-35B-A3B-int4 |
移动端内存与带宽受限场景 |
MiniCPM-V-4.7-35B-A3B-AWQ / GPTQ |
W4A16,兼顾精度与体积 |
MiniCPM-V-4.7-35B-A3B-gguf |
CPU / 端侧统一格式 |
MiniCPM-V-4.7-35B-A3B-DSpark |
投机采样草稿模型,配合主模型解码 |
选型逻辑并不复杂:先按目标设备的内存预算确定量化档位(int4 / GGUF Q4 起步),再按是否追求峰值速度决定是否携带 DSpark 草稿模型。DSpark 草稿模型体积远小于主模型,换来的是批量验证带来的解码提速,在 13+ tokens/s 的达成中扮演了重要角色。
值得留意的是,语言骨干并非普通密集注意力。config.json 的 layer_types 数组显示 40 层中约 30 层是 linear_attention、10 层是 full_attention(每 4 层插入 1 次全注意力);权重映射里 linear_attn 模块包含 conv1d、A_log、dt_bias 等状态空间风格参数,text_config 中还有 mamba_ssm_dtype: "float32"。这暗示语言骨干在注意力层面已经为端侧做了混合线性注意力设计——长上下文下计算复杂度显著低于标准自注意力,这是它能以 3B 激活参数撑住多模态长对话的另一重底气(max_position_embeddings 高达 262144)。
App 集成:从 70GB 权重到 3GB 运行态的工程要点
第一步:把模型装进 App——"3GB 内存"不等于"3GB 安装包"
社区讨论里最容易误解的一点:官方宣传的"仅需 3GB 内存"指的是运行态内存占用,不是模型文件体积。70.4GB 的 bfloat16 全量权重不可能进安装包,端侧分发走的是量化后的 GGUF/int4 分片(单个分片几百 MB 到 1GB 量级),配合 App 内首次启动时的流式下载与解压。真正的 3GB 预算之所以够用,是因为 LES 把专家权重从"常驻内存"变成了"按需驻留":内存里长期只有共享专家 + 当前层正在计算的激活专家,其余专家在存储与内存之间流水式轮换。
第二步:视觉管线的内存与算力预算——16x/4x 是核心旋钮
多模态 App 的另一半预算在视觉侧。vision_config 显示视觉编码器是 27 层 ViT(image_size: 980、patch_size: 14、hidden_size: 1152)。980×980 的输入分辨率意味着约 4900 个 patch,直接进编码器再映射进语言模型,视觉 token 数量会压垮解码带宽。MiniCPM-V 4.7 的两层设计值得抄进自己的工程文档:
其一,编码器内早期压缩(intra-ViT early compression)。 沿用 LLaVA-UHD v4 的技术,在视觉编码器的中间层提前压缩 token 数,让后续编码器层的计算量显著下降——而不是等 ViT 全部算完再做投影压缩。
其二,混合 4x/16x 视觉 token 压缩。 这是开发者日常最需要调的一个参数。README 的 Advanced Parameters 表给出了明确的语义:
| 参数 | 默认值 | 含义 |
|---|---|---|
downsample_mode |
"16x" |
视觉 token 下采样倍率;"4x" 保留 4 倍于 16x 的 token 数,细节更细 |
max_slice_nums |
9 |
高分辨率图像的最大切片数;官方建议图像用 36、视频用 1 |
max_num_frames |
128 |
视频采样主帧数上限 |
stack_frames |
1 |
每秒采样点数,3 或 5 可叠加子帧增强时间细节 |
工程上的取舍很直接:识别场景(OCR、票据、图表)切 4x 模式并加大 max_slice_nums,视频理解与实时交互切 16x 模式。注意 downsample_mode 必须同时传给 apply_chat_template(占位符数量计算)和 generate(视觉编码器),README 专门强调了这一点——这是集成时最容易踩的坑。另外 mrope_mode: "canvas" 表明视觉位置编码走的是 M-RoPE 画布模式,多图/视频的时间空间坐标统一编码,App 端不需要自己维护多模态位置对齐。
第三步:对话模板与解码——Agent 化是加分项
从 chat_template.jinja 可以看到,模板原生支持工具调用(<tool_call>/<function> XML 格式)、思考标签(<think>,enable_thinking 可控)以及 image/video 占位符。这意味着在 App 里接 Agent 流程(拍照→调工具→结构化输出)不需要魔改模板,直接用 processor.apply_chat_template(..., tools=<a href="https://link.gitcode.com/i/e47b51ae0be8de07b6dfb8953ccff103" target="_blank">...]) 即可。解码侧,[generation_config.json 给出 temperature: 1.0、top_k: 20、top_p: 0.95、do_sample: true 的默认参数,服务端/端侧统一用 transformers>=5.18.0 的 AutoModelForImageTextToText 加载即可与桌面端推理无缝复用同一套消息格式。
鸿蒙/安卓真机实录:官方演示与可预期的落地表现
iPhone 17 Pro Max:13+ tokens/s 的标杆,来自官方实机录屏
社区情报中流传最广的硬指标——35B-A3B 在 iPhone 17 Pro Max 上超过 13 tokens/s、3GB 内存流畅推理——在仓库里有实机证据支撑:README 的 Examples 章节明确标注"以下片段为直接在设备上录制的未剪辑屏幕录制",并提供了 iPhone 17 Pro Max(v47_35ba3b_iphone2_en.gif)与 iPad M4(v47_35ba3b_ipad_en.gif)的实机演示。这两段录屏是目前社区讨论"无损端侧 MoE"最有说服力的证据:不是 benchmark 表格,而是实打实的屏幕输出节奏。
对照 performance_efficiency_frontier.png 中"更高综合得分 + 更短推理时间"的定位,35B-A3B 的卖点可以总结为一句:它不是在 3B 能力池里硬拔上限,而是让 35B 容量通过稀疏激活"远程投递"到手机上。
安卓与鸿蒙:支持已就绪,差距在芯片不在框架
手机新浪网在报道中明确提到 MiniCPM-V 4.7 35B-A3B "也支持在安卓和鸿蒙上运行",README 的 On-Device Deployment 章节同样写道:MiniCPM-V 4.7 支持 iOS、Android、HarmonyOS 三端部署,并给出 MiniCPM-V-Apps 仓库作为 App 与源码入口。对安卓与鸿蒙团队而言,这意味着三件事已经齐备:
- 推理内核:llama.cpp 系在 Android 有成熟 NDK/CMake 集成路径,HarmonyOS 侧则通过 OHOS Native API 接入同一套 C/C++ 内核,鸿蒙 NEXT 的 AI 能力框架对端侧推理友好;
- 量化产物:GGUF/int4 权重直接进 APK/HAP 资源目录或首启下载,无需重新转换;
- 视觉预处理:切片逻辑(slice + downsample)由模型仓库的 processor 定义,跨端实现保持一致,App 只需对齐输入尺寸与归一化参数(preprocessor_config.json 中的
image_mean/image_std = 0.5/0.5/0.5)。
目前公开可引用的实机数字集中在 iOS 平台,安卓/鸿蒙尚无官方逐机型 token/s 表——但这不构成"没跑通"的证据,更准确的解读是:三端共享同一套引擎与权重,差异主要来自 SoC 的算力与内存带宽。旗舰安卓(骁龙 8 系/天玑 9 系)与鸿蒙设备理论上可预期达到接近 iPhone 的量级,中端机型则需下调 max_slice_nums、改用更激进的 16x 压缩档位来保住帧率。
从手机到边缘盒子:day-0 芯片支持拓宽了"真机"定义
README 还列出了一组常被忽视的信息:MiniCPM-V 4.7 对 Rockchip、Houmo、Intel、AMD、Arm 提供 day-0 支持。这意味着同一个模型仓库可以直接横跨手机(iOS/Android/HarmonyOS)、AI 边缘盒(Rockchip RK 系列 NPU)、PC(Intel/AMD 的 CPU/GPU/NPU 与 OpenVINO 路径)多类硬件。对做"端云协同"或"离线多模态硬件"的团队来说,选型成本被显著压缩:一套权重、一套预处理、N 个执行后端。这也解释了为什么社区把 4.7 看作 MiniCPM-V 系列从"手机能跑"迈向"全终端可部署"的关键版本。
结语
把 MiniCPM-V 4.7 35B-A3B 的落地拆开看,端侧 MoE 的工程配方其实是清晰的:稀疏激活定能力上限,LES 前瞻调度解决专家权重的流动性,分层量化压内存搬运,投机采样摊薄解码延迟,视觉侧用 16x/4x 压缩和编码器内早期压缩控制 token 预算。iPhone 上 3GB 内存、13+ tokens/s 的成绩是这套配方的结果而非起点。对鸿蒙与安卓开发者而言,现在缺少的既不是模型也不是框架,而是把官方 App 仓库跑通后、针对自己目标机型的实测调优数据——而这恰恰是下一批社区文章最该补上的部分。