从 MiniCPM-Robot 到 4.7:面壁"机器人+手机"双线布局,端侧模型的新剧本

原创2026-10-13 21:26:381,070 阅读
文章标签:人工智能大模型多模态基础模型本地部署

从 MiniCPM-Robot 到 4.7:面壁"机器人+手机"双线布局,端侧模型的新剧本

2026 年 7 月 19 日的 WAIC 会场,面壁智能联合 OpenBMB 在「智在终端 惠及千行」分论坛上,正式发布并开源了其首个具身智能成果——MiniCPM-Robot 系列模型,标志着一贯以"端侧小钢炮"著称的面壁智能正式杀入机器人赛道。一个多月后,MiniCPM-V 4.7 带着 35B-A3B 这个系列首个 MoE 变体面世,成为首个在手机端无损流畅运行的开源 MoE 多模态模型。从 1.5B 的机械臂操作模型到 35B 总参数、3GB 内存即可在 iPhone 上跑通的视觉语言模型,这两步棋看似分属机器人与手机两个战场,实则共享同一套"能力密度"叙事。本文将结合社区情报与本地仓库源码,拆解面壁这套"机器人+手机"双线布局的技术剧本。

WAIC 2026:小钢炮进军机器人,第一枪打向"记忆"与"成本"

MiniCPM-Robot 系列包含两个模型,定位清晰地切入了机器人智能的两个核心矛盾:操作与导航。

MiniCPM-RobotManip 是通用 VLA(Vision-Language-Action)模型,参数仅 1.5B,基于面壁自研的多模态模型 MiniCPM-V 4.6 训练而成。它的两个关键数字很有分量:在专门考察机器人模型上下文记忆能力的 RMBench 榜单上拿到 53.5 分,而同场竞技的美国知名 VLA 模型 pi0.5 仅有 10.4 分;单步决策延迟约 120 毫秒,足以支撑做三明治这类长程复杂任务的实时控制。社区报道反复强调的"1 分钟原生记忆 + 流式实时推理",正是把端侧大模型的 KV 管理经验移植到了动作序列生成上。

MiniCPM-RobotTrack 是面向移动机器人的跟踪导航模型,参数仅 0.9B,主打一个少见的卖点:业内首个支持本地断网部署的跟踪模型。这意味着机器人在无网络环境中也能独立完成识别、导航、问答的感知—思考—行动闭环。

这套组合与面壁此前联合乐聚机器人落地的园区巡检、展厅导览方案一脉相承——"无网络环境下也能稳定完成识别、导航、问答",本质上就是端侧部署哲学在机器人领域的翻版:不依赖云端、不依赖网络、把模型压缩到移动硬件跑得动的大小。

多模态能力如何复用到机器人感知:一条主线,两处复用

VLA 模型要吃下"视觉理解 + 语言指令 + 动作输出"三路信息,其感知侧的根基正是 MiniCPM-V 系列多年积累的视觉编码能力。看仓库里的 config.json,MiniCPM-V 4.7 的架构把这条技术主线暴露得很清楚:

  • 视觉侧是 SigLIP 风格编码器:image_size: 980、patch_size: 14、27 层 Transformer、hidden_size: 1152,配合 vit_merger 完成视觉 token 的压缩融合;
  • 语言侧是 40 层混合注意力结构,layer_types 中每 3 层 linear_attention 间隔 1 层 full_attention(full_attention_interval: 4),在长上下文下大幅削减注意力计算成本;
  • MoE 层面 num_experts: 256、num_experts_per_tok: 8,配合每层独立的 mlp.experts.down_proj / gate_up_proj(见 model.safetensors.index.json),实现了 35B 总参数、仅 3B 激活的"高密度"设计。

机器人感知对视觉模型有两个苛刻要求,恰好都是 MiniCPM-V 系列的看家本领。

其一是高分辨率下的效率。机械臂抓取、避障判断依赖对画面细节的精准理解,但图像分辨率越高、视觉 token 越多,端侧推理越慢。MiniCPM-V 4.7 引入了源自 LLaVA-UHD v4 的 intra-ViT early compression——在视觉编码器内部提前压缩视觉 token,再进入后续编码层计算;同时支持 4x/16x 混合视觉 token 压缩,开发者可按任务在细节保留与推理成本之间权衡。对机器人场景来说,"看得清"与"跑得快"不再是非此即彼。

其二是时间维度的理解。VLA 需要理解连续帧中的动作与场景变化,MiniCPM-V 系列从 2.6 时代积累的视频理解能力(多帧采样、stack_frames 子帧合成网格图、max_num_frames: 128 的配置项都保留在 README 的 推理参数表 中)恰好覆盖了这条能力曲线。mrope_mode: "canvas" 与 262144 的 max_position_embeddings 则保证了长序列下视觉位置编码的稳定。

值得注意的是,MiniCPM-RobotManip 直接基于 MiniCPM-V 4.6 训练而非 4.7——这本身就说明了一个产品逻辑:VLA 是消费既有多模态能力的产品化出口,而非另起炉灶。视觉编码、长上下文、流式推理这些能力在手机场景打磨成熟后,被整体迁移到机器人侧,边际成本极低。

端侧推理才是机器人落地的隐藏基础设施

MiniCPM-Robot 的 1.5B 参数与 120ms 决策延迟背后,真正的护城河是端侧推理工程。这一点在 MiniCPM-V 4.7 35B-A3B 上被推到了新的高度——因为 MoE 模型在端侧跑起来,比稠密模型难得多。

MoE 的困境在于:虽然每 token 只激活少量专家,但不同 token 会路由到不同专家,设备内存装不下全部专家权重时,就需要从 SSD 等存储反复加载,导致解码速度断崖式下降;而如果粗暴地固定专家子集,又会削弱模型能力。仓库 README 的 On-Device Capability and Efficiency 一节记录了三件套解法:

  1. Lookahead Expert Scheduling(LES):利用跨层路由预测,提前预取下一层可能需要的专家,预测只指导调度、不干预模型原始路由,漏掉的专家照常加载计算,保证"无损";
  2. 细粒度逐层量化:降低专家权重的存储占用与内存搬运量;
  3. DSpark 投机采样:配合独立发布的草稿模型(MiniCPM-V-4.7-35B-A3B-DSpark 中有说明)做投机解码,进一步压低解码延迟。

效果是量化的:iPhone 17 Pro Max 上仅用 3GB 内存跑出 13+ tokens/s,成为首个端侧无损流畅运行的开源 MoE 模型。README 中提供了优化前后对比动图与真机录屏:

端侧 MoE 推理优化前后速度对比

iPhone 17 Pro Max 上运行 MiniCPM-V 4.7 35B-A3B 的真机录屏

这套"专家预取 + 量化 + 投机解码"的组合拳,与 MiniCPM-RobotTrack 的"断网部署"诉求高度同构:机器人本体算力更受限、存储带宽更紧张,MoE 端侧推理一旦跑通,等于为后续更大规模 VLA 的机载部署铺好了路。

性能—效率前沿:为什么说 35B-A3B 是"密度"的又一注脚

面壁反复强调的核心指标是"能力密度"——在有限的资源预算内塞进尽可能强的能力。MiniCPM-V 4.7 35B-A3B 的 Instruct 模式下,用更少的推理时间拿到了比 Qwen3.6 35B-A3B 更高的综合得分,把多模态模型的性能—效率 Pareto 前沿又向外推了一截:

MiniCPM-V 4.7 35B-A3B 性能与推理时间的关系

MiniCPM-V 4.7 35B-A3B Instruct 模式视觉语言综合性能对比

MiniCPM-V 4.7 35B-A3B Instruct 模式语言能力对比

这种"小参数量、大能力"的密度追求贯穿整个 MiniCPM 家族:MiniCPM-V 4.6 仅 1.3B 参数、6GB 内存即可在手机运行;MiniCPM5-2B 以 2B 参数拿下 AA 榜单 4B 以下模型全球第一,Agentic Index 达到 20 分而同级模型只有 2 分,被官方定位为"初具端侧通用 Agent 能力"。如果把 2024 年 2.8B 的初代 MiniCPM-V、2026 年 WAIC 的 MiniCPM-Robot 放进同一条时间线,会发现一个清晰的迭代节奏:模型越做越小,能力密度越做越高,落地的终端从手机延伸到机器人。

面壁端侧生态的下一步想象

把两条线放在一起看,面壁的棋盘正在成形:

手机线以 MiniCPM-V 4.6/4.7、MiniCPM5-2B 为基座,横向铺开 iOS、Android、HarmonyOS 三大系统,并给瑞芯微、后摩智能、Intel、AMD、Arm 等芯片平台提供 day-0 支持(见 README.md 的平台矩阵),纵向打通 SGLang、vLLM、llama.cpp、Ollama 等推理框架与 SWIFT、LLaMA-Factory 等微调框架,加上 GGUF、BNB、AWQ、GPTQ、FP8 的量化全家桶。配合新发布的 Self-Replay Fine-Tuning 方法,开发者可以在低成本扩展能力的同时减少原有能力的遗忘——这条工具链的完善程度,直接决定了端侧生态能吸引多少开发者。

机器人线以 MiniCPM-RobotManip/Track 为切入点,复用视觉编码与端侧推理的全部积累,瞄准的是巡检、导览、长程操作这类"不需要云端、不能断网"的落地场景。可以合理预期的是:当 LES + 量化 + 投机解码的端侧 MoE 推理栈在 4.7 上跑通,下一代更大规模、更强感知的 VLA 在机器人本体上的部署窗口已经打开;而 MiniCPM5-2B 暴露出的 Agent 能力,则指向"机器人 + 端侧通用 Agent"的融合形态——机器人不再只是执行固定脚本的机械,而是能基于环境感知自主拆解任务的智能体。

面壁用两年的时间验证了一件事:端侧模型的价值不在于替代云端大模型,而在于把"感知—思考—行动"的闭环塞进手机和机器人这两类最贴近物理世界的终端里。从 MiniCPM-Robot 的 1.5B 机械臂模型,到 MiniCPM-V 4.7 35B-A3B 的 3GB 无损 MoE,这个剧本的核心始终没有变:把模型做小,把能力做实,让智能真正长在设备上。

从 MiniCPM-Robot 到 4.7:面壁"机器人+手机"双线布局,端侧模型的新剧本

2026 年 7 月 19 日的 WAIC 会场,面壁智能联合 OpenBMB 在「智在终端 惠及千行」分论坛上,正式发布并开源了其首个具身智能成果——MiniCPM-Robot 系列模型,标志着一贯以"端侧小钢炮"著称的面壁智能正式杀入机器人赛道。一个多月后,MiniCPM-V 4.7 带着 35B-A3B 这个系列首个 MoE 变体面世,成为首个在手机端无损流畅运行的开源 MoE 多模态模型。从 1.5B 的机械臂操作模型到 35B 总参数、3GB 内存即可在 iPhone 上跑通的视觉语言模型,这两步棋看似分属机器人与手机两个战场,实则共享同一套"能力密度"叙事。本文将结合社区情报与本地仓库源码,拆解面壁这套"机器人+手机"双线布局的技术剧本。

WAIC 2026:小钢炮进军机器人,第一枪打向"记忆"与"成本"

MiniCPM-Robot 系列包含两个模型,定位清晰地切入了机器人智能的两个核心矛盾:操作与导航。

MiniCPM-RobotManip 是通用 VLA(Vision-Language-Action)模型,参数仅 1.5B,基于面壁自研的多模态模型 MiniCPM-V 4.6 训练而成。它的两个关键数字很有分量:在专门考察机器人模型上下文记忆能力的 RMBench 榜单上拿到 53.5 分,而同场竞技的美国知名 VLA 模型 pi0.5 仅有 10.4 分;单步决策延迟约 120 毫秒,足以支撑做三明治这类长程复杂任务的实时控制。社区报道反复强调的"1 分钟原生记忆 + 流式实时推理",正是把端侧大模型的 KV 管理经验移植到了动作序列生成上。

MiniCPM-RobotTrack 是面向移动机器人的跟踪导航模型,参数仅 0.9B,主打一个少见的卖点:业内首个支持本地断网部署的跟踪模型。这意味着机器人在无网络环境中也能独立完成识别、导航、问答的感知—思考—行动闭环。

这套组合与面壁此前联合乐聚机器人落地的园区巡检、展厅导览方案一脉相承——"无网络环境下也能稳定完成识别、导航、问答",本质上就是端侧部署哲学在机器人领域的翻版:不依赖云端、不依赖网络、把模型压缩到移动硬件跑得动的大小。

多模态能力如何复用到机器人感知:一条主线,两处复用

VLA 模型要吃下"视觉理解 + 语言指令 + 动作输出"三路信息,其感知侧的根基正是 MiniCPM-V 系列多年积累的视觉编码能力。看仓库里的 config.json,MiniCPM-V 4.7 的架构把这条技术主线暴露得很清楚:

  • 视觉侧是 SigLIP 风格编码器:image_size: 980、patch_size: 14、27 层 Transformer、hidden_size: 1152,配合 vit_merger 完成视觉 token 的压缩融合;
  • 语言侧是 40 层混合注意力结构,layer_types 中每 3 层 linear_attention 间隔 1 层 full_attention(full_attention_interval: 4),在长上下文下大幅削减注意力计算成本;
  • MoE 层面 num_experts: 256、num_experts_per_tok: 8,配合每层独立的 mlp.experts.down_proj / gate_up_proj(见 model.safetensors.index.json),实现了 35B 总参数、仅 3B 激活的"高密度"设计。

机器人感知对视觉模型有两个苛刻要求,恰好都是 MiniCPM-V 系列的看家本领。

其一是高分辨率下的效率。机械臂抓取、避障判断依赖对画面细节的精准理解,但图像分辨率越高、视觉 token 越多,端侧推理越慢。MiniCPM-V 4.7 引入了源自 LLaVA-UHD v4 的 intra-ViT early compression——在视觉编码器内部提前压缩视觉 token,再进入后续编码层计算;同时支持 4x/16x 混合视觉 token 压缩,开发者可按任务在细节保留与推理成本之间权衡。对机器人场景来说,"看得清"与"跑得快"不再是非此即彼。

其二是时间维度的理解。VLA 需要理解连续帧中的动作与场景变化,MiniCPM-V 系列从 2.6 时代积累的视频理解能力(多帧采样、stack_frames 子帧合成网格图、max_num_frames: 128 的配置项都保留在 README 的 推理参数表 中)恰好覆盖了这条能力曲线。mrope_mode: "canvas" 与 262144 的 max_position_embeddings 则保证了长序列下视觉位置编码的稳定。

值得注意的是,MiniCPM-RobotManip 直接基于 MiniCPM-V 4.6 训练而非 4.7——这本身就说明了一个产品逻辑:VLA 是消费既有多模态能力的产品化出口,而非另起炉灶。视觉编码、长上下文、流式推理这些能力在手机场景打磨成熟后,被整体迁移到机器人侧,边际成本极低。

端侧推理才是机器人落地的隐藏基础设施

MiniCPM-Robot 的 1.5B 参数与 120ms 决策延迟背后,真正的护城河是端侧推理工程。这一点在 MiniCPM-V 4.7 35B-A3B 上被推到了新的高度——因为 MoE 模型在端侧跑起来,比稠密模型难得多。

MoE 的困境在于:虽然每 token 只激活少量专家,但不同 token 会路由到不同专家,设备内存装不下全部专家权重时,就需要从 SSD 等存储反复加载,导致解码速度断崖式下降;而如果粗暴地固定专家子集,又会削弱模型能力。仓库 README 的 On-Device Capability and Efficiency 一节记录了三件套解法:

  1. Lookahead Expert Scheduling(LES):利用跨层路由预测,提前预取下一层可能需要的专家,预测只指导调度、不干预模型原始路由,漏掉的专家照常加载计算,保证"无损";
  2. 细粒度逐层量化:降低专家权重的存储占用与内存搬运量;
  3. DSpark 投机采样:配合独立发布的草稿模型做投机解码,进一步压低解码延迟。

效果是量化的:iPhone 17 Pro Max 上仅用 3GB 内存跑出 13+ tokens/s,成为首个端侧无损流畅运行的开源 MoE 模型。README 中提供了优化前后对比动图与真机录屏:

端侧 MoE 推理优化前后速度对比

iPhone 17 Pro Max 上运行 MiniCPM-V 4.7 35B-A3B 的真机录屏

这套"专家预取 + 量化 + 投机解码"的组合拳,与 MiniCPM-RobotTrack 的"断网部署"诉求高度同构:机器人本体算力更受限、存储带宽更紧张,MoE 端侧推理一旦跑通,等于为后续更大规模 VLA 的机载部署铺好了路。

性能—效率前沿:为什么说 35B-A3B 是"密度"的又一注脚

面壁反复强调的核心指标是"能力密度"——在有限的资源预算内塞进尽可能强的能力。MiniCPM-V 4.7 35B-A3B 的 Instruct 模式下,用更少的推理时间拿到了比 Qwen3.6 35B-A3B 更高的综合得分,把多模态模型的性能—效率 Pareto 前沿又向外推了一截:

MiniCPM-V 4.7 35B-A3B 性能与推理时间的关系

MiniCPM-V 4.7 35B-A3B Instruct 模式视觉语言综合性能对比

MiniCPM-V 4.7 35B-A3B Instruct 模式语言能力对比

这种"小参数量、大能力"的密度追求贯穿整个 MiniCPM 家族:MiniCPM-V 4.6 仅 1.3B 参数、6GB 内存即可在手机运行;MiniCPM5-2B 以 2B 参数拿下 AA 榜单 4B 以下模型全球第一,Agentic Index 达到 20 分而同级模型只有 2 分,被官方定位为"初具端侧通用 Agent 能力"。如果把 2024 年 2.8B 的初代 MiniCPM-V、2026 年 WAIC 的 MiniCPM-Robot 放进同一条时间线,会发现一个清晰的迭代节奏:模型越做越小,能力密度越做越高,落地的终端从手机延伸到机器人。

面壁端侧生态的下一步想象

把两条线放在一起看,面壁的棋盘正在成形:

手机线以 MiniCPM-V 4.6/4.7、MiniCPM5-2B 为基座,横向铺开 iOS、Android、HarmonyOS 三大系统,并给瑞芯微、后摩智能、Intel、AMD、Arm 等芯片平台提供 day-0 支持(见 README.md 的平台矩阵),纵向打通 SGLang、vLLM、llama.cpp、Ollama 等推理框架与 SWIFT、LLaMA-Factory 等微调框架,加上 GGUF、BNB、AWQ、GPTQ、FP8 的量化全家桶。配合新发布的 Self-Replay Fine-Tuning 方法,开发者可以在低成本扩展能力的同时减少原有能力的遗忘——这条工具链的完善程度,直接决定了端侧生态能吸引多少开发者。

机器人线以 MiniCPM-RobotManip/Track 为切入点,复用视觉编码与端侧推理的全部积累,瞄准的是巡检、导览、长程操作这类"不需要云端、不能断网"的落地场景。可以合理预期的是:当 LES + 量化 + 投机解码的端侧 MoE 推理栈在 4.7 上跑通,下一代更大规模、更强感知的 VLA 在机器人本体上的部署窗口已经打开;而 MiniCPM5-2B 暴露出的 Agent 能力,则指向"机器人 + 端侧通用 Agent"的融合形态——机器人不再只是执行固定脚本的机械,而是能基于环境感知自主拆解任务的智能体。

面壁用两年的时间验证了一件事:端侧模型的价值不在于替代云端大模型,而在于把"感知—思考—行动"的闭环塞进手机和机器人这两类最贴近物理世界的终端里。从 MiniCPM-Robot 的 1.5B 机械臂模型,到 MiniCPM-V 4.7 35B-A3B 的 3GB 无损 MoE,这个剧本的核心始终没有变:把模型做小,把能力做实,让智能真正长在设备上。

登录后查看全文
MiniCPM-V-4.7-35B-A3B