为什么Qwen3.5-4B-Qwenputer值得关注:大模型自己当电脑,不再依赖外部工具调用

原创2026-11-10 18:10:082,165 阅读
文章标签:人工智能大模型基础模型本地部署

为什么Qwen3.5-4B-Qwenputer值得关注:大模型自己当电脑,不再依赖外部工具调用

🖥️ Qwen3.5-4B-Qwenputer 是一款把"整台 32 位 RISC-V 电脑"直接编译进大模型权重里的实验性开源模型。它基于 Qwen3.5-4B,在模型内部构建了一颗完整的 RISC-V CPU,让大模型自己当电脑运行 C 和 MicroPython 代码,不再依赖外部工具调用、沙箱或 Python 解释器,却在大数算术任务上达到了外部工具级的准确率。

它到底新在哪?🤔

大多数大模型要完成复杂计算,都得靠"外部工具调用":模型输出一段调用请求,交给宿主机上的 Python 解释器或计算器执行,再把结果塞回上下文。Qwen3.5-4B-Qwenputer 走了一条完全不同的路:

  • CPU 是编译出来的,不是学出来的:在 Qwen 原有 32 层前面,编译器插入了 11 层 transformer 构成的 32 位 RISC-V CPU,这些层的每一个权重都由编译器精确计算,不经过训练。
  • 用注意力状态当内存(RAM):模型自有的 Gated DeltaNet 层带有一个可逐行精确覆写的滚动状态,每一行恰好能当作一个存储单元,CPU 的代码、数据、寄存器和程序计数器全部放在这里。
  • 零外部依赖:没有 runtime、没有 sandbox、没有工具执行器,计算完全发生在模型前向传播内部。
特性 说明
基座模型 Qwen3.5-4B(Qwen 原有权重完全未动)
内置 CPU 11 层编译层,RV32IM + Zba + 大数(bignum)协处理器
架构 标准 Qwen3_5ForCausalLM,仅 config 级改动
隐藏层维度 3968(Qwen 的 2560 + 电脑层的维度)
词表 Qwen 词表 + 230,324 个 CPU 追踪 token
精度 bf16 下计算精确无误

以上规格可对照 config.json 查看,其中 43 层(num_hidden_layers)里前 11 层就是编译出来的 CPU。完整模型权重以 8 个分片存放,如 model-00001-of-00008.safetensors 至 model-00008-of-00008.safetensors,整体约 18.8 GB(bf16,大部分是零填充,CPU 本身只有约 100 万非零权重)。

大模型"自己当电脑"是怎么实现的?⚙️

关键在于一个巧妙的"借道"设计:

  1. 照常写工具调用:Qwen 像调用任何工具一样,写出一个针对 calc 的 tool_call 块——但这一次,模型外部没有任何东西会执行它。
  2. 电脑层现场执行:内置的 RISC-V CPU 层读取这个调用,在模型内部把它编译出的程序跑起来。
  3. 模型自己逐位写出结果:执行结果以 tool_response 的形式由模型自己一个数字一个数字地生成出来。

换句话说,从"发起调用"到"拿到结果",整条链路都发生在权重内部。驱动端(RvChat)只负责在提示词之后把固件(calc-bridge.elf)加载进 DeltaNet 状态来"开机",并让 CPU 追踪 token 绕过 Qwen 的文本层——每个输出 token 依然来自模型权重本身。

快速上手:三步跑起来 ⚡

git clone https://gitcode.com/hf_mirrors/divagr1925/Qwen3.5-4B-Qwenputer
hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv
uv run python -m chipformer.rv.chat qwenputer-rv --firmware tests/data/rv/calc-bridge.elf \
    --ask "Use calc: what is 123456789 * 987654321?"

只需问一句"123456789 乘以 987654321 等于几",模型内部的 CPU 就会完成这次大数乘法并直接给出答案,全程不触碰任何外部解释器。在 L4 GPU 上,CPU 以 Triton 执行器运行,速度约为 3,200 个追踪 token/秒。

跑分实测:不靠外部工具,准确率反超 🔢

官方在 NUPA 合成整数集与 DeepMind 大数算术集上做了对比(贪心解码,每组 40 题),基座模型被要求"心算",而"Python 工具"列代表基座模型调用宿主机上的真实 Python 解释器:

基准测试 Base Qwen3.5-4B Qwenputer Python 工具(宿主机)
合成整数算术 75.0 97.5 97.5
DeepMind mul_big 55.0 97.5 100
DeepMind div_big 72.5 97.5 95.0
DeepMind mul_div_multiple_longer 90.0 100.0 97.5
DeepMind add_or_sub_big 87.5 97.5 97.5

可以看到:基座模型在 mul_big(大数乘法)上只有 55.0 分,Qwenputer 直接拉到 97.5,追平甚至反超调用真实 Python 解释器的方案;在长乘除混合任务上更是拿到满分。更难得的是,开发者把约 23 万个 CPU 输出位置在参考模型上回放复核,零失配;而 Qwen 的文本生成行为与基座模型几乎一致(KL 散度 6e-4,低于 5e-4 的噪声底线),说明"塞进一颗 CPU"并没有以牺牲原有能力为代价。

结语:值得关注的理由 📌

Qwen3.5-4B-Qwenputer 证明了"把工具编译进模型权重"是可行且精确的路线:一颗能跑 C 与 MicroPython、通过官方 riscv-tests 测试集的 RISC-V CPU,安静地住在 11 层 transformer 里。对关注 Agent 与工具调用演进的朋友来说,它提供了一个极具启发性的新样本——未来的"外部工具",也许可以直接长成模型的一部分。

相关文件一览

登录后查看全文
Qwen3.5-4B-Qwenputer