为什么Qwen3.5-4B-Qwenputer值得关注:大模型自己当电脑,不再依赖外部工具调用
为什么Qwen3.5-4B-Qwenputer值得关注:大模型自己当电脑,不再依赖外部工具调用
🖥️ Qwen3.5-4B-Qwenputer 是一款把"整台 32 位 RISC-V 电脑"直接编译进大模型权重里的实验性开源模型。它基于 Qwen3.5-4B,在模型内部构建了一颗完整的 RISC-V CPU,让大模型自己当电脑运行 C 和 MicroPython 代码,不再依赖外部工具调用、沙箱或 Python 解释器,却在大数算术任务上达到了外部工具级的准确率。
它到底新在哪?🤔
大多数大模型要完成复杂计算,都得靠"外部工具调用":模型输出一段调用请求,交给宿主机上的 Python 解释器或计算器执行,再把结果塞回上下文。Qwen3.5-4B-Qwenputer 走了一条完全不同的路:
- CPU 是编译出来的,不是学出来的:在 Qwen 原有 32 层前面,编译器插入了 11 层 transformer 构成的 32 位 RISC-V CPU,这些层的每一个权重都由编译器精确计算,不经过训练。
- 用注意力状态当内存(RAM):模型自有的 Gated DeltaNet 层带有一个可逐行精确覆写的滚动状态,每一行恰好能当作一个存储单元,CPU 的代码、数据、寄存器和程序计数器全部放在这里。
- 零外部依赖:没有 runtime、没有 sandbox、没有工具执行器,计算完全发生在模型前向传播内部。
| 特性 | 说明 |
|---|---|
| 基座模型 | Qwen3.5-4B(Qwen 原有权重完全未动) |
| 内置 CPU | 11 层编译层,RV32IM + Zba + 大数(bignum)协处理器 |
| 架构 | 标准 Qwen3_5ForCausalLM,仅 config 级改动 |
| 隐藏层维度 | 3968(Qwen 的 2560 + 电脑层的维度) |
| 词表 | Qwen 词表 + 230,324 个 CPU 追踪 token |
| 精度 | bf16 下计算精确无误 |
以上规格可对照 config.json 查看,其中 43 层(num_hidden_layers)里前 11 层就是编译出来的 CPU。完整模型权重以 8 个分片存放,如 model-00001-of-00008.safetensors 至 model-00008-of-00008.safetensors,整体约 18.8 GB(bf16,大部分是零填充,CPU 本身只有约 100 万非零权重)。
大模型"自己当电脑"是怎么实现的?⚙️
关键在于一个巧妙的"借道"设计:
- 照常写工具调用:Qwen 像调用任何工具一样,写出一个针对
calc的tool_call块——但这一次,模型外部没有任何东西会执行它。 - 电脑层现场执行:内置的 RISC-V CPU 层读取这个调用,在模型内部把它编译出的程序跑起来。
- 模型自己逐位写出结果:执行结果以
tool_response的形式由模型自己一个数字一个数字地生成出来。
换句话说,从"发起调用"到"拿到结果",整条链路都发生在权重内部。驱动端(RvChat)只负责在提示词之后把固件(calc-bridge.elf)加载进 DeltaNet 状态来"开机",并让 CPU 追踪 token 绕过 Qwen 的文本层——每个输出 token 依然来自模型权重本身。
快速上手:三步跑起来 ⚡
git clone https://gitcode.com/hf_mirrors/divagr1925/Qwen3.5-4B-Qwenputer
hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv
uv run python -m chipformer.rv.chat qwenputer-rv --firmware tests/data/rv/calc-bridge.elf \
--ask "Use calc: what is 123456789 * 987654321?"
只需问一句"123456789 乘以 987654321 等于几",模型内部的 CPU 就会完成这次大数乘法并直接给出答案,全程不触碰任何外部解释器。在 L4 GPU 上,CPU 以 Triton 执行器运行,速度约为 3,200 个追踪 token/秒。
跑分实测:不靠外部工具,准确率反超 🔢
官方在 NUPA 合成整数集与 DeepMind 大数算术集上做了对比(贪心解码,每组 40 题),基座模型被要求"心算",而"Python 工具"列代表基座模型调用宿主机上的真实 Python 解释器:
| 基准测试 | Base Qwen3.5-4B | Qwenputer | Python 工具(宿主机) |
|---|---|---|---|
| 合成整数算术 | 75.0 | 97.5 | 97.5 |
DeepMind mul_big |
55.0 | 97.5 | 100 |
DeepMind div_big |
72.5 | 97.5 | 95.0 |
DeepMind mul_div_multiple_longer |
90.0 | 100.0 | 97.5 |
DeepMind add_or_sub_big |
87.5 | 97.5 | 97.5 |
可以看到:基座模型在 mul_big(大数乘法)上只有 55.0 分,Qwenputer 直接拉到 97.5,追平甚至反超调用真实 Python 解释器的方案;在长乘除混合任务上更是拿到满分。更难得的是,开发者把约 23 万个 CPU 输出位置在参考模型上回放复核,零失配;而 Qwen 的文本生成行为与基座模型几乎一致(KL 散度 6e-4,低于 5e-4 的噪声底线),说明"塞进一颗 CPU"并没有以牺牲原有能力为代价。
结语:值得关注的理由 📌
Qwen3.5-4B-Qwenputer 证明了"把工具编译进模型权重"是可行且精确的路线:一颗能跑 C 与 MicroPython、通过官方 riscv-tests 测试集的 RISC-V CPU,安静地住在 11 层 transformer 里。对关注 Agent 与工具调用演进的朋友来说,它提供了一个极具启发性的新样本——未来的"外部工具",也许可以直接长成模型的一部分。
相关文件一览
- 项目说明与基准:README.md
- 模型架构配置:config.json
- 生成参数(贪心解码):generation_config.json
- 分词器词表(含 23 万+ CPU 追踪 token):tokenizer.json
- 分词配置:tokenizer_config.json
- 模型权重分片:model.safetensors.index.json
- 开源协议:LICENSE