三款国产旗舰同做一款 3D 游戏:Step 5、DeepSeek V4 Pro、GLM5.3 谁是 Agent 真主
三款国产旗舰同做一款 3D 游戏:Step 5、DeepSeek V4 Pro、GLM5.3 谁是 Agent 真主
9 月 20 日,阶跃星辰发布 Step 5 Preview;前后脚,DeepSeek 的 V4 系列与智谱的 GLM5.3 也在密集更新。这一轮国产旗舰的竞赛焦点,已经从"谁跑分高"悄悄转移到"谁能在真实任务里独立把活干完"。
社区里传播最广的一轮实测,是把三款模型放进同一个 Agent 环境(腾讯 WorkBuddy),用完全相同的提示词,让它们各自从零开发一个可玩的 3D Minecraft 小游戏:
创建一个 Minecraft 风格的 3D 小岛。玩家第一人称进入世界。包含草地、树木、河流、山体、小木屋。WASD 移动,鼠标控制视角。左键破坏方块,右键放置方块。加入昼夜变化和太阳移动。
提示词只规定"要做什么",不指定技术栈、不规定项目结构、不拆解步骤。最后能做成什么样,完全取决于模型自己如何理解、拆解、执行和验收。本文基于这轮同题测试,再结合阶跃 10 月 15 日刚刚开源的 Step-5-Preview 仓库源码与配置,逐项拆解三款旗舰在 Agent 场景下的真实差距。
同一任务,三条交付路径
Step 5 Preview:55 分钟,但交付即能玩
Step 5 Preview 的执行流程分三步:检测当前环境、拆分任务、开始写码。真正拉开差距的是第三步——代码完成后它没有结束任务,而是进入完整的自验证循环:
- 通过浏览器控制台的报错信息定位代码问题;
- 截图检查实际游戏画面:页面是否渲染、组件是否丢失、UI 是否异常;
- 自己"进入"游戏实际操作一遍,验证 WASD 移动、指针锁定、方块交互是否正常。
一个容易被忽略的细节:全部检查通过后,它还会申请删除权限,清理测试产生的冗余文件,只留下干净的最终项目目录。整个流程耗时约 55 分钟,Token 消耗约 17M,按当时 API 价格折算成本在 12 元左右——消耗大正是因为它把大量算力花在了"写完再测、测完再改"上。
DeepSeek V4 Pro:35 分钟交卷,但"进不去游戏"
DeepSeek V4 Pro 的前两步流程与 Step 5 Preview 类似,执行过程中也有大量深度思考和 Bug 修复。但问题出在验收环节:这些修复并没有完整反馈到最终交付物里,问题分两轮暴露出来:
- 第一轮:交付的 Demo 无法进入游戏,重启项目后才能进入;
- 第二轮:进入后发现 WASD 移动和空格跳跃完全没有响应,只能把问题人工反馈回模型做第二次修复。
最终模型定位到两个根因:碰撞检测出现假阳性、输入开关绑定错误。修复后功能正常。算上后续约 14 分钟的二次修改,DeepSeek V4 Pro 的总耗时其实和 Step 5 Preview 相差不大——它省下的 20 分钟,转嫁成了用户的人工介入时间。值得注意的是,DeepSeek V4 Pro 的 API 标价比 Step 5 Preview 更低,单看 Token 经济性它是占优的。
GLM5.3:33 分钟一次通过,但带着"水分"
GLM5.3 这次 33 分钟完成,全程没有人工二次干预:游戏可正常运行,人物移动和基础交互正常,状态栏的方块图标还做了额外的渲染优化。但它有两个保留项:
- 水面处理做出了"方块向下凹陷"的不自然效果,且没有继续修好;
- 制作中后段触发了模型限速(rate limit),项目恰好在那之前基本完成才没受影响——实测作者明确指出,不算限速因素,正常执行完整耗时估计在 45 分钟左右。
成本方面,GLM5.3 在 WorkBuddy 里消耗了 271 积分。积分与 Token 成本无法直接换算,难以做精确价格对比,但整体体感高于前两者。
逐项对比
| 维度 | Step 5 Preview | DeepSeek V4 Pro | GLM5.3 |
|---|---|---|---|
| 首交可用 | 是,交付即能玩 | 否(进不去游戏,移动无响应) | 是,但水面渲染有瑕疵 |
| 二次人工干预 | 0 轮 | 1 轮 | 0 轮 |
| 总耗时 | 约 55 分钟 | 35 分钟 + 约 14 分钟返工 | 33 分钟(受限速影响,估计正常约 45 分钟) |
| Token / 成本 | 约 17M tokens,约 12 元 | Token 消耗明显更低,API 标价更低 | 271 WorkBuddy 积分,体感偏高 |
| 自验证深度 | 报错 + 截图 + 实际进游戏操作 | 思考充分但验收不彻底 | 流程完整,收尾不彻底 |
三家最终都把游戏做出来了——单看"能不能完成",差距并不大。真正的分水岭是:第一次交付之前,模型自己检查到了什么程度。AI 写 Demo 最常见的失败模式就是"代码看起来写完了,打开页面才发现这里有 Bug、那里点不动",然后人再把问题描述回去、模型重读上下文再改一轮——战线被拉长,Token 继续烧。对动辄几十分钟的 Agent 任务来说,"首交少留几个 Bug"本身就是实打实的成本优势。
Agent 能力的差距,源码里能看到一半
为什么 Step 5 Preview 愿意把"写—跑—查—改—再测"的循环自己跑下去?10 月 15 日开源的 Step-5-Preview 权重仓库,提供了架构层面的答案。
1. 工具调用协议是训练进模型的一等公民,不是套壳提示词。
仓库里的 chat_template.jinja 展示了 Step 5 的完整对话协议:工具定义以 JSONSchema 形式注入 system 段,模型输出被约束为严格的 tool_call XML 块:
<tool_call>
<function=example_function_name>
<parameter=example_parameter_1>
value_1
</parameter>
</function>
</tool_call>
模板里还有两处对长程 Agent 至关重要的设计:
- 多步工具调用支持:连续多条
tool角色的返回会被合并包进tool_response块,模板通过multi_step_tool标记判断当前是否处于一个工具调用链内部——这正是"模型连续调用十几个工具而不丢上下文"所需要的; - 思维链保留:
preserve_thinking默认开启,历史轮次的think内容会被保留拼回上下文,模型在长任务中能"记住"自己之前的推理过程,而不是每轮从零思考。
tokenizer 层面,tool_call、tool_calls、think、im_start 等全部是专用特殊 token(见 tokenizer_config.json),格式合法性在分词器层就有保障,解析侧的容错空间小。
2. 长任务的"体力"来自硬件级的架构设计。
config.json 里几个关键参数值得展开:
- 稀疏 MoE:
moe_num_experts: 352、moe_top_k: 8,总参数 600B、单 Token 激活约 27B。官方把这称为"智能与成本的帕累托前沿"——社区引用的第三方评测数据也印证了这一点:在相近智能水平下,Step 5 Preview 的单任务成本约为 GLM-5.3 与同级闭源模型的 35% 左右。17M Token 只花 12 元,底气在这里; - 混合注意力:92 层中采用 3:1 的
sliding_attention(窗口 512)与full_attention交替布局(layer_types字段清晰可见),配合max_seq_len: 1048576的 1M 上下文。55 分钟的游戏开发里,报错日志、截图描述、多轮工具返回全部塞在同一个上下文里滚动——滑动窗口控制成本,全注意力层保住长程依赖; - 长上下文的稀疏加速:
sparse_config启用了 DSA 稀疏注意力(topk: 512、csa_block_compress压缩、sparse_gqa实现),独立推理实现中对应 inference/kernel.py 里的DSAGeometry/DSALayerCache——为每个 8-token 区域建立 FP8 摘要索引(summary张量,float8_e4m3fn),decode 阶段按 topk 选区计算注意力,而不是扫描全部 KV。这是 1M 上下文能"持续推理"而不只是"塞得进去"的关键; - MTP 投机解码:
num_nextn_predict_layers: 3,仓库附带的 model-mtp3-full-00001.safetensors 是 3 层多 Token 预测权重,vLLM / SGLang 部署时分别通过--spec-method mtp/--speculative-algorithm EAGLE启用,直接压低长任务中占大头的生成延迟。
3. 视觉输入是"看屏幕"的前提。
Step 5 是原生的 step5_vl 条件生成模型(config.json 中 architectures: <a href="https://link.gitcode.com/i/549a6a9c317a88f91fa39ed5539fcfa0" target="_blank">"Step5ForConditionalGeneration"]),视觉塔是 47 层、宽度 1536 的 perception encoder(2D RoPE + 绝对位置嵌入 + 两级卷积下采样,实现见 [inference/vision_encoder.py)。几何约定是:一张 728×728 概览图编码为 169 个 token(image_token_len: 169),每张 504×504 局部裁剪 81 个 token(patch_token_len: 81),以 im_patch 占位符(token id 128001)注入文本序列。
这个设计的直接收益就是上一节看到的行为:模型可以像人一样"看"渲染出来的游戏画面——页面有没有正常渲染、UI 组件有没有丢失、水面看起来对不对——而不只是读控制台报错。DeepSeek V4 Pro 那轮"思考充分但修复没落到位"的问题,本质上就是缺少这种对最终视觉状态的闭环校验。
顺带一提部署门槛:FP8 权重单节点 8×H200 即可跑(TP=EP=8,352 个路由专家每 rank 44 个),BF16 需双节点 16 卡,完整命令见 inference/README.md。对企业自建 Agent 集群来说,这是目前国产 600B 级旗舰里比较友好的硬件基线。
旗舰选型:跑分只是入场券,真实任务才是判决书
回到开头的问题:谁是 Agent 真主?把实测放在一起看,结论很清晰。
第一,Agent 能力的第一性指标是"首交质量",不是生成速度。 DeepSeek V4 Pro 首交 35 分钟确实快,但"进不去游戏""WASD 无响应"这类问题只有真实交互才能暴露——模型自己检测到一半就收工了,剩下的债由用户用 14 分钟和一轮二次提示词来还。Step 5 Preview 用 55 分钟买断了整个验收环节:报错检查、截图比对、实际进游戏操作、清理现场,全部自己跑完。对批量跑 Agent 任务的团队来说,"无需人工兜底的首交率"直接决定了人力投入。
第二,工具调用与多模态输出的差距,体现在协议深度和视觉闭环上。 这一轮三家都通过了基础的工具调用(写文件、跑命令、起服务),差距不在"会不会调工具",而在两处:一是长工具链里上下文与思维链的保持(Step 5 的 multi_step_tool / preserve_thinking 协议设计显式为此服务);二是能不能"看"——用截图校验渲染结果、用视觉信号驱动下一轮修复。GLM5.3 的水面凹陷问题没有继续修好,DeepSeek V4 Pro 的碰撞假阳性靠自己没有发现,都是同一个故事的不同版本。
第三,成本要按"任务"算,不能按"Token"算。 Step 5 Preview 单任务 17M Token、约 12 元,表面看比另外两家消耗大,但它一个任务一个闭环;而需要二次干预的路线,把返工成本隐性转嫁给了流程。DeepSeek V4 Pro 在 API 标价上更便宜,适合"人盯着跑"的场景;如果要的是"派完活就不用管",Step 5 Preview 目前的工程表现更对路。GLM5.3 则在无干预一次通过与限速风险之间,暴露出生产环境里更实际的变量——配额与稳定性。
最后给一个务实的选型建议:Benchmark 分数和参数规模只决定候选名单;真正的排名要自己出一套"同题测试"——一段不拆步骤的提示词、一个需要反复调试的交互型产物、只允许一次交付。跑一遍"写—跑—查—改—再测"的完整循环,谁在交付前自己把测试跑完、谁把 Bug 留给了用户,高下立判。
这一轮国产旗舰的进步是实打实的:三家都能独立做出一款能玩的 3D 游戏,这在两年前不可想象。但竞争的主战场已经换了——从"模型能不能写代码",到"模型能不能像一个靠谱的工程师一样,交付前自己把活验完"。Step 5 Preview 这次在真实任务里交出的答卷说明:前者只是入场券,后者才是 Agent 时代旗舰模型的试金石。