别被旗舰光环骗了:Step 5 Preview 的三个明显短板

原创2026-10-15 18:21:291,633 阅读
文章标签:大模型基础模型人工智能多模态AI Agent本地部署

别被旗舰光环骗了:Step 5 Preview 的三个明显短板

2026 年 9 月 20 日,阶跃星辰发布 Step 5 Preview:600B 总参数、27B 激活的稀疏 MoE,1M token 上下文,Artificial Analysis 综合智能指数 44 分跻身全球开源前三,单任务成本被官方与社区反复标榜为同等智能水平模型的 1/8 到 1/3。紧接着,它登顶 OpenRouter Trending 榜、上线腾讯 WorkBuddy 并限免半个月,10 月 15 日权重如期开放。社区实测文章一边倒地夸它"交付完整""Agent 能力强"——但把真实任务记录和仓库源码摆在一起看,"旗舰"光环遮住的东西就露出来了:前端开发与办公生态的细节适配、轻量任务的真实账单、以及自托管部署的隐性门槛,每一项都有实打实的证据。本文不重复跑分,只拆短板。

一、前端视觉与办公生态:赢了逻辑,输了细节

Step 5 Preview 官方定位覆盖"frontend and visual development"(见 README.md 的 Key Capabilities),社区实测也承认它在"读懂需求、跑通功能、完整交付"上确实强。但把两次真实前端任务的过程记录拉出来,失分点几乎都集中在视觉与交互的细部。

1.1 两个真实前端任务里的"细节失分"

掘金博主"猫猫头啊"的横评里,Step 5 Preview 做四冲程发动机剖面动画时是唯一把"操作说明"排进页面的模型,逻辑完成度最高,但页面底部有一段没有显示出来;做三维抓娃娃机时,它把状态、日志、触控按钮做得很全,却只有在按下空格开始抓取后,底部才会出现抓取判定圈——移动爪子的过程中玩家看不到能否抓中,社区原话是"增加了抓取难度"。同场对比里,GLM-5.3 的机械结构标注最细,GPT-5.6 Sol 的霓虹街机风格第一眼最抓人。也就是说:Step 5 Preview 输的不是"能不能做出来",而是视觉呈现和交互提示这类审美向、体验向的细节。这类短板很难在 benchmark 里暴露,只会在真实产品评审中变成"这里差点意思"。

这与它的能力结构是一致的。仓库里的视觉编码器走的是工程向路线:inference/README.md 明确记录,728×728 概览图产生 169 个视觉 token、504×504 裁剪图产生 81 个,视觉通道用于"读图、理解截图",而不是精细图像生成。同一份文档还特别声明,其验证结果"不构成多模态 benchmark 或 OCR/视频质量评估"——模型对视觉输入的理解是够用的,但审美还原不是它的训练重心。

1.2 办公生态仍绑在第三方 Agent 框架上

办公场景是 Step 5 Preview 被社区称道最多的地方,但注意一个事实:几乎所有好评实测都发生在腾讯 WorkBuddy 里。WorkBuddy 在 10 月 12 日至 25 日对 Step 5 Preview 独家限免,A 股热力图、持仓体检报告、Ardot 网页设计等案例全部依赖 WorkBuddy 的工具链(数据服务、Ardot 设计器、云部署)才能跑通。换言之,模型本身是"工程向"的,但它的办公生态适配是借来的——离开 WorkBuddy 的 skill 与工具编排,这些能力不会自动出现。社区也如实记录了接入成本:在 Cline 里配置 Step 5 Preview 需要完整的自定义 Provider 流程与参数调优,且有过踩坑记录;与腾讯生态的顺畅衔接更多是 WorkBuddy 的功劳,而非模型原生的生态能力。

1.3 小结:定位决定了短板方向

前端开发"逻辑强、细节弱",办公场景"能力强、生态靠第三方"——这两点的共同根源是模型被训练成"工程向优先":先保证任务跑通、信息完整,再谈视觉打磨。对生产环境够用,对"给客户看的 Demo"和"设计向交付"就显出差距。

二、轻量任务的性价比陷阱:单位 Token 便宜,任务账单未必便宜

官方强调"Pareto 前沿"和"单任务成本仅为 GLM-5.3/K3 的 35%、Claude Opus 5 的 12.5%",社区也晒出 API 价格输入 $1.00/百万 token、输出 $2.70/百万 token(缓存命中优惠 95%)。但"单位 Token 便宜"和"任务总账单便宜"是两件事,真实横评数据给出了相反的证据。

2.1 自测循环是 Token 黑洞

同一篇 3D Minecraft 小游戏实测里,三个模型用相同提示词从零开发:

模型 首次交付耗时 额外人工干预 Token/成本
Step 5 Preview 约 55 分钟 0 轮 约 1700 万 token,约 12 元
DeepSeek V4 Pro 35 分钟 约 14 分钟二次修复(人物无法移动) 更低
GLM-5.3 33 分钟(中途被限速) 0 轮 更高

Step 5 Preview 的 55 分钟和 1700 万 token,绝大部分花在"写代码 → 运行 → 浏览器截图检查 → 实际进入游戏操作 → 修复 → 再测试"的自测循环上。这恰恰是它的设计目标——首次交付少留 Bug,省掉人工二次介入。对长程 Agent 任务,这是价值;但对轻量任务,这个"认真劲"会变成纯开销:一段简单代码生成、一次快速问答,根本不需要也不应该付出 1700 万 token 级别的自测成本。

2.2 架构是为长任务堆的,短任务吃不回来

从仓库配置看,Step 5 Preview 的每一处设计都在为长程 Agent 服务,代价是短任务的固定开销被抬高:config.json 里是 92 层(90 层 MoE)、352 个路由专家、每 token 激活 top-8、滑动窗口 512 的滑窗注意力和 DSA 稀疏注意力、1M 上下文、3 层 MTP。text_config 中 moe_num_experts=352、moe_top_k=8、max_seq_len=1048576 共同决定了:任何一次推理都要经过这套大而全的流水线。短提示下,专家路由、稀疏索引、长上下文缓存机制全部处于"空转"状态——能力规模与任务复杂度严重不匹配,单位 token 便宜也补不回来。

2.3 该用 Flash 档的地方别用旗舰

社区在同一个月里反复讨论"Agent 场景更该看 Flash 档模型":Step 3.5 Flash 总参 196B、仅激活 11B,350 TPS 推理速度,256K 上下文,在编码、数学、工具调用上逼近闭源水平——这类模型的激活参数只有 Step 5 的 40%,对轻量任务、高频调用、工具调用类的延迟和成本都友好得多。Step 5 Preview 的官方定位(见 README.md)写得也很诚实:核心能力是"Long-Horizon Agentic Execution",即需要反复工具调用、执行、验证和修订的长任务。拿旗舰模型做短任务,等于用服务器集群送外卖——不是送不动,是账算不过来。

三、什么场景下真的别选 Step 5

3.1 自托管:FP8 起步 8 卡,BF16 要 16 卡,且工作流还没端到端验证

这是最容易被"600B 开源"冲昏头脑的一环。官方部署矩阵(见 README.md)写得非常清楚:

  • FP8:最低 4×B300 或 8×H200(TP=EP=8),且需要 FP8 E4M3 支持;
  • BF16:最低 两节点 16×H200(TP=EP=16),inference/README.md 给出实测数字:每 rank 参数占用 74.93 GiB,峰值 PyTorch 分配 76.37 GiB/GPU——这意味着单卡 141GB 的 H200 也放不下 BF16 的完整模型,更别说 1M 上下文所需的 KV 缓存;
  • 社区广泛宣传的"8×H200 跑 FP8",本质上是把 644GB 权重(见 model.safetensors.index.json 的 total_size: 644100979280)压进 FP8 之后的结果。

更关键的是验证缺口:inference/README.md 的 BF16 章节白纸黑字写明,完整的 convert.py → generate.py --tp-dir 文件化工作流"尚未端到端验证",目前通过的是流式权重推理与分片检查;跨节点通信只验证过 NCCL TCP Socket,RDMA、长上下文负载和吞吐量均未验证。也就是说,社区教程里"下载 → 转换 → 跑起来"的丝滑路径,在 BF16 上还差最后一步官方背书。

3.2 推理能力是"能跑",不是"跑得舒服"

inference/README.md 的 Limitations 一节逐条列出的限制,对生产选型是硬约束:

  • 生成是 greedy:没有连续动态批处理、paged KV cache、prefix caching 和 CUDA graphs;
  • MTP 层不加载,没有投机解码(config 里 num_nextn_predict_layers=3 在普通生成中被排除);
  • --ep-size 必须等于 TP/world size,独立的 TP=4、EP=2 进程组未实现,并行拓扑缺乏灵活性;
  • 多模态输入需要自行预处理 pixel_values / patch_pixel_values(inference/generate.py 只接受预处理后的 tensors),没有内置的图像处理策略。

换句话说,这份开源实现是"最小推理路径",验证范围是功能与数值正确性,而非 serving 性能。想在生产环境拿到高并发、投机解码、动态批处理,只能依赖 vLLM/SGLang 的官方镜像版本——这又把部署门槛推回了算力与运维侧。

3.3 决策清单

综合社区实测与源码证据,Step 5 Preview 的适用边界大致如下:

适合:仓库级代码重构与跨文件工程任务;需要持续工具调用、执行、验证的长程 Agent;金融投研、长文档审核、合同分析等专业文档工作;1M 级长上下文下的跨文档研究。

别选:

  • 前端精细视觉还原与设计向交付——逻辑能跑通,但视觉细节和交互提示会被同场竞品比下去;
  • 轻量高频问答、简单代码片段、日常工具调用——自测循环和 600B 规模带来不必要的延迟与 token 消耗,Flash 档模型更划算;
  • 纯创意写作——社区对比明确"纯创意写作不是其长项",工程向训练让它在开放创作上偏保守;
  • 单机/小集群自托管——FP8 起步 8 卡 H200、BF16 要 16 卡且工作流未端到端验证,预算有限时不如直接走 API 或第三方平台。

结语:短板的另一面,是定位的诚实

Step 5 Preview 的"三个短板"——前端细节弱、轻量任务贵、自托管门槛高——其实指向同一个结论:它是一台为长程 Agent 任务调校的工程机器,而不是全科旗舰。官方在 README.md 里把"Long-Horizon Agentic Execution"和金融专业工作列为重点,社区实测也反复验证了这一点。选型从来不是比谁跑分高,而是比谁的定位与你的任务匹配。理解 Step 5 Preview 强在哪、弱在哪,比转发它的跑分图更有价值——这台机器的说明书,就写在它自己的仓库里。

登录后查看全文
Step-5-Preview