FrogNano快速上手教程：如何5步在本地跑通4B仓库级编码Agent
FrogNano快速上手教程：如何5步在本地跑通4B仓库级编码Agent
FrogNano 是微软开源的紧凑型仓库级编码 Agent（FrogNano-4B-2609），基于 Qwen3.5-4B 用强化学习专项后训练，配合 5 个工具的 Leaf 脚手架即可完成"读代码 → 改代码 → 跑测试 → 出补丁"的完整闭环。本文带你用 5 个步骤在本地 GPU 上跑通这个 4B 编码 Agent，全程无需复杂环境，一篇读完即可上手。
一、FrogNano 是什么？为什么值得本地部署 🤔
在 README.md 中对模型的定位写得很清楚：FrogNano 是一个只做仓库级软件工程的编码 Agent，它不是通用聊天助手，也不是多模态模型。
| 特性 | 说明 |
|---|---|
| 基座模型 | Qwen3.5-4B（约 4.66B 参数） |
| 架构 | 32 层混合 Gated DeltaNet / gated-attention 因果语言模型 |
| 后训练方式 | 约 1,500 个 TaskPilot 合成 SWE 任务 + 可执行测试奖励的强化学习 |
| 上下文长度 | 评测配置约 131K tokens |
| 配套脚手架 | Leaf 轻量五工具 harness |
| 许可证 | Apache License 2.0 |
它的"硬实力"来自真实基准：基座在 SWE-bench Verified 上的 Avg@3 解决率为 39.4%，经过 5 轮 TaskPilot 引导的强化学习迭代后提升到 61.5%（详见 README.md 第 3 节"Quality and performance evaluation"）。也就是说，一个不到 5B 的模型，靠 RL 专项训练就拿到了 4B 级别里很能打的仓库级修 Bug 能力。
二、5 步跑通 FrogNano 本地部署
第 1 步：确认你的 GPU 与显存是否达标 ✅
先对硬件，再动手。README.md 的"Technical requirements"一节给出了关键数字：
- BF16 精度下，模型权重本身约占 9.3 GB 显存；
- 运行时状态、工具调用并发和 KV 缓存还要额外占用显存；
- 当上下文接近 131K tokens 时，显存需求会显著上升。
💡 新手建议：12 GB 显存的显卡可以跑较短上下文的推理与简单任务；想要完整的 131K 长上下文 Agent 体验，建议准备 24 GB 及以上显存，并优先使用官方文档中 rollout 所用的 SGLang（上游架构同时兼容 Hugging Face Transformers、vLLM、KTransformers）。
第 2 步：获取模型文件
模型权重、分词器、模板齐全地放在当前仓库中。克隆镜像仓库即可：
git clone https://gitcode.com/hf_mirrors/microsoft/FrogNano-4B-2609
克隆完成后，目录里应该能看到这些核心文件：
- 权重（BF16，分片存储）：model-00000-of-00002.safetensors、model-00001-of-00002.safetensors
- 分片索引：model.safetensors.index.json
- 模型配置：config.json
- 分词器资源：tokenizer.json、vocab.json、merges.txt、tokenizer_config.json
- 对话模板：chat_template.jinja
提示：如果本地已有同型号权重，可直接复用分片文件，但务必保证
config.json、tokenizer 与 chat template 来自同一版本，否则工具调用格式可能解析失败。
第 3 步：核对架构与推理配置 🔍
加载前花一分钟核对两个文件，避免"模型能载、行为不对"的坑：
- config.json：架构为
Qwen3_5ForConditionalGeneration，model_type为qwen3_5，文本部分 32 层、隐藏维度 2560、词表 248320，精度为 bfloat16。你的推理框架必须支持该架构（见第 1 步的运行时列表）。 - tokenizer_config.json：分词器类为
Qwen2Tokenizer，model_max_length为 262144。注意模板里内置了 `