如何快速上手 ZGCM-1?从模型权重下载、推理到部署的完整指南
如何快速上手 ZGCM-1?从模型权重下载、推理到部署的完整指南
ZGCM-1 是一个 7.39B 参数、完全开源的数学推理与 Agentic 搜索(工具增强搜索)基础模型,支持 256K 长上下文,并在同一模型中内置 思考模式 与 直接回答模式。项目不仅开放了模型权重,还开源了从数据治理、预训练、中训练到 SFT 和强化学习的完整训练代码。本文是一份面向新手和普通用户的 ZGCM-1 上手指南,带你完成 模型权重下载 → 本地推理 → 服务部署 的完整流程。
📌 3 分钟速览
- 从 Hugging Face 下载
zgcagi/ZGCM-1-7B模型权重;- 用 Transformers 或 vLLM 加载权重,跑通第一次推理;
- 通过 vLLM 一键部署为在线推理服务;
- (进阶)按需复现仓库中 预训练 / 中训练 / SFT / GRPO 强化学习 各阶段工作流。
一、先认识 ZGCM-1:能力与规格一览
在动手之前,先用 30 秒了解你要上手的对象是什么。ZGCM-1 由中关村学院 / 中关村人工智能研究院发布,主打"小参数、强推理":
| 核心指标 | 数值 |
|---|---|
| 架构 | Decoder-only 稠密 Transformer(7.39B 参数) |
| 最大上下文 | 262,144 tokens(256K) |
| 注意力设计 | 27 层门控滑窗 GQA + 5 层全局注意力 |
| 数学推理 | MATH-500 97.13%、AIME 2026 75.00%、HMMT 2025 70.42% |
| Agentic 搜索 | WebWalkerQA 63.09%、BrowseComp 19.43% |
| 训练配方 | FP8 + Muon 预训练 → 渐进式长上下文 → SFT + GRPO 混合强化学习 |
| 开源协议 | MIT License |
从下图中可以看到 ZGCM-1 在 14 个推理基准上与多个同规模(7B–8B)模型的对比,其平均排名在对比模型中位居第一:
它的架构亮点是 混合注意力机制:大部分层使用 128-token 滑窗注意力(计算量低),少数层保留全局注意力(保证长距离依赖),从而在 256K 长上下文下实现约 3.94 倍的训练吞吐提升。
二、第一步:下载 ZGCM-1 模型权重(一键获取)
1. 克隆官方仓库
仓库包含数据、训练与部署的全套工作流文档,建议先克隆下来作为参考手册:
git clone https://gitcode.com/gh_mirrors/zg/ZGCM-1.git
cd ZGCM-1
仓库根目录的 README.md 有完整的目录导航;各阶段的详细文档入口见下文表格。
2. 从 Hugging Face 获取权重与数据
ZGCM-1 的模型权重发布在 Hugging Face 的用户 zgcagi 名下,数据集同目录发布。打开 Hugging Face 首页搜索框,直接搜索以下两个名字即可:
| 资源 | 搜索关键词 | 说明 |
|---|---|---|
| 模型权重 | zgcagi/ZGCM-1-7B |
7.39B 参数完整权重 + tokenizer |
| 训练数据集 | zgcagi/ZGCM-1-Data |
开源训练数据(复现训练用) |
💡 模型卡片(Model Card)中附有官方推荐的加载与推理用法,下载前建议先读一遍。
命令行快速下载权重:
pip install -U "huggingface_hub[cli]"
huggingface-cli download zgcagi/ZGCM-1-7B --local-dir ./zgcm1-7b
下载完成后,./zgcm1-7b 目录下即是完整的权重与 tokenizer 文件,可直接用于下一步推理。
3. 仓库目录结构:五个阶段目录
| 目录 | 覆盖环节 | 运行文档 |
|---|---|---|
data-process/ |
AI 原生数据治理与清洗 | data-process/README.md |
pretrain/ |
预训练(约 4.19T tokens) | pretrain/README.md |
midtrain/ |
中训练:16K → 64K → 256K 长上下文 | midtrain/README.md |
sft/ |
监督微调(SFT) | sft/README.md |
rl/ |
强化学习(GRPO 混合 RL) | rl/README.md |
每个目录都自带独立的代码、配置和运行时文档,按目录内 README 操作即可,互不依赖——只想做推理部署的用户可以跳过第五节。
三、第二步:ZGCM-1 快速推理——跑出第一次输出
环境准备
- GPU 显存参考:7.39B 模型 BF16 权重约 15 GB。单张 24 GB 显卡即可跑通 8K–32K 上下文;如需充分利用 256K 长上下文,建议使用 48 GB 及以上显卡,或做多卡张量并行。
- 依赖:Python 3.10+、PyTorch(CUDA 版本)、
transformers。
最小推理示例(Transformers)
以下是最通用的加载方式,具体 chat template 与思考模式开关请以模型卡片为准:
from transformers import AutoModelForCausalLM, AutoTokenizer
ckpt = "./zgcm1-7b"
model = AutoModelForCausalLM.from_pretrained(ckpt, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(ckpt)
messages = [{"role": "user", "content": "求解:3x + 7 = 22,x = ?"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=2048)
print(tokenizer.decode(out[0], skip_special_tokens=True))
🧠 思考模式小提示:ZGCM-1 是"思考 + 直答"双模式模型,复杂数学题会先输出一段内部推理再给出答案;简单问答则可直接给出结论。切换方式见模型卡片中的 chat template 说明。
效果参考
在 256K SFT 检查点、思考模式下,ZGCM-1 的 14 个推理基准平均排名对比如下,数学竞赛类基准(AIME、HMMT)优势明显:
四、第三步:ZGCM-1 部署——把模型变成在线服务
个人体验用 Transformers 就够了;生产部署建议使用 vLLM,它原生支持 PagedAttention 和高并发,部署命令只需一行:
pip install -U vllm
vllm serve ./zgcm1-7b \
--max-model-len 32768 \
--port 8000
服务启动后,即可通过 OpenAI 兼容接口调用(http://localhost:8000/v1/chat/completions),前端应用、Agent 框架无需改造即可接入。
部署调优建议:
| 场景 | 建议配置 |
|---|---|
| 单卡体验 | --max-model-len 8192~32768,24 GB 显卡即可 |
| 长文档 / 代码库问答 | 多卡张量并行 --tensor-parallel-size 2/4,拉长 --max-model-len |
| 高并发 API 服务 | 保持默认调度参数,按 QPS 压测后调整 --max-num-seqs |
⚠️ ZGCM-1 的 256K 上下文是"能力上限",显存与 KV cache 决定了你实际能开多长。建议从 32K 起步,逐步上调并观察显存占用。
五、进阶指南:复现 ZGCM-1 训练工作流(可选)
如果你拥有多机 GPU 集群,想完整复现 ZGCM-1 的训练配方,仓库已提供每个阶段的启动脚本与配置,按阶段顺序执行即可:
1️⃣ 数据治理(本地即可跑)
data-process/ 是一个纯标准库的 Python 包,输入 JSONL、输出清洗后 JSONL + 审计 manifest,无需集群即可验证:
cd data-process
pip install -e .
python3 scripts/smoke_test.py # 端到端冒烟测试
数据分类清洗流程可参考 data-process/docs/category_cleaning_pipelines.md。
2️⃣ 预训练(192× H100)
两阶段共约 4.19T tokens(0.99T 课程式 + 3.20T 全局混合),配置见 pretrain/configs/stages/,课程与超参详情见 pretrain/docs/PRETRAIN_PHASES.md:
cd pretrain
export SHARED_STORAGE_ROOT=... # 按 README 要求设置 3 个环境变量
bash scripts/launch_train.sh configs/stages/01_pretrain_1t_sequential.env
3️⃣ 中训练:长上下文 16K → 64K → 256K
三个阶段共 600.51B tokens,每一阶段以上一阶段检查点为初始化,配置位于 midtrain/configs/stages/,数据配比与资格实验见 midtrain/docs/MIDTRAIN_STAGES.md:
cd midtrain
STAGE_CONFIG=configs/stages/01_seq16k.env
source "$STAGE_CONFIG"
scripts/build_midtrain_data_args.sh "$DATA_ARGS_PATH" \
"$MIDTRAIN_LONG64K_ROOT" "$MIDTRAIN_SHORT16K_ROOT"
bash scripts/launch_train.sh "$STAGE_CONFIG"
4️⃣ 监督微调(SFT)
sft/ 提供了经过 8×H100 与 64×H100 双档验证的启动器。启动前建议先做一次 配置校验 + 单节点冒烟测试,再上完整训练:
cd sft
VALIDATE_CONFIG_ONLY=1 bash training_launchers/stable_candidate/launch.sh # 仅校验
SMOKE_TRAIN_ITERS=2 bash training_launchers/stable_candidate/launch.sh # 2 步冒烟
关键配置集中在 sft/training_launchers/stable_candidate/zgcm.conf,256K 序列、FP8 + Muon、FA3 变长注意力,细节见 sft/README.md。
5️⃣ 强化学习(GRPO)
rl/ 提供数学、代码、指令遵循三个域的最终 GRPO 配置(基于 AReaL v2.0.0),奖励实现(含隔离代码沙箱)与启动协议分别位于 rl/rewards/ 和 rl/RUNNING.md。数学阶段配置为 rl/configs/math_grpo_length_shaped.yaml。
| 阶段 | 典型硬件 | 入口配置目录 |
|---|---|---|
| 预训练 | 192× H100 | pretrain/configs/stages/ |
| 中训练 | 192× H100 | midtrain/configs/stages/ |
| SFT | 8–64× H100 | sft/training_launchers/ |
| RL(GRPO) | 多机 GPU | rl/configs/ |
六、常见问题(FAQ)
❓ Q1:没有多卡集群,能玩 ZGCM-1 吗?
能。权重与推理/部署只需单张 24 GB 以上的显卡即可起步;只有"复现训练"才需要多机集群。
❓ Q2:ZGCM-1 的开源协议允许商用吗?
仓库代码遵循 MIT License(见根目录 LICENSE),模型与数据集的条款以 Hugging Face 模型卡 / 数据集卡为准,使用前建议确认。
❓ Q3:思考模式和直接回答模式如何切换?
ZGCM-1 单模型同时支持两种模式,通过对话模板参数控制,具体字段名与用法请以 Hugging Face 模型卡片(zgcagi/ZGCM-1-7B)中的说明为准。
❓ Q4:遇到问题去哪里求助?
项目维护者活跃在官方微信社群(README 中附二维码),也可以直接在仓库提交 Issue 提问。
七、总结
本文带你走完了 ZGCM-1 上手全流程:
- 下载:克隆仓库 + 从 Hugging Face 拉取
zgcagi/ZGCM-1-7B权重,两条命令完成; - 推理:Transformers 加载权重即可产出第一个回答,双模式(思考/直答)灵活应对数学与搜索任务;
- 部署:vLLM 一行命令把 ZGCM-1 变成 OpenAI 兼容的在线推理服务;
- 进阶:按
data-process → pretrain → midtrain → sft → rl的顺序,复现这套"数学 + Agentic 搜索"的完整开源训练配方。
ZGCM-1 的价值不仅在于模型本身,更在于它把从数据治理到强化学习的整条工作流都开放了出来。祝你在 7B 规模数学推理与长上下文探索的路上玩得开心!🚀


