如何快速上手 ZGCM-1?从模型权重下载、推理到部署的完整指南

原创2026-11-02 09:25:301,424 阅读

如何快速上手 ZGCM-1?从模型权重下载、推理到部署的完整指南

ZGCM-1 是一个 7.39B 参数、完全开源的数学推理与 Agentic 搜索(工具增强搜索)基础模型,支持 256K 长上下文,并在同一模型中内置 思考模式 与 直接回答模式。项目不仅开放了模型权重,还开源了从数据治理、预训练、中训练到 SFT 和强化学习的完整训练代码。本文是一份面向新手和普通用户的 ZGCM-1 上手指南,带你完成 模型权重下载 → 本地推理 → 服务部署 的完整流程。

📌 3 分钟速览

  1. 从 Hugging Face 下载 zgcagi/ZGCM-1-7B 模型权重;
  2. 用 Transformers 或 vLLM 加载权重,跑通第一次推理;
  3. 通过 vLLM 一键部署为在线推理服务;
  4. (进阶)按需复现仓库中 预训练 / 中训练 / SFT / GRPO 强化学习 各阶段工作流。

一、先认识 ZGCM-1:能力与规格一览

在动手之前,先用 30 秒了解你要上手的对象是什么。ZGCM-1 由中关村学院 / 中关村人工智能研究院发布,主打"小参数、强推理":

核心指标 数值
架构 Decoder-only 稠密 Transformer(7.39B 参数)
最大上下文 262,144 tokens(256K)
注意力设计 27 层门控滑窗 GQA + 5 层全局注意力
数学推理 MATH-500 97.13%、AIME 2026 75.00%、HMMT 2025 70.42%
Agentic 搜索 WebWalkerQA 63.09%、BrowseComp 19.43%
训练配方 FP8 + Muon 预训练 → 渐进式长上下文 → SFT + GRPO 混合强化学习
开源协议 MIT License

从下图中可以看到 ZGCM-1 在 14 个推理基准上与多个同规模(7B–8B)模型的对比,其平均排名在对比模型中位居第一:

ZGCM-1 数学推理模型概览图:基准测试性能与核心训练技术一览

它的架构亮点是 混合注意力机制:大部分层使用 128-token 滑窗注意力(计算量低),少数层保留全局注意力(保证长距离依赖),从而在 256K 长上下文下实现约 3.94 倍的训练吞吐提升。

ZGCM-1 混合注意力架构:门控滑窗 GQA 与全局注意力层分布


二、第一步:下载 ZGCM-1 模型权重(一键获取)

1. 克隆官方仓库

仓库包含数据、训练与部署的全套工作流文档,建议先克隆下来作为参考手册:

git clone https://gitcode.com/gh_mirrors/zg/ZGCM-1.git
cd ZGCM-1

仓库根目录的 README.md 有完整的目录导航;各阶段的详细文档入口见下文表格。

2. 从 Hugging Face 获取权重与数据

ZGCM-1 的模型权重发布在 Hugging Face 的用户 zgcagi 名下,数据集同目录发布。打开 Hugging Face 首页搜索框,直接搜索以下两个名字即可:

资源 搜索关键词 说明
模型权重 zgcagi/ZGCM-1-7B 7.39B 参数完整权重 + tokenizer
训练数据集 zgcagi/ZGCM-1-Data 开源训练数据(复现训练用)

💡 模型卡片(Model Card)中附有官方推荐的加载与推理用法,下载前建议先读一遍。

命令行快速下载权重:

pip install -U "huggingface_hub[cli]"
huggingface-cli download zgcagi/ZGCM-1-7B --local-dir ./zgcm1-7b

下载完成后,./zgcm1-7b 目录下即是完整的权重与 tokenizer 文件,可直接用于下一步推理。

3. 仓库目录结构:五个阶段目录

目录 覆盖环节 运行文档
data-process/ AI 原生数据治理与清洗 data-process/README.md
pretrain/ 预训练(约 4.19T tokens) pretrain/README.md
midtrain/ 中训练:16K → 64K → 256K 长上下文 midtrain/README.md
sft/ 监督微调(SFT) sft/README.md
rl/ 强化学习(GRPO 混合 RL) rl/README.md

每个目录都自带独立的代码、配置和运行时文档,按目录内 README 操作即可,互不依赖——只想做推理部署的用户可以跳过第五节。


三、第二步:ZGCM-1 快速推理——跑出第一次输出

环境准备

  • GPU 显存参考:7.39B 模型 BF16 权重约 15 GB。单张 24 GB 显卡即可跑通 8K–32K 上下文;如需充分利用 256K 长上下文,建议使用 48 GB 及以上显卡,或做多卡张量并行。
  • 依赖:Python 3.10+、PyTorch(CUDA 版本)、transformers。

最小推理示例(Transformers)

以下是最通用的加载方式,具体 chat template 与思考模式开关请以模型卡片为准:

from transformers import AutoModelForCausalLM, AutoTokenizer

ckpt = "./zgcm1-7b"
model = AutoModelForCausalLM.from_pretrained(ckpt, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(ckpt)

messages = [{"role": "user", "content": "求解:3x + 7 = 22,x = ?"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=2048)
print(tokenizer.decode(out[0], skip_special_tokens=True))

🧠 思考模式小提示:ZGCM-1 是"思考 + 直答"双模式模型,复杂数学题会先输出一段内部推理再给出答案;简单问答则可直接给出结论。切换方式见模型卡片中的 chat template 说明。

效果参考

在 256K SFT 检查点、思考模式下,ZGCM-1 的 14 个推理基准平均排名对比如下,数学竞赛类基准(AIME、HMMT)优势明显:

ZGCM-1 推理基准排名对比:在 14 个数学推理基准上与六款 7B-8B 模型的平均排名对比


四、第三步:ZGCM-1 部署——把模型变成在线服务

个人体验用 Transformers 就够了;生产部署建议使用 vLLM,它原生支持 PagedAttention 和高并发,部署命令只需一行:

pip install -U vllm
vllm serve ./zgcm1-7b \
    --max-model-len 32768 \
    --port 8000

服务启动后,即可通过 OpenAI 兼容接口调用(http://localhost:8000/v1/chat/completions),前端应用、Agent 框架无需改造即可接入。

部署调优建议:

场景 建议配置
单卡体验 --max-model-len 8192~32768,24 GB 显卡即可
长文档 / 代码库问答 多卡张量并行 --tensor-parallel-size 2/4,拉长 --max-model-len
高并发 API 服务 保持默认调度参数,按 QPS 压测后调整 --max-num-seqs

⚠️ ZGCM-1 的 256K 上下文是"能力上限",显存与 KV cache 决定了你实际能开多长。建议从 32K 起步,逐步上调并观察显存占用。


五、进阶指南:复现 ZGCM-1 训练工作流(可选)

如果你拥有多机 GPU 集群,想完整复现 ZGCM-1 的训练配方,仓库已提供每个阶段的启动脚本与配置,按阶段顺序执行即可:

1️⃣ 数据治理(本地即可跑)

data-process/ 是一个纯标准库的 Python 包,输入 JSONL、输出清洗后 JSONL + 审计 manifest,无需集群即可验证:

cd data-process
pip install -e .
python3 scripts/smoke_test.py   # 端到端冒烟测试

数据分类清洗流程可参考 data-process/docs/category_cleaning_pipelines.md。

2️⃣ 预训练(192× H100)

两阶段共约 4.19T tokens(0.99T 课程式 + 3.20T 全局混合),配置见 pretrain/configs/stages/,课程与超参详情见 pretrain/docs/PRETRAIN_PHASES.md:

cd pretrain
export SHARED_STORAGE_ROOT=...   # 按 README 要求设置 3 个环境变量
bash scripts/launch_train.sh configs/stages/01_pretrain_1t_sequential.env

3️⃣ 中训练:长上下文 16K → 64K → 256K

三个阶段共 600.51B tokens,每一阶段以上一阶段检查点为初始化,配置位于 midtrain/configs/stages/,数据配比与资格实验见 midtrain/docs/MIDTRAIN_STAGES.md:

cd midtrain
STAGE_CONFIG=configs/stages/01_seq16k.env
source "$STAGE_CONFIG"
scripts/build_midtrain_data_args.sh "$DATA_ARGS_PATH" \
  "$MIDTRAIN_LONG64K_ROOT" "$MIDTRAIN_SHORT16K_ROOT"
bash scripts/launch_train.sh "$STAGE_CONFIG"

4️⃣ 监督微调(SFT)

sft/ 提供了经过 8×H100 与 64×H100 双档验证的启动器。启动前建议先做一次 配置校验 + 单节点冒烟测试,再上完整训练:

cd sft
VALIDATE_CONFIG_ONLY=1 bash training_launchers/stable_candidate/launch.sh   # 仅校验
SMOKE_TRAIN_ITERS=2 bash training_launchers/stable_candidate/launch.sh     # 2 步冒烟

关键配置集中在 sft/training_launchers/stable_candidate/zgcm.conf,256K 序列、FP8 + Muon、FA3 变长注意力,细节见 sft/README.md。

5️⃣ 强化学习(GRPO)

rl/ 提供数学、代码、指令遵循三个域的最终 GRPO 配置(基于 AReaL v2.0.0),奖励实现(含隔离代码沙箱)与启动协议分别位于 rl/rewards/ 和 rl/RUNNING.md。数学阶段配置为 rl/configs/math_grpo_length_shaped.yaml。

阶段 典型硬件 入口配置目录
预训练 192× H100 pretrain/configs/stages/
中训练 192× H100 midtrain/configs/stages/
SFT 8–64× H100 sft/training_launchers/
RL(GRPO) 多机 GPU rl/configs/

六、常见问题(FAQ)

❓ Q1:没有多卡集群,能玩 ZGCM-1 吗?

能。权重与推理/部署只需单张 24 GB 以上的显卡即可起步;只有"复现训练"才需要多机集群。

❓ Q2:ZGCM-1 的开源协议允许商用吗?

仓库代码遵循 MIT License(见根目录 LICENSE),模型与数据集的条款以 Hugging Face 模型卡 / 数据集卡为准,使用前建议确认。

❓ Q3:思考模式和直接回答模式如何切换?

ZGCM-1 单模型同时支持两种模式,通过对话模板参数控制,具体字段名与用法请以 Hugging Face 模型卡片(zgcagi/ZGCM-1-7B)中的说明为准。

❓ Q4:遇到问题去哪里求助?

项目维护者活跃在官方微信社群(README 中附二维码),也可以直接在仓库提交 Issue 提问。


七、总结

本文带你走完了 ZGCM-1 上手全流程:

  1. 下载:克隆仓库 + 从 Hugging Face 拉取 zgcagi/ZGCM-1-7B 权重,两条命令完成;
  2. 推理:Transformers 加载权重即可产出第一个回答,双模式(思考/直答)灵活应对数学与搜索任务;
  3. 部署:vLLM 一行命令把 ZGCM-1 变成 OpenAI 兼容的在线推理服务;
  4. 进阶:按 data-process → pretrain → midtrain → sft → rl 的顺序,复现这套"数学 + Agentic 搜索"的完整开源训练配方。

ZGCM-1 的价值不仅在于模型本身,更在于它把从数据治理到强化学习的整条工作流都开放了出来。祝你在 7B 规模数学推理与长上下文探索的路上玩得开心!🚀

登录后查看全文
ZGCM-1