granite-3b-code-base-2k 代码大模型两阶段预训练全揭秘:从纯代码到指令理解
granite-3b-code-base-2k 代码大模型两阶段预训练全揭秘:从纯代码到指令理解
granite-3b-code-base-2k 是 IBM Research 于 2024 年 5 月开源的 3B 参数代码大语言模型(Code LLM)。它从零开始训练,采用独特的两阶段预训练策略:第一阶段用约 4 万亿 token 的纯代码数据覆盖 116 种编程语言,第二阶段再用 5000 亿 token 的代码+自然语言混合数据,让模型在"会写代码"的基础上学会推理与遵循指令。本文完整揭秘这套训练方案,并带你了解模型结构、数据集配方、评测成绩与上手方法。
⚠️ 官方提示:README.md 开头标注了弃用警告——该模型已不推荐用于新项目,IBM 建议新项目使用最新主线的 Granite 模型家族,本模型目前主要面向历史与科研用途。
📦 模型档案:30 秒认识 granite-3b-code-base-2k
| 属性 | 说明 |
|---|---|
| 模型定位 | 仅解码器(decoder-only)代码基础模型 |
| 参数量 | 约 3B(权重总大小约 6.5GB,bfloat16) |
| 架构 | Llama 风格(LlamaForCausalLM),32 层 Transformer |
| 上下文长度 | 2048 token(名字里的 "2K" 即来源于此) |
| 词表大小 | 49152 |
| 开发方 | IBM Research |
| 发布时间 | 2024-05-06 |
| 许可证 | Apache 2.0(可商用) |
核心参数可以在 config.json 中查到:hidden_size: 2560、num_hidden_layers: 32、num_attention_heads: 32、max_position_embeddings: 2048、torch_dtype: bfloat16。模型权重则存放在 model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors 两个分片中,权重索引见 model.safetensors.index.json。
🎯 两阶段训练:为什么要"先纯代码,再混自然语言"?
这套训练策略可以类比人的学习路径:先打好专业基本功,再学会与人沟通。
第一阶段:4 万亿 token 的"纯代码浸润"
- 训练数据来自约 4 万亿 token,覆盖 116 种编程语言
- 目标是让模型建立对编程语言和语法的全面理解
- 数据源包括 GitHub Code Clean、Starcoder data 等公开数据集,以及 GitHub 上额外的公开代码仓库和 issue
两阶段训练:4万亿纯代码token打底
第二阶段:5000 亿 token 的"代码+语言"融合
- 用 5000 亿 token 的高质量混合数据继续训练
- 混合了代码领域与自然语言领域(含数学语料)
- 目的:提升模型的推理能力和指令遵循能力——这正是"base 模型也能听懂人话"的关键一步
训练基础设施方面,IBM 动用了自家 Vela 与 Blue Vela 两大超算集群(分别配备 NVIDIA A100 与 H100 GPU),在数千张 GPU 上完成训练。
🧹 数据工程:4.5 万亿 token 背后的高质量过滤器
数据"喂"得多不如"筛"得狠。README 披露了四道质量关卡:
- 语言过滤:只保留 116 种目标编程语言,再过滤低质量代码
- 精确+模糊去重:激进地移除内容(近似)完全相同的文档,防止模型"背题"
- 安全过滤:
- HAP 过滤器:降低模型生成仇恨、辱骂、粗俗内容的概率
- PII 脱敏:把人名、邮箱、密钥、密码替换成
⟨NAME⟩、⟨EMAIL⟩、⟨KEY⟩、⟨PASSWORD⟩占位符 - 恶意软件扫描:用 ClamAV 扫描全部数据集,剔除源码中的恶意软件
- 自然语言数据不做去重:与代码数据不同,自然语言数据集(如 OpenWebMath、StackMathQA)只精选不去重
README 头部的元数据里列出了主要训练数据集:codeparrot/github-code-clean、bigcode/starcoderdata、open-web-math/open-web-math、math-ai/StackMathQA,注释行还保留着 Stackexchange、CommonCrawl、Wikipedia 等曾被考虑的数据源,可看出团队对配方的反复权衡。
🔍 词表彩蛋:特殊 token 暴露了"为微调而生"的设计
查看 special_tokens_map.json,你会发现词表里预置了一组很特别的 token:
<filename>、<reponame>、<gh_stars>—— 文件名、仓库名、star 数<issue_start>、<issue_comment>、<issue_closed>—— Issue 全流程<jupyter_start>、<jupyter_text>、<jupyter_code>、<jupyter_output>—— Jupyter Notebook<commit_before>、<commit_msg>、<commit_after>—— 提交记录<fim_prefix>、<fim_middle>、<fim_suffix>、<fim_pad>—— 面向下游微调(Fine-tuning)的标记
这些 token 说明模型在预训练阶段就已为"文件级补全、Issue 理解、提交历史学习"等场景预留了接口,下游开发者做 SFT 微调时无需再扩词表。分词器完整定义见 tokenizer.json 与 tokenizer_config.json。
📊 基准成绩:MBPP pass@1 拿下 36.0
README 元数据中内置了完整的 model-index 评测结果,核心成绩一览:
基础代码生成
| 数据集 | pass@1 |
|---|---|
| MBPP | 36.0 |
| MBPP+(更严格测试集) | 45.1 |
HumanEvalSynthesis(跨语言合成任务)
| 语言 | pass@1 |
|---|---|
| Java | 40.9 |
| JavaScript | 37.2 |
| Python | 36.6 |
| C++ | 35.4 |
| Go | 26.2 |
| Rust | 22.0 |
HumanEvalFix(缺陷修复任务) 中表现最好的是 Java(29.9),而 HumanEvalExplain(代码解释任务) 中 Python 最高为 25.0——可见"写代码"仍是它最强的能力,"解释与修复"相对较弱。
💡 解读:作为 3B 小模型,这套成绩在 2024 年的同量级开源代码模型中相当能打,尤其 Java、JavaScript 等流行语言表现突出。
🚀 快速上手:几行代码跑起来
官方推荐用 Hugging Face transformers 加载(pipeline_tag: text-generation,注意该仓库标注 inference: false,建议按需自行部署)。核心流程只有四步:
AutoTokenizer.from_pretrained("ibm-granite/granite-3b-code-base-2k")加载分词器AutoModelForCausalLM.from_pretrained(..., device_map="cuda")加载模型- 对输入文本做 tokenize 并送入 GPU
- 调用
model.generate(...)生成,再batch_decode解码
官方示例的输入是 def generate():——典型的代码补全场景。生成行为由 generation_config.json 控制(当前仅定义了 bos/eos/pad token,均为 `