granite-3b-code-base-2k 代码大模型两阶段预训练全揭秘:从纯代码到指令理解

原创2026-11-11 23:02:291,683 阅读

granite-3b-code-base-2k 代码大模型两阶段预训练全揭秘:从纯代码到指令理解

granite-3b-code-base-2k 是 IBM Research 于 2024 年 5 月开源的 3B 参数代码大语言模型(Code LLM)。它从零开始训练,采用独特的两阶段预训练策略:第一阶段用约 4 万亿 token 的纯代码数据覆盖 116 种编程语言,第二阶段再用 5000 亿 token 的代码+自然语言混合数据,让模型在"会写代码"的基础上学会推理与遵循指令。本文完整揭秘这套训练方案,并带你了解模型结构、数据集配方、评测成绩与上手方法。

⚠️ 官方提示:README.md 开头标注了弃用警告——该模型已不推荐用于新项目,IBM 建议新项目使用最新主线的 Granite 模型家族,本模型目前主要面向历史与科研用途。

📦 模型档案:30 秒认识 granite-3b-code-base-2k

属性 说明
模型定位 仅解码器(decoder-only)代码基础模型
参数量 约 3B(权重总大小约 6.5GB,bfloat16)
架构 Llama 风格(LlamaForCausalLM),32 层 Transformer
上下文长度 2048 token(名字里的 "2K" 即来源于此)
词表大小 49152
开发方 IBM Research
发布时间 2024-05-06
许可证 Apache 2.0(可商用)

核心参数可以在 config.json 中查到:hidden_size: 2560、num_hidden_layers: 32、num_attention_heads: 32、max_position_embeddings: 2048、torch_dtype: bfloat16。模型权重则存放在 model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors 两个分片中,权重索引见 model.safetensors.index.json。

🎯 两阶段训练:为什么要"先纯代码,再混自然语言"?

这套训练策略可以类比人的学习路径:先打好专业基本功,再学会与人沟通。

第一阶段:4 万亿 token 的"纯代码浸润"

  • 训练数据来自约 4 万亿 token,覆盖 116 种编程语言
  • 目标是让模型建立对编程语言和语法的全面理解
  • 数据源包括 GitHub Code Clean、Starcoder data 等公开数据集,以及 GitHub 上额外的公开代码仓库和 issue

两阶段训练:4万亿纯代码token打底

第二阶段:5000 亿 token 的"代码+语言"融合

  • 用 5000 亿 token 的高质量混合数据继续训练
  • 混合了代码领域与自然语言领域(含数学语料)
  • 目的:提升模型的推理能力和指令遵循能力——这正是"base 模型也能听懂人话"的关键一步

训练基础设施方面,IBM 动用了自家 Vela 与 Blue Vela 两大超算集群(分别配备 NVIDIA A100 与 H100 GPU),在数千张 GPU 上完成训练。

🧹 数据工程:4.5 万亿 token 背后的高质量过滤器

数据"喂"得多不如"筛"得狠。README 披露了四道质量关卡:

  1. 语言过滤:只保留 116 种目标编程语言,再过滤低质量代码
  2. 精确+模糊去重:激进地移除内容(近似)完全相同的文档,防止模型"背题"
  3. 安全过滤:
    • HAP 过滤器:降低模型生成仇恨、辱骂、粗俗内容的概率
    • PII 脱敏:把人名、邮箱、密钥、密码替换成 ⟨NAME⟩、⟨EMAIL⟩、⟨KEY⟩、⟨PASSWORD⟩ 占位符
    • 恶意软件扫描:用 ClamAV 扫描全部数据集,剔除源码中的恶意软件
  4. 自然语言数据不做去重:与代码数据不同,自然语言数据集(如 OpenWebMath、StackMathQA)只精选不去重

README 头部的元数据里列出了主要训练数据集:codeparrot/github-code-clean、bigcode/starcoderdata、open-web-math/open-web-math、math-ai/StackMathQA,注释行还保留着 Stackexchange、CommonCrawl、Wikipedia 等曾被考虑的数据源,可看出团队对配方的反复权衡。

🔍 词表彩蛋:特殊 token 暴露了"为微调而生"的设计

查看 special_tokens_map.json,你会发现词表里预置了一组很特别的 token:

  • <filename>、<reponame>、<gh_stars> —— 文件名、仓库名、star 数
  • <issue_start>、<issue_comment>、<issue_closed> —— Issue 全流程
  • <jupyter_start>、<jupyter_text>、<jupyter_code>、<jupyter_output> —— Jupyter Notebook
  • <commit_before>、<commit_msg>、<commit_after> —— 提交记录
  • <fim_prefix>、<fim_middle>、<fim_suffix>、<fim_pad> —— 面向下游微调(Fine-tuning)的标记

这些 token 说明模型在预训练阶段就已为"文件级补全、Issue 理解、提交历史学习"等场景预留了接口,下游开发者做 SFT 微调时无需再扩词表。分词器完整定义见 tokenizer.json 与 tokenizer_config.json。

📊 基准成绩:MBPP pass@1 拿下 36.0

README 元数据中内置了完整的 model-index 评测结果,核心成绩一览:

基础代码生成

数据集 pass@1
MBPP 36.0
MBPP+(更严格测试集) 45.1

HumanEvalSynthesis(跨语言合成任务)

语言 pass@1
Java 40.9
JavaScript 37.2
Python 36.6
C++ 35.4
Go 26.2
Rust 22.0

HumanEvalFix(缺陷修复任务) 中表现最好的是 Java(29.9),而 HumanEvalExplain(代码解释任务) 中 Python 最高为 25.0——可见"写代码"仍是它最强的能力,"解释与修复"相对较弱。

💡 解读:作为 3B 小模型,这套成绩在 2024 年的同量级开源代码模型中相当能打,尤其 Java、JavaScript 等流行语言表现突出。

🚀 快速上手:几行代码跑起来

官方推荐用 Hugging Face transformers 加载(pipeline_tag: text-generation,注意该仓库标注 inference: false,建议按需自行部署)。核心流程只有四步:

  1. AutoTokenizer.from_pretrained("ibm-granite/granite-3b-code-base-2k") 加载分词器
  2. AutoModelForCausalLM.from_pretrained(..., device_map="cuda") 加载模型
  3. 对输入文本做 tokenize 并送入 GPU
  4. 调用 model.generate(...) 生成,再 batch_decode 解码

官方示例的输入是 def generate():——典型的代码补全场景。生成行为由 generation_config.json 控制(当前仅定义了 bos/eos/pad token,均为 `

登录后查看全文
granite-3b-code-base-2k