用FIM玩转代码生成:JiRackPrecisionTokenizer填充中间词元实战教程
用FIM玩转代码生成:JiRackPrecisionTokenizer填充中间词元实战教程
JiRackPrecisionTokenizer 是一款面向代码生成的开源代码词元化工具包,内置 FIM(Fill-in-the-Middle)填充中间词元,基于 Byte-Level BPE 算法构建,完全兼容 Qwen2.5 与 DeepSeek R1 模型。本文带你从加载词元化器到用 FIM 标记实现"已知首尾、预测中间"的代码补全,一步步跑通实战流程。
什么是 FIM?为什么代码生成需要"填充中间"?
传统大语言模型只能"从左到右"续写,但真实编码场景中,我们更常遇到这样的需求:
- 函数补全:函数签名和末尾调用都已写好,只有中间实现缺失
- 代码修复:函数首尾正常,但中间逻辑需要重写
- 训练增强:让模型学会同时利用"上文 + 下文"两种上下文
FIM(Fill-in-the-Middle,填充中间)正是为此设计的训练与推理技巧:把序列组织成 前缀 → 中间 → 后缀 的结构,模型便能"给首和尾、填中间"。这也是 CodeLlama 等代码模型补全能力出众的关键技术之一。
JiRackPrecisionTokenizer 内置的 3 个 FIM 标记
本项目将 FIM 标记直接写入了词表(详见 tokenizer_config.json 中的 additional_special_tokens 字段):
| 词元标记 | 作用 |
|---|---|
<fim_prefix> |
标记"已知前缀"的起始 |
<fim_middle> |
标记"待预测中间内容"的起始 |
<fim_suffix> |
标记"已知后缀"的起始 |
在词元层面(而不是动态注入 prompt 文本)处理这些标记,每个标记只占用 1 个 token,显著节省上下文窗口、提升精度与可靠性——这也是 README.md 中强调的 tokenizer 级工具集成设计思路。
项目核心特性一览
项目概况与许可说明分别见 README.md 和 NOTICE.md(QWEN 2.5 为 Apache 2.0、DEEPSEEK R1 为 MIT 许可)。关键信息如下:
| 特性 | 说明 |
|---|---|
| 分词算法 | Byte-Level BPE,支持多语言 |
| 词表大小 | 151,779 个 token,pad/eos 为 151643 |
| 模型兼容 | 完全兼容 Qwen2.5 与 DeepSeek R1,架构定义见 config.json |
| FIM 支持 | <fim_prefix> / <fim_middle> / <fim_suffix> |
| 域路由词元 | __CODING__、__PYTHON__、__SQL__、__ROBOTICS__ 等 50+ 个 |
| 工具调用词元 | `< |
| 机器人域词元 | `< |
快速上手:两步加载 Tokenizer
只需 transformers 库,克隆项目后两步即可开始 🚀:
git clone https://gitcode.com/hf_mirrors/CMSManhattan/JiRackPrecisionTokenizer
第一步:加载词元化器并自检
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("./JiRackPrecisionTokenizer")
print("Vocab size:", len(tok)) # 151779
print("pad_token_id:", tok.pad_token_id) # 151643
print("eos_token_id:", tok.eos_token_id)
第二步:resize 模型 Embedding(必做!)
词表扩大了,模型的嵌入矩阵也要跟着扩展,否则会索引越界。README 特别强调这一步"必须执行":
model.resize_token_embeddings(len(tok))
print("New Embedding size:", model.get_input_embeddings().weight.shape[0])
FIM 实战:写出"填充中间"的代码提示
加载完成后,用 3 个 FIM 标记组织提示词即可。标准 FIM 文本结构如下:
<fim_prefix>
(已知的前缀代码)
<fim_middle>
(这里留给模型预测中间内容)
<fim_suffix>
(已知的后缀代码)
以 Python 函数补全为例,推理时输入可以这样构造:
prompt = (
"<fim_prefix>\n"
"def fibonacci(n):\n"
' """返回前 n 个斐波那契数"""\n'
"<fim_middle>\n"
"<fim_suffix>\n"
"print(fibonacci(10)) # [0, 1, 1, 2, 3, 5, 8, 13, 21, 34]"
)
模型就会补全 <fim_middle> 与 <fim_suffix> 之间的函数实现。
3 个典型 FIM 应用场景
- 函数体补全:只给函数签名和调用示例,实现交给模型
- 测试用例生成:给定源文件开头与测试结尾,让模型填充中间测试逻辑
- 代码修复:提供带 Bug 函数的首尾代码,让模型重写中间实现
💡 本项目的 FIM 标记来自 Microsoft 数据集体系(README 明确说明),建议搭配 The Stack、StarCoder、NextCoder 等代码数据集进行训练,可获得最佳的代码生成与理解效果。
进阶技巧:用域路由词元提升代码生成精度
在提示词前加上路由词元,可以"引导"模型聚焦特定领域,例如:
prompt = "__CODING__ __PYTHON__ " + prompt
README 建议:若要完全发挥路由特性,大约需要 10 万条样本的适配数据;仅做推理的话,直接使用即可。
部署前必查:token 槽位校验脚本
项目自带 check_tokenizer_reserve.py,自动检查词元化器的新特殊词元是否落在模型 checkpoint 嵌入矩阵的预留槽位内,避免上线后出现"嵌入尺寸不匹配"这类错误:
python3 check_tokenizer_reserve.py
脚本会给出明确的 RESIZE 结论:词表是否需要扩展、还差多少行嵌入,并自动校验 4 个 tool-calling 词元是否齐全,非常适合部署前的健康检查 ✅。
常见问题 FAQ
Q:为什么一定要执行 model.resize_token_embeddings()?
A:JiRackPrecisionTokenizer 词表大小为 151,779,FIM、工具调用、路由等新增词元各占独立 id 槽位,不扩展嵌入矩阵会索引越界或映射错乱。
Q:能用于日常对话吗?
A:可以。项目附带 chat_template.jinja 对话模板,兼容 Qwen2.5 对话格式,并支持 <|tool_calls_begin|> 结构的工具调用。
Q:推荐的推理参数是什么?
A:见 generation_config.json:temperature=0.6、top_p=0.95、do_sample=true。
Q:clone 下来的 tokenizer.json 只有 133 字节?
A:该文件约 11MB,通过 Git LFS 管理,克隆后执行 git lfs pull 即可下载真实内容。
写在最后
JiRackPrecisionTokenizer 把 FIM 填充中间、工具调用、域路由 三大能力直接下沉到词元层,配合 Qwen2.5 或 DeepSeek R1 基座,只需极少的代码改动,就能构建擅长"给首填中"的代码补全模型。更多细节欢迎查阅项目 README.md。