构建RAG MoE路由系统:JiRackPrecisionTokenizer 51个领域路由Token完整指南
构建RAG MoE路由系统:JiRackPrecisionTokenizer 51个领域路由Token完整指南
JiRackPrecisionTokenizer 是一款专为 RAG MoE 路由系统设计的分词器(Tokenizer),内置 51 个领域路由 Token(如 __CODING__、__ROBOTICS__、__PYTHON__),可让大模型在检索增强生成(RAG)场景中,通过单个 Token 快速识别问题所属领域,再路由到对应的知识库或专家模型。它完全兼容 Qwen2.5 与 DeepSeek R1 模型,采用 Byte-Level BPE 算法,词表大小 151779,是搭建领域感知检索系统的一站式基础组件 🧩。
什么是领域路由 Token?
传统 RAG 系统面对海量知识库时,往往"不分青红皂白"地检索全部内容,导致召回噪音大、延迟高。JiRack Precision 的思路是在 分词器层面 直接加入领域标记 Token:
- 用户问题被分词时,路由 Token 以 单 Token 形式出现,模型可以"一眼识别"领域;
- 检索系统根据路由 Token 将请求分发到对应领域的知识库(即 MoE 路由思想);
- 相比在 Prompt 中动态注入 schema,Tokenizer 级路由 精度更高、延迟更低、Token 开销更小。
官方推荐配合约 10 万条样本进行适配训练,即可让模型完全掌握 RAG 路由能力。相关规则说明见 README.md。
51 个路由 Token 全景图
全部 51 个路由 Token 定义在 tokenizer_config.json 的 additional_special_tokens 字段中。按用途可分为六大类:
1️⃣ 通用与综合领域(8 个)
| Token | 含义 |
|---|---|
__GENERAL__ |
通用问答,兜底领域 |
__SCIENCE__ |
综合科学 |
__MATH__ |
数学 |
__CODING__ |
编程(总类别) |
__MEDICINE__ |
医学健康 |
__GOVERNMENT__ |
政务政策 |
__NEWS__ |
新闻资讯 |
__STOCK_EXCHANGE__ |
股票交易所 |
2️⃣ 科学与工程(8 个)
| Token | 含义 |
|---|---|
__MATERIAL_SCIENCE__ |
材料科学 |
__ELECTRONICS__ |
电子学 |
__MICROELECTRONICS__ |
微电子 |
__ENGINEERING__ |
通用工程 |
__ROBOTICS__ |
机器人技术 |
__ENERGY__ |
能源 |
__AUTOMOTIVE__ |
汽车 |
__AVIATION__ |
航空航天 |
3️⃣ 编程语言(16 个)
覆盖主流开发语言,方便代码类知识库做细粒度路由:
__PYTHON__、__C__、__CPP__、__C_SHARP__、__JAVA__、__JAVASCRIPT__、__TYPESCRIPT__、__RUST__、__GO__、__RUBY__、__PHP__、__SWIFT__、__KOTLIN__、__BASH__、__SQL__、__ASSEMBLY__
4️⃣ 人文社科(8 个)
__PHILOSOPHY__(哲学)、__LITERATURE__(文学)、__SOCIOLOGY__(社会学)、__PSYCHOLOGY__(心理学)、__POLITICAL_SCIENCE__(政治学)、__CULTURAL_STUDIES__(文化研究)、__ETHNOGRAPHY__(民族志)、__HUMAN_RIGHTS__(人权)
5️⃣ 金融与产业(5 个)
__COMPLIANCE__(合规)、__MILITARY__(军事)、__BANKING__(银行)、__OIL_INDUSTRY__(石油工业)、__LIGHT_INDUSTRY__(轻工业)
💡 该 Tokenizer 特别面向银行与金融科技机构设计,
__BANKING__、__COMPLIANCE__、__STOCK_EXCHANGE__等 Token 正是为金融合规场景预留的。
6️⃣ 生活方式(6 个)
__NATURE__(自然)、__OCEAN__(海洋)、__SPORT__(体育)、__CULINARY__(烹饪)、__TRAVEL__(旅行)、__HOBBY__(爱好)
快速上手:安装与加载 Tokenizer
克隆仓库并加载分词器,只需两步:
git clone https://gitcode.com/hf_mirrors/CMSManhattan/JiRackPrecisionTokenizer
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("./JiRackPrecisionTokenizer")
print("Vocab size:", len(tok)) # 151779
print("pad_token_id:", tok.pad_token_id) # 151643
print("eos_token_id:", tok.eos_token_id) # 151643
关键参数一览(见 config.json 与 tokenizer_config.json):
- 算法:Byte-Level BPE,Tokenizer 类为
Qwen2Tokenizer - 词表大小:151779(
pad/eos均为 151643) - 模型架构:Qwen2ForCausalLM,
vocab_size: 152064,支持 128K 上下文(max_position_embeddings: 131072) - 对话模板:内置 Qwen2.5 风格的 ChatML 模板与工具调用格式,见 chat_template.jinja
接入模型的正确姿势
加载 Qwen2.5 兼容模型后,必须 调用 resize_token_embeddings 将嵌入层扩展到 Tokenizer 的实际词表大小:
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("your_model")
model.resize_token_embeddings(len(tok)) # 关键一步!
print(model.get_input_embeddings().weight.shape[0])
验证嵌入层是否需要扩容:check_tokenizer_reserve.py
仓库自带检查脚本 check_tokenizer_reserve.py,用于确认新增 Token 是否落在模型检查点预留的嵌入槽位内:
python3 check_tokenizer_reserve.py
脚本会自动定位 Tokenizer 目录与 .pt 检查点,比对 token_emb.weight 与 lm_head.weight 的行数,给出两种结论:
- RESIZE 不需要:新增 Token 全部落在预留空间内,保持原
VOCAB_SIZE即可; - RESIZE 必须执行:嵌入层行数不足,需同时扩展
token_emb.weight和lm_head.weight。
它还附带校验 4 个工具调用 Token(<|tool_call_start|> 等)是否存在,防止使用了过期的 Tokenizer 版本。
训练路由模型的最佳实践
- 数据量:官方建议约 10 万条 样本才能让 RAG 路由能力充分收敛;
- 标注方式:在训练数据中标注对应的路由 Token(如编程问题打
__PYTHON__、机器人控制打__ROBOTICS__),让模型学会"问题 → 路由 Token"的映射; - 上下文策略:初期用 4K 上下文训练保证位置编码稳定,再用专用数据集扩展到 8K(参考 README.md 中给金融机构的两阶段建议);
- 数据兼容:完整兼容 The Stack、StarCoder 等 Microsoft BigCode 数据集,代码类语料可直接混入训练;
- 许可证:项目基于 MIT 协议(见 NOTICE.md),词表继承自 Qwen2.5(Apache 2.0)与 DeepSeek R1(MIT)。
常见问题(FAQ)
Q1:路由 Token 会占用很多 Token 开销吗?
不会。每个领域是 单 Token(如 __MEDICINE__ 只占 1 个 Token),比在 Prompt 里写自然语言领域描述高效得多。
Q2:只有 51 个领域,不够用怎么办?
可以在 tokenizer_config.json 的 added_tokens 机制上扩展新 Token,扩展后记得运行 check_tokenizer_reserve.py 确认是否需要 resize。
Q3:兼容哪些模型?
Qwen2.5 与 DeepSeek R1 系列。config.json 声明架构为 Qwen2ForCausalLM,可直接配合 transformers 加载。
Q4:除了路由 Token,还有什么特色能力?
该 Tokenizer 还内置机器人控制标签(<|action_start|>、<|grasp|> 等)、工具调用标签(<|tool_call_start|>)、FIM 代码补全标记(<fim_prefix> 等)以及多模态与情绪标签,一套 Tokenizer 覆盖 RAG 路由、工具调用、机器人训练三大场景 🤖。
总结
JiRackPrecisionTokenizer 用 51 个领域路由 Token,把"领域识别"下沉到分词器层面,是构建 RAG MoE 路由系统 的高性价比起点:单 Token 路由降低延迟、词表与 Qwen2.5 / DeepSeek R1 完全兼容、自带嵌入检查脚本降低踩坑成本。如果你正在搭建多知识库、多领域的大模型应用,值得把它作为基础设施选型的第一候选 ✅。