Mergekit项目中处理Yi-34B模型合并时的Tokenizer问题分析

在大型语言模型的应用实践中，模型合并是一项常见的技术操作。本文针对使用Mergekit工具合并Yi-34B系列模型时遇到的Tokenizer问题进行分析，并提供解决方案。

问题现象

当用户尝试使用Mergekit合并两个基于Yi-34B的模型时，虽然合并过程没有报错，但生成的合并模型存在Tokenizer异常。具体表现为：

1. 无法将合并后的模型转换为GGUF格式
2. 转换过程中出现Token ID超出范围的错误（存在64000和64001的Token ID，而最大允许值为63999）

问题根源

经过技术分析，这个问题源于模型合并过程中对Tokenizer的特殊处理不足。Yi系列模型使用特殊的Tokenizer配置，在合并时如果没有正确处理参数，会导致：

• Tokenizer配置不完整
• Token ID映射关系混乱
• 特殊Token处理异常

解决方案

通过实践验证，以下方法可以有效解决该问题：

1. 启用embed_slerp参数：在合并配置中添加embed_slerp=true参数，确保嵌入层的平滑过渡
2. 检查合并配置：确保合并配置中包含正确的Tokenizer来源设置（tokenizer_source: base）
3. 验证Token范围：合并后检查Tokenizer的vocab_size设置是否合理

技术建议

对于Yi系列模型的合并操作，建议开发者：

1. 始终明确指定Tokenizer来源
2. 对于大型模型合并，优先考虑使用ties等先进合并方法
3. 合并完成后立即验证模型的基本功能，包括Tokenizer的正常工作
4. 注意检查特殊Token的处理情况，避免出现"<|unusedXXX|>"等异常Token

后续改进

Mergekit项目团队已经针对此类问题进行了代码修复，新版本中已经能够正确处理Yi系列模型的合并操作。开发者可以放心使用最新版本的Mergekit进行模型合并工作。

通过以上分析和解决方案，开发者可以更顺利地进行Yi系列大型语言模型的合并操作，充分发挥模型合并技术的优势。