MLX-Examples项目中LoRA训练时的BOS标记重复问题分析

问题背景

在MLX-Examples项目的LoRA训练过程中，发现某些模型会出现BOS(Beginning of Sentence)标记重复的问题。这个问题主要出现在使用ChatDataset或CompletionsDataset时，当tokenizer.encode()函数被调用处理聊天模板生成的内容时，会导致特殊标记的重复添加。

技术细节分析

问题的核心在于tokenizer处理流程中的特殊标记添加机制。当使用聊天模板(chat template)生成对话内容后，再次调用encode()函数时，默认情况下会添加特殊标记(如BOS)，而聊天模板本身可能已经包含了这些标记，这就导致了重复。

具体表现为：

1. 对于Mistral-Nemo-Instruct-2407和gemma-2-2b-it等模型，调用encode()会重复添加BOS标记
2. 对于Qwen/Qwen2.5-7B-Instruct和microsoft/Phi-3-mini-128k-instruct等模型则不会出现这个问题

根本原因

经过深入分析，这个问题实际上源于tokenizer的配置问题。正确的做法应该是：

1. 对于指令微调模型(有聊天模板的模型)，聊天模板本身已经添加了必要的特殊标记，后续的encode操作不应再添加特殊标记
2. 对于非指令微调模型(没有聊天模板)，encode操作需要添加特殊标记

解决方案

针对这个问题，社区提供了两种解决方案：

1. 临时解决方案：在使用encode函数时显式指定add_special_tokens=False参数，避免重复添加特殊标记

2. 根本解决方案：修正tokenizer的配置，确保指令微调模型的tokenizer配置中add_bos_token=False。社区已经为Mistral-Nemo-Instruct-2407和gemma-2-2b-it等模型提供了修正后的版本

最佳实践建议

在实际使用中，建议开发者：

1. 优先使用社区提供的修正版模型权重
2. 如果必须使用原始模型，在处理聊天模板生成的内容时，确保后续的tokenize操作不重复添加特殊标记
3. 对于自定义模型或新模型，仔细检查tokenizer配置，确保add_bos_token等参数设置正确

这个问题提醒我们在处理NLP模型时，需要特别注意tokenizer的特殊标记处理逻辑，特别是在组合使用不同功能模块时，要避免标记处理的冲突或重复。