FunAudioLLM/CosyVoice项目中的DPO微调技术实践

在FunAudioLLM/CosyVoice项目中，研究人员正在探索直接偏好优化(DPO)微调技术的应用。DPO是一种新兴的强化学习技术，它通过直接优化模型输出与人类偏好的对齐程度，避免了传统强化学习从人类反馈中学习(RLHF)的复杂流程。

技术背景

DPO微调的核心思想是使用一个参考模型(reference model)和一个策略模型(policy model)，通过比较它们对同一输入的输出差异来优化模型性能。在FunAudioLLM/CosyVoice项目中，研究人员首先在基础指令模型(instruct model)上进行指令微调，得到一个初始的策略模型。

实现挑战

项目实践中遇到的主要技术挑战是token和logits维度不匹配问题。当尝试使用LLM生成logits来计算DPO损失时，由于输出维度不一致，导致无法直接计算损失函数。这个问题在语音生成模型中尤为突出，因为音频数据的表示形式与文本不同。

解决方案探索

项目参与者提出了几种解决方案：

1. 修改推理代码：重写模型的推理(inference)部分，使其能够输出每个token对应的完整词汇表概率分布。这种方法需要将LLM推理过程改为随机采样模式，以获取多样化的输出结果。

2. 分离数据处理与模型训练：先使用修改后的推理代码生成包含不同输出的偏好数据(正样本和负样本)，然后在这些数据上计算参考模型的logits，最后再训练策略模型。

3. 联合优化：直接修改模型的前向传播(forward)过程，使其能够同时处理输入数据和参考模型的输出概率。

技术验证

虽然项目仍在进行中，但初步验证表明这些方法在技术上是可行的。特别是在CosyVoice1模型上的实验显示，通过适当调整模型架构和训练流程，可以实现DPO微调的目标。

实践建议

对于希望在类似项目中应用DPO微调的研究人员，建议：

1. 确保参考模型和策略模型的输出维度一致
2. 仔细设计数据收集流程，确保偏好数据的质量
3. 考虑语音模型特有的时序特性，可能需要特殊的处理方式
4. 分阶段实施，先验证基本流程再扩展到完整系统

这项技术在语音生成领域具有广阔的应用前景，能够显著提升模型输出与人类偏好的对齐程度。