大模型微调实战入门：从数据到部署的完整路径

模型微调是AI训练中的关键技术，通过调整预训练模型参数使其适应特定任务需求。本文将以Qwen3-Coder为例，带你从零开始掌握模型微调的全流程，包括数据准备、模型训练、优化策略和实际应用，帮助你快速上手大模型定制化开发。

数据准备全流程 📊

首先需要准备高质量的训练数据，这是模型微调成功的基础。Qwen3-Coder支持两种主要微调方式所需的数据格式：

SFT数据格式准备

SFT（监督微调，一种通过标注数据训练模型的方法）需要ChatML格式的对话数据，包含系统提示、用户问题和助手回答三部分：

{
    "messages": [
        {"role": "system", "content": "你是由阿里云开发的Qwen助手"},
        {"role": "user", "content": "编写一个Python函数计算斐波那契数列"},
        {"role": "assistant", "content": "以下是计算斐波那契数列的Python函数：\n```python\ndef fibonacci(n):\n    if n <= 1:\n        return n\n    return fibonacci(n-1) + fibonacci(n-2)\n```"}
    ],
    "format": "chatml"
}

将所有样本保存为JSONL格式（每行一个JSON对象），放置在data/sft_data.jsonl路径下。

DPO数据格式准备

DPO（直接偏好优化，一种通过比较偏好数据优化模型输出的方法）需要包含提示词、优选回答和拒绝回答的三元组数据：

{
    "prompt": "编写一个Python函数计算斐波那契数列",
    "chosen": "def fibonacci(n):\n    if n <= 1:\n        return n\n    return fibonacci(n-1) + fibonacci(n-2)",
    "rejected": "def fib(n):\n    a, b = 0, 1\n    for i in range(n):\n        a, b = b, a+b\n    return a"
}

数据预处理步骤

接着使用项目提供的预处理脚本对数据进行格式转换和质量检查：

# 预处理SFT数据
python finetuning/sft/binarize_data.py \
  --input data/sft_data.jsonl \
  --output data/processed_sft \
  --tokenizer_path /path/to/tokenizer

# 预处理DPO数据
python finetuning/dpo/preprocess_data.py \
  --input data/dpo_data.jsonl \
  --output data/processed_dpo

高效训练参数设置 🔧

然后配置训练参数，这直接影响模型性能和训练效率。Qwen3-Coder提供了预配置的训练脚本，位于finetuning/sft/scripts/sft_qwencoder.sh和finetuning/dpo/scripts/dpo_qwen2.5coder_1.5B.sh。

关键参数说明

• learning_rate：学习率，推荐SFT使用5e-5，DPO使用3e-4
• per_device_train_batch_size：单设备批次大小，根据GPU内存调整
• num_train_epochs：训练轮数，通常3-5轮即可
• max_seq_length：最大序列长度，Qwen3-Coder建议设为1280
• use_peft：是否使用LoRA（低秩适应，一种高效参数微调技术），推荐设为true

启动训练命令

# 启动SFT训练
bash finetuning/sft/scripts/sft_qwencoder.sh \
  data/processed_sft \
  /path/to/base_model \
  results/sft_model \
  5e-5  # 学习率

# 启动DPO训练（基于SFT模型）
bash finetuning/dpo/scripts/dpo_qwen2.5coder_1.5B.sh \
  data/processed_dpo \
  results/sft_model \
  results/dpo_model \
  3e-4  # 学习率

训练监控

训练过程中可以通过TensorBoard监控损失变化：

tensorboard --logdir results/sft_model/runs

模型优化与评估策略 🚀

训练完成后，需要对模型进行优化和评估，确保其性能符合预期。

LoRA适配器合并

如果使用了LoRA技术，需要将适配器权重合并到基础模型中：

python finetuning/sft/merge_adapter.py \
  --base_model_path /path/to/base_model \
  --adapter_path results/sft_model \
  --output_path results/merged_model

模型评估指标

主要评估以下指标：

• 代码生成准确率：通过qwencoder-eval/base/benchmarks/ExecRepoBench/eval.py脚本评估
• 偏好对齐度：使用qwencoder-eval/instruct/cruxeval/evaluation/evaluate_generations.py计算
• 推理速度：通过简单推理测试测量tokens/秒

性能优化建议

1. 使用Flash Attention加速训练和推理
2. 启用BF16混合精度减少内存占用
3. 调整LoRA秩参数（通常8-32之间）平衡性能和效率

模型部署与应用示例

最后将优化好的模型部署到实际应用中。以下是一个简单的代码生成API示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器
model = AutoModelForCausalLM.from_pretrained("results/merged_model")
tokenizer = AutoTokenizer.from_pretrained("results/merged_model")

# 代码生成函数
def generate_code(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(
        **inputs,
        max_new_tokens=200,
        temperature=0.7,
        top_p=0.95
    )
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# 使用示例
prompt = "编写一个Python函数，实现快速排序算法"
print(generate_code(prompt))

模型架构与评估流程可参考下图：

常见问题解决

1. 训练时显存不足

• 解决方案：减小批次大小，启用梯度检查点（--gradient_checkpointing true），使用LoRA技术

2. 模型过拟合

• 解决方案：增加训练数据多样性，使用早停策略（--early_stopping_patience 3），添加适当的dropout

3. 推理速度慢

• 解决方案：使用vllm库进行优化，启用模型量化（如INT8/INT4），减少生成 tokens 数量

4. 数据格式错误

• 解决方案：运行数据验证脚本finetuning/sft/utils/data_validation.py，检查JSON格式和字段完整性

5. LoRA合并失败

• 解决方案：确保peft和transformers库版本兼容，推荐peft==0.4.0和transformers==4.31.0

通过以上步骤，你可以完成Qwen3-Coder模型的微调并应用到实际项目中。记住，模型微调是一个迭代过程，需要根据评估结果不断调整数据和参数，才能获得最佳性能。