Tinker LoRA微调参数指南:rank、train_attn与AdamW/Dimuon优化器怎么选

原创2026-10-27 15:12:111,637 阅读

Tinker LoRA微调参数指南:rank、train_attn与AdamW/Dimuon优化器怎么选

Tinker 是面向大模型训练的 API 与 CLI 工具集,其中 LoRA 微调是最常用的入门方式。本文将手把手讲解 Tinker LoRA 微调核心参数:如何选 rank 秩数、如何决定 train_attn / train_mlp / train_unembed 的开关,以及 AdamW 与 Dimuon 两种优化器的适用场景,帮助你用最少试错成本跑出合适的微调配置。

Tinker LoRA微调参数指南:rank、train_attn与优化器选型示意图

1️⃣ 先搞懂:Tinker 里 LoRA 微调从哪里开始

在 Tinker 中,创建 LoRA 训练客户端的入口是 ServiceClient.create_lora_training_client(),所有 LoRA 相关参数最终都会封装成一个 LoraConfig 对象随建模请求提交:

training_client = service_client.create_lora_training_client(
    base_model="Qwen/Qwen3-8B",
    rank=32,            # LoRA 秩
    train_mlp=True,     # 是否训练 MLP 层(含 MoE 层)
    train_attn=True,    # 是否训练注意力层
    train_unembed=True, # 是否训练 unembedding 层
)

这 4 个开关就是本文的主角。它们的定义见 lora_config.py,默认值全部为 True(rank 默认 32)。

💡 参数定义文件:src/tinker/types/lora_config.py、src/tinker/types/create_model_request.py

2️⃣ 如何选 rank:能力与成本的平衡

rank 控制 LoRA 低秩矩阵的维度,直观理解为"微调模型的容量":

rank 取值 参数量/显存 表达能力 适用场景
8 ~ 16 小 一般 小数据量指令微调、风格/格式适配
32(默认) 中 好 大多数场景的稳妥起点
64 ~ 128 大 强 复杂任务、跨领域知识注入

实操建议:

  • 先用默认 rank=32 跑一轮;若验证集 loss 明显卡在某个值下不去,再往上加到 64;
  • 数据量很小(几百条)时,rank 太大会过拟合,8~16 反而更稳;
  • 想复现实验就配合 seed 参数固定 LoRA 权重初始化,见 LoraConfig.seed。

训练运行信息中的 lora_rank 字段可用于事后核对当前模型实际使用的秩,定义见 training_run.py。

3️⃣ train_attn / train_mlp / train_unembed:三个开关怎么开

这三个布尔值决定 LoRA 适配矩阵"注入"到模型的哪些部分:

参数 默认 控制范围 说明
train_attn True 注意力层 改"模型怎么读上下文"
train_mlp True MLP 层(含 MoE 层) 改"模型怎么变换知识"
train_unembed True unembedding(输出投影)层 改"模型怎么吐 token"

几个常见选择策略:

  • 默认全开:任务类型改变(如让模型学会新的输出格式、新的角色设定),建议保持三者全 True,容量最大。
  • 只改行为、不改知识(例如对齐语气、约束回答结构):可先试 train_attn=True + train_mlp=False,参数更少、收敛更快。
  • 只调整词表/输出分布:重点开 train_unembed。
  • ⚠️ 硬性约束:三者至少有一个为 True,否则会直接断言失败(service_client.py#L258-L260)。

4️⃣ 优化器怎么选:AdamW 还是 Dimuon

Tinker 的优化器在创建模型时就固定(optimizer_config),之后每步通过 optim_step() 传对应超参。默认是 AdamW:

training_client = service_client.create_lora_training_client(
    base_model="Qwen/Qwen3-8B",
    optimizer=types.DimuonOptimizerConfig(),  # 改用 Dimuon
)

AdamW(默认,稳妥之选)

AdamParams 默认值(optimizer.py):

参数 默认值 说明
learning_rate 1e-4 LoRA 微调常用起点
beta1 / beta2 0.9 / 0.95 一阶/二阶矩系数
weight_decay 0.0 注意:与 PyTorch AdamW 不同,Tinker 默认不做权重衰减
grad_clip_norm 0.0 0 表示不裁剪梯度
optim_future = training_client.optim_step(types.AdamParams(
    learning_rate=1e-4,
    weight_decay=0.01,
))

Dimuon(进阶选项)

DimuonOptimizerConfig(optimizer.py#L19-L23)用于需要更强优化动线的场景,其每步超参 DimuonParams 参数更少:

参数 默认值 说明
learning_rate 必填 步长,必须 ≥ 0
beta1 0.9 动量的 EMA 系数,取值 (0, 1)
grad_clip_norm 0.0 非正值表示关闭梯度裁剪
optim_future = training_client.optim_step(types.DimuonParams(
    learning_rate=1e-4,
    grad_clip_norm=1.0,
))

怎么选?

  • 🎯 新手 / 数据质量一般 / 想快速出活:AdamW,1e-4 起步最稳;
  • 🚀 训练不收敛、loss 震荡、追求更优收敛:再考虑 Dimuon,并显式设置 grad_clip_norm 防梯度爆炸;
  • 记住规则:optim_step 传入的参数类型必须与建模时选定的优化器匹配(AdamParams 对 AdamW,DimuonParams 对 Dimuon),见 trainingclient.md。

5️⃣ 快速决策清单 📋

你的情况 推荐配置
第一次用 Tinker 微调 rank=32,三个 train 全开,AdamW + lr=1e-4
小数据集(<1k 条) rank=8~16,AdamW,开 weight_decay=0.01
只调整输出风格/格式 train_attn=True,train_mlp=False
复杂任务、容量不够 提升到 rank=64+,再评估是否换 Dimuon
复现实验 固定 seed,并记录 user_metadata

常见坑:

  1. 三个 train_* 全设为 False —— 会被断言直接拒绝;
  2. 建模选了 Dimuon,optim_step 却传 AdamParams —— 类型不匹配会报错;
  3. 期望 Tinker 默认做权重衰减 —— 默认 weight_decay=0.0,需要时手动开启。

更多参数细节可参考官方 API 文档:ServiceClient 接口说明、TrainingClient 接口说明、类型定义,以及参数源码 optimizer.py 与 lora_config.py。

登录后查看全文
tinker