Tinker LoRA微调参数指南:rank、train_attn与AdamW/Dimuon优化器怎么选
Tinker LoRA微调参数指南:rank、train_attn与AdamW/Dimuon优化器怎么选
Tinker 是面向大模型训练的 API 与 CLI 工具集,其中 LoRA 微调是最常用的入门方式。本文将手把手讲解 Tinker LoRA 微调核心参数:如何选 rank 秩数、如何决定 train_attn / train_mlp / train_unembed 的开关,以及 AdamW 与 Dimuon 两种优化器的适用场景,帮助你用最少试错成本跑出合适的微调配置。
1️⃣ 先搞懂:Tinker 里 LoRA 微调从哪里开始
在 Tinker 中,创建 LoRA 训练客户端的入口是 ServiceClient.create_lora_training_client(),所有 LoRA 相关参数最终都会封装成一个 LoraConfig 对象随建模请求提交:
training_client = service_client.create_lora_training_client(
base_model="Qwen/Qwen3-8B",
rank=32, # LoRA 秩
train_mlp=True, # 是否训练 MLP 层(含 MoE 层)
train_attn=True, # 是否训练注意力层
train_unembed=True, # 是否训练 unembedding 层
)
这 4 个开关就是本文的主角。它们的定义见 lora_config.py,默认值全部为 True(rank 默认 32)。
💡 参数定义文件:src/tinker/types/lora_config.py、src/tinker/types/create_model_request.py
2️⃣ 如何选 rank:能力与成本的平衡
rank 控制 LoRA 低秩矩阵的维度,直观理解为"微调模型的容量":
| rank 取值 | 参数量/显存 | 表达能力 | 适用场景 |
|---|---|---|---|
| 8 ~ 16 | 小 | 一般 | 小数据量指令微调、风格/格式适配 |
| 32(默认) | 中 | 好 | 大多数场景的稳妥起点 |
| 64 ~ 128 | 大 | 强 | 复杂任务、跨领域知识注入 |
实操建议:
- 先用默认
rank=32跑一轮;若验证集 loss 明显卡在某个值下不去,再往上加到 64; - 数据量很小(几百条)时,rank 太大会过拟合,8~16 反而更稳;
- 想复现实验就配合
seed参数固定 LoRA 权重初始化,见 LoraConfig.seed。
训练运行信息中的 lora_rank 字段可用于事后核对当前模型实际使用的秩,定义见 training_run.py。
3️⃣ train_attn / train_mlp / train_unembed:三个开关怎么开
这三个布尔值决定 LoRA 适配矩阵"注入"到模型的哪些部分:
| 参数 | 默认 | 控制范围 | 说明 |
|---|---|---|---|
train_attn |
True | 注意力层 | 改"模型怎么读上下文" |
train_mlp |
True | MLP 层(含 MoE 层) | 改"模型怎么变换知识" |
train_unembed |
True | unembedding(输出投影)层 | 改"模型怎么吐 token" |
几个常见选择策略:
- 默认全开:任务类型改变(如让模型学会新的输出格式、新的角色设定),建议保持三者全
True,容量最大。 - 只改行为、不改知识(例如对齐语气、约束回答结构):可先试
train_attn=True+train_mlp=False,参数更少、收敛更快。 - 只调整词表/输出分布:重点开
train_unembed。 - ⚠️ 硬性约束:三者至少有一个为 True,否则会直接断言失败(service_client.py#L258-L260)。
4️⃣ 优化器怎么选:AdamW 还是 Dimuon
Tinker 的优化器在创建模型时就固定(optimizer_config),之后每步通过 optim_step() 传对应超参。默认是 AdamW:
training_client = service_client.create_lora_training_client(
base_model="Qwen/Qwen3-8B",
optimizer=types.DimuonOptimizerConfig(), # 改用 Dimuon
)
AdamW(默认,稳妥之选)
AdamParams 默认值(optimizer.py):
| 参数 | 默认值 | 说明 |
|---|---|---|
learning_rate |
1e-4 | LoRA 微调常用起点 |
beta1 / beta2 |
0.9 / 0.95 | 一阶/二阶矩系数 |
weight_decay |
0.0 | 注意:与 PyTorch AdamW 不同,Tinker 默认不做权重衰减 |
grad_clip_norm |
0.0 | 0 表示不裁剪梯度 |
optim_future = training_client.optim_step(types.AdamParams(
learning_rate=1e-4,
weight_decay=0.01,
))
Dimuon(进阶选项)
DimuonOptimizerConfig(optimizer.py#L19-L23)用于需要更强优化动线的场景,其每步超参 DimuonParams 参数更少:
| 参数 | 默认值 | 说明 |
|---|---|---|
learning_rate |
必填 | 步长,必须 ≥ 0 |
beta1 |
0.9 | 动量的 EMA 系数,取值 (0, 1) |
grad_clip_norm |
0.0 | 非正值表示关闭梯度裁剪 |
optim_future = training_client.optim_step(types.DimuonParams(
learning_rate=1e-4,
grad_clip_norm=1.0,
))
怎么选?
- 🎯 新手 / 数据质量一般 / 想快速出活:AdamW,1e-4 起步最稳;
- 🚀 训练不收敛、loss 震荡、追求更优收敛:再考虑 Dimuon,并显式设置
grad_clip_norm防梯度爆炸; - 记住规则:
optim_step传入的参数类型必须与建模时选定的优化器匹配(AdamParams 对 AdamW,DimuonParams 对 Dimuon),见 trainingclient.md。
5️⃣ 快速决策清单 📋
| 你的情况 | 推荐配置 |
|---|---|
| 第一次用 Tinker 微调 | rank=32,三个 train 全开,AdamW + lr=1e-4 |
| 小数据集(<1k 条) | rank=8~16,AdamW,开 weight_decay=0.01 |
| 只调整输出风格/格式 | train_attn=True,train_mlp=False |
| 复杂任务、容量不够 | 提升到 rank=64+,再评估是否换 Dimuon |
| 复现实验 | 固定 seed,并记录 user_metadata |
常见坑:
- 三个
train_*全设为False—— 会被断言直接拒绝; - 建模选了 Dimuon,
optim_step却传AdamParams—— 类型不匹配会报错; - 期望 Tinker 默认做权重衰减 —— 默认
weight_decay=0.0,需要时手动开启。
更多参数细节可参考官方 API 文档:ServiceClient 接口说明、TrainingClient 接口说明、类型定义,以及参数源码 optimizer.py 与 lora_config.py。
