SiTU-GLU激活函数揭秘:Raon-1 mini的MLP为何选择它而非SwiGLU?
SiTU-GLU激活函数揭秘:Raon-1 mini的MLP为何选择它而非SwiGLU?
Raon-1 mini 是 KRAFTON AI 发布的 30B-A4B 混合专家(MoE)大语言模型,它的 MLP 中并没有使用更主流的大语言模型激活函数 SwiGLU,而是统一采用了一种叫 SiTU-GLU 的新激活函数。本文从公式讲到配置参数,用大白话拆解 SiTU-GLU 激活函数到底是什么、以及为什么为 MoE 和低精度推理而选它。
📐 什么是 SiTU-GLU:一个带上限的 GLU 激活函数
主流大模型的 MLP 几乎都是 GLU(Gated Linear Unit)结构:输入分别经过 gate_proj 和 up_proj 两个线性层,两路结果逐元素相乘,再经 down_proj 压回原维度。SwiGLU 是其中最出名的代表。
Raon-1 mini 为这套结构换上了新的非线性组合——SiTU-GLU(Sigmoid-Tanh Unit Gated Linear Unit):
SiTU-GLU(x) = [ β_g·tanh(x_g/β_g)·σ(x_g) ] ⊙ [ β_v·tanh(x_v/β_v) ]
其中 x_g、x_v 分别是 gate_proj、up_proj 的输出,σ 是 sigmoid 函数,模型取 β_g = 4.0、β_v = 25.0。翻译成大白话:
- 门控支路(β_g=4.0):sigmoid 再乘一个 tanh。tanh 项让输出趋近 4 时饱和——门控在 0 附近平滑、正方向"有天花板",相当于一个更稳的开关。
- 数值支路(β_v=25.0):
25·tanh(x/25)。|x| 小时几乎完全线性,|x| 大了就饱和在 25,把极端值"截掉"。
完整实现只有十几行,且为数值稳定统一用 fp32 计算、再转回模型精度,见 situ_glu 函数。
⚔️ SiTU-GLU vs SwiGLU:关键差异是 tanh 这个"天花板"
| 维度 | SwiGLU | SiTU-GLU(Raon-1 mini) |
|---|---|---|
| 门控支路 | x·σ(x),无界增长 | β_g·tanh(x/β_g)·σ(x),趋近 ±β_g 饱和 |
| 数值支路 | x_v,无界 | β_v·tanh(x_v/β_v),±β_v 封顶 |
| 极端值(outlier) | 可能出现 | 被 tanh 饱和压制 |
| 参数成本 | 3 个矩阵 | 同样 3 个矩阵 + 2 个超参 |
两者参数规模完全相同(同样是 gate/up/down 三个矩阵),SiTU-GLU 的收益纯粹来自"形状更好"的非线性:加上 tanh 饱和项后,大输入被削峰,激活分布明显更稳定。这一类激活函数最早随 Llama 4 的技术报告进入大众视野,如今也被 KRAFTON 用于 Raon-1 mini,可见它已是新一代开源模型的主流选择之一。
⚡ 为什么 Raon-1 mini 选它:MoE + MXFP8 低精度推理
选择动机可以从两个事实理解:
1. 它是 128 专家的 MoE。 每个 token 只由 6 个路由专家 + 1 个共享专家处理(中间维度 1,088)。专家权重以 MXFP8 低精度存储,推理时激活做动态分块量化。如果激活偶尔"爆表",分块量化尺度就会失稳、精度受损;SiTU-GLU 数值支路"封顶 ±25"正是针对这种 outlier 的设计。
2. 训练更稳。 门控支路有界输出避免了梯度幅度的剧烈波动,对从 0 训练 28.8B 参数(激活 4.3B)的模型很友好。
实现上作者还多做了一层保险:SiTU 非线性函数统一在 fp32 下计算,文件头注释明确说明"SiTU 非线性用 fp32,GEMM 激活用模型精度",见 modeling_raon1_mini.py 注释;结构分别落在 Raon1MiniMLP(第 0 层稠密层与共享专家)和 Raon1MiniExpert(128 个路由专家)中。
📊 SiTU-GLU 参数速查:在配置里怎么查
两个超参数在模型配置里一眼可见:
"hidden_act": "situ",
"activation_situ_beta": 4.0,
"activation_situ_linear_beta": 25.0
| 参数 | 值 | 含义 |
|---|---|---|
hidden_act |
situ |
声明激活函数类型为 SiTU |
activation_situ_beta |
4.0 | 门控支路 β_g,控制饱和上限 |
activation_situ_linear_beta |
25.0 | 数值支路 β_v(配置名里的 linear 指它近乎线性) |
默认值定义在 configuration_raon1_mini.py,当前模型在 config.json 中使用相同取值;模型卡中同样列有"Activation Function | SiTU-GLU",见 README.md。
🎯 小结:读懂模型卡只需 3 句话
- SiTU-GLU = GLU + tanh 饱和:门控支路
β_g·tanh(x/β_g)·σ(x_g),数值支路β_v·tanh(x_v/β_v),两路都有上限。 - 与 SwiGLU 同参数预算,但激活分布更稳定,对 MoE + MXFP8 低精度推理尤其友好。
- 以后看到配置文件里
hidden_act: "situ",就知道是它了;两个 β 值(4.0 / 25.0)就是控制"天花板高度"的旋钮。
下次再读到模型卡上的 "SiTU-GLU",你就不再是外行了。