SiTU-GLU激活函数揭秘:Raon-1 mini的MLP为何选择它而非SwiGLU?

原创2026-10-25 13:11:551,913 阅读
文章标签:人工智能大模型基础模型模型量化

SiTU-GLU激活函数揭秘:Raon-1 mini的MLP为何选择它而非SwiGLU?

Raon-1 mini 是 KRAFTON AI 发布的 30B-A4B 混合专家(MoE)大语言模型,它的 MLP 中并没有使用更主流的大语言模型激活函数 SwiGLU,而是统一采用了一种叫 SiTU-GLU 的新激活函数。本文从公式讲到配置参数,用大白话拆解 SiTU-GLU 激活函数到底是什么、以及为什么为 MoE 和低精度推理而选它。

Raon-1 mini 基准测试成绩对比图——该模型 MLP 统一使用 SiTU-GLU 激活函数

📐 什么是 SiTU-GLU:一个带上限的 GLU 激活函数

主流大模型的 MLP 几乎都是 GLU(Gated Linear Unit)结构:输入分别经过 gate_proj 和 up_proj 两个线性层,两路结果逐元素相乘,再经 down_proj 压回原维度。SwiGLU 是其中最出名的代表。

Raon-1 mini 为这套结构换上了新的非线性组合——SiTU-GLU(Sigmoid-Tanh Unit Gated Linear Unit):

SiTU-GLU(x) = [ β_g·tanh(x_g/β_g)·σ(x_g) ] ⊙ [ β_v·tanh(x_v/β_v) ]

其中 x_g、x_v 分别是 gate_proj、up_proj 的输出,σ 是 sigmoid 函数,模型取 β_g = 4.0、β_v = 25.0。翻译成大白话:

  • 门控支路(β_g=4.0):sigmoid 再乘一个 tanh。tanh 项让输出趋近 4 时饱和——门控在 0 附近平滑、正方向"有天花板",相当于一个更稳的开关。
  • 数值支路(β_v=25.0):25·tanh(x/25)。|x| 小时几乎完全线性,|x| 大了就饱和在 25,把极端值"截掉"。

完整实现只有十几行,且为数值稳定统一用 fp32 计算、再转回模型精度,见 situ_glu 函数。

⚔️ SiTU-GLU vs SwiGLU:关键差异是 tanh 这个"天花板"

维度 SwiGLU SiTU-GLU(Raon-1 mini)
门控支路 x·σ(x),无界增长 β_g·tanh(x/β_g)·σ(x),趋近 ±β_g 饱和
数值支路 x_v,无界 β_v·tanh(x_v/β_v),±β_v 封顶
极端值(outlier) 可能出现 被 tanh 饱和压制
参数成本 3 个矩阵 同样 3 个矩阵 + 2 个超参

两者参数规模完全相同(同样是 gate/up/down 三个矩阵),SiTU-GLU 的收益纯粹来自"形状更好"的非线性:加上 tanh 饱和项后,大输入被削峰,激活分布明显更稳定。这一类激活函数最早随 Llama 4 的技术报告进入大众视野,如今也被 KRAFTON 用于 Raon-1 mini,可见它已是新一代开源模型的主流选择之一。

⚡ 为什么 Raon-1 mini 选它:MoE + MXFP8 低精度推理

选择动机可以从两个事实理解:

1. 它是 128 专家的 MoE。 每个 token 只由 6 个路由专家 + 1 个共享专家处理(中间维度 1,088)。专家权重以 MXFP8 低精度存储,推理时激活做动态分块量化。如果激活偶尔"爆表",分块量化尺度就会失稳、精度受损;SiTU-GLU 数值支路"封顶 ±25"正是针对这种 outlier 的设计。

2. 训练更稳。 门控支路有界输出避免了梯度幅度的剧烈波动,对从 0 训练 28.8B 参数(激活 4.3B)的模型很友好。

实现上作者还多做了一层保险:SiTU 非线性函数统一在 fp32 下计算,文件头注释明确说明"SiTU 非线性用 fp32,GEMM 激活用模型精度",见 modeling_raon1_mini.py 注释;结构分别落在 Raon1MiniMLP(第 0 层稠密层与共享专家)和 Raon1MiniExpert(128 个路由专家)中。

📊 SiTU-GLU 参数速查:在配置里怎么查

两个超参数在模型配置里一眼可见:

"hidden_act": "situ",
"activation_situ_beta": 4.0,
"activation_situ_linear_beta": 25.0
参数 值 含义
hidden_act situ 声明激活函数类型为 SiTU
activation_situ_beta 4.0 门控支路 β_g,控制饱和上限
activation_situ_linear_beta 25.0 数值支路 β_v(配置名里的 linear 指它近乎线性)

默认值定义在 configuration_raon1_mini.py,当前模型在 config.json 中使用相同取值;模型卡中同样列有"Activation Function | SiTU-GLU",见 README.md。

🎯 小结:读懂模型卡只需 3 句话

  • SiTU-GLU = GLU + tanh 饱和:门控支路 β_g·tanh(x/β_g)·σ(x_g),数值支路 β_v·tanh(x_v/β_v),两路都有上限。
  • 与 SwiGLU 同参数预算,但激活分布更稳定,对 MoE + MXFP8 低精度推理尤其友好。
  • 以后看到配置文件里 hidden_act: "situ",就知道是它了;两个 β 值(4.0 / 25.0)就是控制"天花板高度"的旋钮。

下次再读到模型卡上的 "SiTU-GLU",你就不再是外行了。

登录后查看全文
Raon-1-mini-preview