SwiGLUSwiGLU Activation

是什么

SwiGLU 改变了前馈神经网络的结构。传统 FFN 包含升维、激活和降维两个矩阵，而 SwiGLU 采用三个矩阵。输入分为门控分支和内容分支，门控分支经投影和 Swish 激活，内容分支仅做线性投影。两分支逐元素相乘后，再经降维矩阵输出。

与 ReLU 等传统激活函数相比，SwiGLU 不仅做逐点非线性变换，还引入了可学习的通道选择机制，让信息有选择性地通过。

在成本上，SwiGLU 多用了一个投影矩阵。为维持总参数量不变，模型通常通过缩小隐藏层维度来平衡。

解决什么问题

SwiGLU 解决了传统激活函数缺乏动态控制的问题。没有门控时，网络只能对所有通道信息做无差别映射。SwiGLU 补上了可学习的乘性门控，使网络能根据输入动态决定哪些通道被激活。

这种机制带来稳定的表达力收益，促使主流开源模型全部切换。理解它是读懂现代架构配置的前置知识。

面试怎么考

常考 GLU 门控与普通激活的本质差异。答题需指出，普通激活只做逐点非线性变换，而门控机制引入了通道选择能力。

另一考点是参数量的变化。答题要点是说明结构从两矩阵变三矩阵，并强调通常靠缩小隐藏维来保持参数量。此外，面试官会问为何优势不仅是曲线更平滑，答题需回归到乘性开关带来的信息选择机制。

又称：SwiGLU · GLU · 门控激活