正则化

正则化是什么

正则化（Regularization）是机器学习中防止过拟合的技术总称：核心思路是"给模型复杂度设限"——在训练目标里加入对复杂模型的惩罚，让模型倾向于更简单、更通用的解，而不是费尽力气把训练数据（包括噪声）全部背下来。它解决的是"训练好、泛化差"的问题，是让 AI 模型真正"学会规律"而不是"记住答案"的关键手段。

常见方法

按实现方式分为几类：

• 参数惩罚：在损失函数里加权重范数项——L2 正则（权重平方和，让权重变小且平滑）与 L1 正则（权重绝对值和，能产生稀疏解、自动做特征选择）。
• 结构正则：Dropout（训练时随机丢弃部分神经元，防止神经元过度依赖）、权重衰减（每步更新让权重略微变小）。
• 数据相关：数据增强（扩充多样数据）、早停（验证集变差即停止）。
  实践中通常组合多种方法共同控制过拟合。

原理直觉

没有正则化时，模型可以无限复杂地去贴合训练点（包括异常点）；正则化像"在目标函数里加了弹簧"——模型越复杂（权重越大/结构越繁）惩罚越重，于是在"拟合训练数据"与"保持简单"之间自动取得平衡，得到对未见数据泛化更好的模型。

与大模型的关系

大语言模型同样需要正则化：预训练时用 Dropout、权重衰减等方法控制容量；微调时的对齐训练（RLHF）与数据策略本质上也是防"背训练数据"的手段。正则化与过拟合一起，构成了理解"模型为什么可靠/不可靠"的基础概念。