岭回归是回归方法的一种，属于统计方法。也称为机器学习中的权重衰减。也有人称之为吉洪诺夫正则化。
岭回归主要解决两个问题：一是当预测变量个数超过观测变量个数时(预测变量相当于特征，观测变量相当于标签)；二是数据集之间存在多重共线性，即预测变量之间存在相关性。
通常，回归分析的(矩阵)形式如下：
其中x是预测变量，y是观察变量，j和0是待求参数。而0可以理解为偏差。
通常，使用最小二乘法解决上述回归问题的目标是最小化以下公式：
这里，1，n是训练集中的样本。
那么，岭回归就是在上述最小化目标上加上一个惩罚。
这里也是要求的参数。也就是说，岭回归是具有两个范数惩罚的最小二乘回归。岭回归的估计目标称为收缩估计量。
在传统的回归分析中，我们需要使用T检验来确定预测变量是否显著。如果不显著，我们就剔除预测变量，然后继续回归，从而得到最终结果。岭回归不需要这个，只要它的系数能“收缩”到0，就可以减少这个变量对最终的影响。
