回归分析办法之岭回归（Ridge Regression）

岭回归（Ridge Regression）是回归办法 的一种，属于统计办法。在机器学习中也称作权重衰减。也有人称之为Tikhonov正则化。

岭回归主要解决的问题是两种：一是当预测变量的数量超过观测变量的数量的时候（预测变量至关于特征，观测变量至关于标签），二是数据集之间拥有多重共线性，即预测变量之间拥有相关性。文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

一般的，回归分析的（矩阵）情势如下：文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

​​其中，x是预测变量，y是观测变量，β​j​​以及β​0​​是待求的参数。而β​0​​可以理解成偏差（Bias）。文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

一般情况下，使用最小二乘法求解上述回归问题的目标是最小化如下的式子：文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

这里的1,⋯,N是训练集中的样本。文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

那么，岭回归就是要在上述最小化目标中加之一个惩罚项文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

这里的λ也是待求参数。也就是说，岭回归是带二范数惩罚的最小二乘回归。岭回归的这类估量目标叫做收缩估量器（shrinkage estimator）。文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

传统的回归分析咱们需要使用t检修来肯定预测变量是不是显著，如果不显著则剔除了该预测变量，然后继续回归，如斯往复得到终究结果。而岭回归不需要这样，只要它的系数β能向0“收缩”便可减小该变量对终究的影响。文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html

以上就是微观生活（93wg.com）关于“回归分析办法之岭回归（Ridge Regression）”的详细内容，希望对大家有所帮助！文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html 文章源自微观生活（93wg.com）微观生活-https://93wg.com/23314.html