机器学习稀疏之L1正则化

关注

VIP免费原创最新推荐文章于 2026-08-14 09:35:37 发布 7.9k 阅读 AI 写同款· GEO 优化 ›

机器学习中正则化项L1和L2的直观理解 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做... 阅读详情

一、L1正则化

在L0 正则化中，通常我们有很多特征时，这样在计算后验形式p(r|D) 有很大的复杂度。即使利用贪心算法，很容易陷入局部拟合情况。

其中一部分原因是因为 rj 特征是离散形式的，这样造成目标函数的不光滑， ${r_j} \in \{ 0,1\}$ 。在优化领域中，通常的做法是对于离散的约束，我们通过松弛的方法来将其变为连续的约束。我们可以在spike-and-slab 尖峰与平波模型中，通过在wj =0，的阶跃函数取值处来用一定大小的概率值进行代替，这样通过在wj =0 用一定值代替，来构造成为连续函数的形式，这样来接近原始模型，比如可以用零均值的laplace 模型代替。这里我们应用了laplace 具有的长尾，（并且这里对于异常值的鲁棒对长尾的模型是很好的，正太情况将会有很大的异常变化。）

从图中可以看出， u = 0,也存在尖峰的，这样就可以用连续的形式进行代替，从而更好的优化目标函数。

更加精确的我们利用的Laplace 模型作为先验

$p(w|\lambda ) = \prod\limits_{j = 1}^D {Lap({w_j}|0,1/\lambda )} \propto \prod\limits_{j = 1}^D {{e^{ - \lambda |{w_j}|}}}$

我们用均匀先验的形式在截距项 $p({w_0}) \propto 1$ , ，因而在MAP 估计，其带罚的负log 似然形式为：

$f(w) = - logp(D|w) - logp(w|\lambda ) = NLL(w) + \lambda ||w|{|_1}$

其中 $||w|{|_1} = \sum\nolimits_{j = 1}^D {|{w_j}|}$ 为 w 的L1模，利用合适的 $\lambda$ , 可得到稀疏的 ${\hat w}$ ，这里我们认为 LI 正则是L0 非凸函数的凸近似，因为 L0 的模值是0 ，wi， wj , ... 0 ... 每个是离散的，而L1 模是 |wj| 的加和，因而是连续的一个值的过程，因而是凸近似。

所以在线性回归中 L1 目标函数：

$\begin{align*} f(w) & = \sum\limits_{i = 1}^N { - \frac{1}{{2{\sigma ^2}}}{{({y_i} - ({w_0} + {w^T}{x_i}))}^2}} + \lambda ||w|{|_1}\\ & = RSS(w)+ {\lambda '}||w|{|_1}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} where{\kern 1pt} {\kern 1pt} {\kern 1pt} {\lambda '} = 2\lambda {\sigma ^2} \end{align*}$