[转载]深度学习优化技巧---label smoothing 标签平滑理解实例。

关注

转载最新推荐文章于 2026-07-22 16:31:33 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

一个小例子搞懂transformer中的label smoothing(标签平滑) 我们知道transformer中的正则化除了使用常见的dropout，还使用了label smoothing，也就是标签平滑。关于标签平滑的机制，我在网上也看了一些帖子，总觉得说的不是很透彻，所以自己琢磨了一下，打算以二分类的逻辑回归为例，说明一下具体的标签平滑是如何做的。标签平滑既然作为正则化的一种方式，目的肯定是为了防止模型过拟合。我个人的理解是，加入了标签平滑后可以使得模型不至于过度学习，因为就算一个样本分到某类的概率为十分接近1，目标函数仍然会增加一定的损失，这就减轻了模型过度学习的动力。下面我阅读详情

深度学习优化技巧---label smoothing 标签平滑理解实例。

https://blog.csdn.net/neveer/article/details/91646657

问题背景

对于分类问题，尤其是多类别分类问题中，常常把类别向量做成one-hot vector(独热向量)。

简单地说，就是对于多分类向量，计算机中往往用[0, 1, 3]等此类离散的、随机的而非有序(连续)的向量表示，而one-hot vector 对应的向量便可表示为[0, 1, 0]，即对于长度为n 的数组，只有一个元素是1，其余都为0。因此表征我们已知样本属于某一类别的概率是为1的确定事件，属于其他类别的概率则均为0。

one-hot 带来的问题：

对于损失函数，我们需要用预测概率去拟合真实概率，而拟合one-hot的真实概率函数会带来两个问题：

1)无法保证模型的泛化能力，容易造成过拟合；

2) 全概率和0概率鼓励所属类别和其他类别之间的差距尽可能加大，而由梯度有界可知，这种情况很难adapt。会造成模型过于相信预测的类别。

解决方法

使用下面的 label smoothing 可以缓解这个问题：

原理：对于以Dirac函数分布的真实标签，我们将它变成分为两部分获得（替换）

1) 第一部分：将原本Dirac分布的标签变量替换为(1 - ϵ)的Dirac函数；

2) 第二部分：以概率 ϵ ，在u(k)u(k) 中份分布的随机变量。

代码对应：

    def label_smoothing(inputs, epsilon=0.1):
        K = inputs.get_shape().as_list()[-1]    # number of channels
        return ((1-epsilon) * inputs) + (epsilon / K)

代码的第一行是取Y的channel数也就是类别数

第二行就是对应公式了。