深度学习优化方法：梯度下降法及其变形

墨衍会员 · AI 创作全网分发码龄9年

关注

VIP免费原创最新推荐文章于 2026-03-24 12:01:38 发布 2k 阅读 AI 写同款· GEO 优化 ›

常用的optimizer优化器和优化函数::[梯度下降SGD，牛顿法，ada系列(adagrad, rmsprop,adadelta,adam)]+炼丹策略逻辑回归本身是可以用公式求解的，但是因为需要求逆的复杂度太高，所以才引入了梯度下降算法。一阶方法：梯度下降、随机梯度下降、mini 随机梯度下降降法。随机梯度下降不但速度上比原始梯度下降要快，局部最优化问题时可以一定程度上抑制局部最优解的发生。二阶方法：牛顿法、拟牛顿法：这里详细说一下牛顿法的基本原理和牛顿法的应用方式。牛顿法其实就是通过切线与x轴的交点不断更新切线的位置，直到达到曲线与x轴的交点得到方程解。在实际应用中我们因为常常要求解凸优化问题，也就是要求解函数一阶导数为0的位置，而. 阅读详情

优化与大家的日常生活息息相关。具体是指改变输入 $x$ 以最小化或者最大化某个函数 $f(x)$ 。如空调温度固定到多少时会使耗能最小、工厂需要多少机器才能效益最大……通常都以最小化 $f(x)$ 指代大多数最优化问题，因为最大化可经由最小化算法优化 $-f(x)$ 来实现。具体的描述如下所示：

x * = arg min f (x), x 为 实 数 .

$x^{*}=\arg \min f(x),x为实数.$

如何确定较好的的最小化算法使得上述问题的求解高效准确？先假定函数的导数记为 $f^{'}(x)$ 或 $\partial f(x)/\partial x$ ，表示的是 $f(x)$ 在点 $x$ 处的斜率。直观的描述是导数表明如何缩放输入的小变化才能在输出获得相应的变化：

f (x + ϵ) \approx f (x) + ϵ f' (x) .

$f(x+\epsilon)\approx f(x)+\epsilon f^{'}(x).$

因此发现导数对于函数最小化优化很有用，它可以直接告诉我们如何更改 $x$ 来略微改善 $y=f(x)$ 。例如在最小化问题中，我们知道对于足够小的 $\epsilon$ 来说， $f(x-\epsilon \text{sign}(f^{'}(x))$ 是比 $f(x)$ 小的。因此可以通过向导数的反方向移动一小步来减小 $f(x)$ 。这种技术便被成为梯度下降（Gradient Descent）。梯度下降建议的新点为：

x 2 = x 1 - ϵ f' (x 1) = {向

最低0.47元/天解锁文章

标签

#深度学习 #优化 #算法 #梯度下降算法 #随机梯度下降算法

解析深度学习优化算法（包含一定公式推导）前言在深度学习任务中，我们通常会定义一个损失函数，其表征的是预测值与实际值的差距，然后通过一定的优化算法来减少损失函数计算出来的损失值在这个优化环节上，算法起到了至关重要的作用，我们需要通过算法来快速降低我们的训练误差，同时还要防止过拟合现象的出现在深度学习中挑战在深度学习中，优化各个参数其实就是对损失函数求最小值。而我们在一个二次函数中，很明显就能知道哪个是最小值但是深度学习中，特征... 阅读详情

0

AI_BigData_WH

博客等级

码龄9年 73粉丝 24原创

+ 关注专栏目录

评论

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。