李宏毅2022ML第六周课程笔记

李宏毅ML2022 Spring HW3解析 因为作业不能采用预训练的模型,我尝试了ResNet18,发现要训练的次数比一般自己拼凑的CNN要多得多,计算资源都不太够了,最后用cross validation只训练了3个模型,都跑了600 epochs。我加的都是Random的变换,因为每次获取训练数据的时候,都是把所有的变换操作都执行一遍的,如果不是随机变换,那原图就永远不会参与训练,只有转换以后的图片才会参与训练,那训练效果可能就不好了。TTA是在test阶段的数据增强,即在预测的时候将原图变换出来的多张图片分别进行分类,再综合分类结果的方法。 阅读详情

目录

李宏毅2022ML第六周课程笔记 GAN(生成对抗网络)

GAN的基本概念

GAN的基本思想

GAN的算法基本流程

训练目标

怎么判断两个数据集的分布接近程度?

能否使用其它散度呢?

JS散度存在的问题

Cycle GAN

怎么对于GAN模型进行评估?

1. Inception Score (IS)

2.Fréchet Inception Distance (FID)


李宏毅2022ML第六周课程笔记 GAN(生成对抗网络)

GAN的基本概念

       GAN全称为Generative Adversarial Network(生成对抗网络),其主要的目的是为了让训练机器让机器能够自主生成相对应类型的data,其中生成器generator就是GAN中进行生成相对应类似分布的网络,而鉴别器Discriminator就是判别生成器生成的data是否为真假的网络。

GAN的基本思想

       GAN的基本架构为一个generator和一个discriminator,生成器的任务是产生大量data,然后根据判别器的反馈不断更新自己,期望自己产生的数据不会被判别器判假,而判别器是不断训练自己的判断真伪的能力,两者相反相成,相成相反。

GAN的算法基本流程

       初始化生成器和判别器的参数,首先固定生成器的参数,不断产生图片喂给判别器,从而训练判别器的网络,之后固定判别器,更新生成器的网络。

训练目标

希望最终能够让我们的生成器输出的数据分布能和期望的数据分布越接近越好。

怎么判断两个数据集的分布接近程度?

       JS divergence:JS散度是对称的,其取值是0到1之间。如果两个分布P,Q离得很远,完全没有重叠的时候,那么KL散度值是没有意义的,而JS散度值是一个常数。

       KL散度:用来衡量两个分布之间的差异,等于一个交叉熵减去一个信息熵。

https://i-blog.csdnimg.cn/blog_migrate/320c443f71e2a333c7f30313c18b83f8.png

能否使用其它散度呢?

       可以选择你喜欢的使用,以下是一些参考。

JS散度存在的问题

       当两个分布足够接近时,不管此时再怎么变化,JS散度值为常数,梯度为0,无法更新。在图像所在的高维空间中,生成的图像分布和真实图像的分布可能是完全没有重叠的,比如在三维空间举一个例子,可以理解为两者的分布是三维空间中的两个面,那么他们重叠的部分几乎为零。

Cycle GAN

       基本原理:使用两个生成网络,将原图像生成两次,希望最后生成的结果和原始数据尽可能接近。

怎么对于GAN模型进行评估?

Evaluation of Generation:目前来说没有很系统的评价体系。

1. Inception Score (IS)

针对我们GAN生成的图片,我们套用一个预先训练好的Inception模型来获得概率分布p。我们希望我们的GAN生成接近真实的数据,同时也希望GAN生成多样的数据,所以我们希望概率分布p有着低entropy,评分公式为:

2.Fréchet Inception Distance (FID)

FID是在IS的基础上的改良版,计算 IS 时只考虑了生成样本,没有考虑真实数据,即 IS 无法反映真实数据和样本之间的距离,IS 判断数据真实性的依据,FID距离计算真实样本,生成样本在特征空间之间的距离。首先利用Inception网络来提取特征,然后使用高斯模型对特征空间进行建模,再去求解两个特征之间的距离,较低的FID意味着较高图片的质量和多样性,公式(越小越好):

 

从飞机翼型仿真到燃烧模拟:Fluent多物理场耦合的3种实战策略 本文深入探讨了Fluent在多物理场耦合仿真中的三种实战策略,涵盖可压缩流动与燃烧耦合、湍流模型选择及网格策略,以及顺序耦合、强耦合和混合耦合方法。通过具体案例和工程实践,帮助中高级用户提升仿真精度和效率,适用于航空航天和能源化工等领域。 阅读详情

相关推荐

Akamai移动端Sensor数据采集与BMP风控机制深度解析

本文深度解析了Akamai在移动端风控中的核心机制,重点阐述了Sensor数据如何通过采集陀螺仪、加速度计等硬件信息,结合设备指纹生成连续且符合物理规律的行为轨迹。详细剖析了数据从采集、加密校验到通过BMP风控三重验证(校验位、时间差、数据逻辑)的完整流程,并提供了从模拟优化到自建风控模型的实用应对思路。

quiet的专栏 247

【机器学习】李宏毅——Explainable ML(可解释性的机器学习)

本文介绍了Explainable ML(可解释性的机器学习)的相关内容,抱愧这项技术的相关概述、当前发展等等。

FavoriteStar的博客 1614

李宏毅2020机器学习课程笔记(一)- 分类与回归

包含李宏毅机器学习视频P1-P16的课程梗概

1万+

ML起跑线 001:李宏毅老师机器学习(2022)HW1 示例代码学习笔记

same_seed() 函数为神经网络的训练提供一致的随机种子,确保训练结果的可复现性。它的输入 seed 是一个整数,我们可以在1.7.中的config里设置它。train_valid_split() 函数可以根据我们给定的验证集比例(valid_ratio)将原始的训练集随机划分为训练集和验证集,以供训练过程使用。它需要 3 个输入参数:未分割的训练集(data_set),验证集比例(valid_ratio)和随机种子数(seed)。

Lyndon_Ge的博客 2877

李宏毅深度学习-机器学习任务攻略

训练的三个基本步骤,如上图所示。我们一般直接跑sample code,往往只能得到baseline的结果,那如何获得更好的结果呢,本节会简略的回答这个问题。攻略:如果说你觉得你对自己的训练结果不满意的话,第一步应该先检查你的training data 的loss,如果你的模型在training data上的loss比较大,那么你需要思考这是model bias还是optimization的问题。

m0_62200355的博客 590

李宏毅机器学习第六周_鱼与熊掌可以兼得的机器学习

深度神经网络(Deep Neural Networks)通常比浅层神经网络(Shallow Neural Networks)表现更好,原因包括更强的表示能力、局部逐层表示、参数效率、模块化和梯度优化算法。深度模型能学习复杂的抽象特征,通过多层次的非线性映射提高参数效率。局部逐层表示有助于捕捉输入数据的复杂模式。模块化使得网络可以逐层地解决问题,适应输入数据的复杂性。梯度优化算法(如反向传播和随机梯度下降)及现代硬件和软件框架支持了深度学习的实现。

m0_68477761的博客 283

机器学习(李宏毅)——Explainable AI

机器学习(李宏毅)——Explainable AI

Dlog的博客 1250

机器学习(李宏毅)——Meta Learning

机器学习(李宏毅)——Meta Learning

Dlog的博客 1430

Meta Learning(李宏毅老师系列)

Meta v.s. Domain adaptation:Meta中不同的task看做是不同的Domain,那么可以将Meta看做是Domain adaptation的一种方法。将该“学习算法”在所有的“学习任务”上的损失求和,得到total loss。“学习算法”也可以看做一个函数F,它的输入是训练数据,输出是model。最终我们真正关心的是,在“测试任务”上,学习算法。用在在测试任务的测试数据上,可以得到想要的结果。,利用某个任务的训练数据进行训练,得到模型。根据学习内容不同,将元学习的具体方法进行。

Moliay的博客 1324

李宏毅ML 学习笔记(1)

李宏毅2021/2022 ML课程学习

kiyomioo的博客 501

深度学习李宏毅2021/2022深度学习课程笔记 - Deep Learning Introduction

这一步骤在 Deep Learning 中通常表现为建立Model。比如,建立了一个3层的全连接网络,每一层是由线性层+ReLu激活函数构成的,这就是我们定义的函数表达式。在每一个线性层中,都有未知的参数 w 和 b损失函数的值代表了真实值与预测值之间的差距,通常来说,损失函数值越小,代表模型的预测就越接近真实值。常用的损失函数如下图所示:MAE、MSE 等案例介绍已知2017年-2020年的播放量数据,通过已知的数据,训练一个模型(拟合一个函数),预测未来的播放量思路分析建立参数未知的函数表达式。

知不足而奋进,望远山而前行 2万+

笔记李宏毅《逻辑回归》笔记分享

通过这门课,学会了逻辑回归的基础知识、逻辑回归不用均方误差的原因、生成式模型与判别式模型的区别、将二分类问题延伸到了多分类问题、逻辑回归的限制性等知识。

m0_46103905的博客 1251

深度学习李宏毅2021/2022深度学习课程笔记 - Deep Learning Task Tips

如下图所示,我们会把原始训练资料分为训练集和验证集,其中假设验证集占原始训练资料的三分之一,那么就可以进行三折交叉验证,根据将原始训练数据分为三个不同的验证集和训练集,可以训练出三个模型,我们最终会选择这三个模型中,在验证集上Loss最小的作为最终模型。还是看上一节课讲的案例,2/26是星期五,按照以往的规律,星期五一般学习Deep Learning的人数都是比较少的,所以模型也认为2/26日播放量应该比较少,然而事实是,2/26反而是播放量最多的一天。尝试不同的模型,对比不同模型下,训练过程的Loss。

知不足而奋进,望远山而前行 2万+

李宏毅2022ML第五周课程笔记

李宏毅机器学习第五周—sequence to sequence

snajdansa的博客 390

李宏毅2022《机器学习/深度学习》——学习笔记(2)

机器学习模型中一般有两类参数:一类需要从数据中学习和估计得到,称为模型参数(Parameter)—即模型本身的参数。还有一类则是机器学习算法中的调优参数(tuning parameters),需要人为设定,称为超参数(Hyperparameter)。这里引入了新的概念 batch,将总的训练集随机划分成一个个 batch,用每一个 batch 计算一个 Loss,计算梯度,更新一次。激活函数可以嵌套,把上一层激活函数的结果作为下一层激活函数的输入,这样函数的未知参数就会更多了,模型也更加复杂。

dotJunz的博客 818

李宏毅2022《机器学习/深度学习》——学习笔记(1)

hyperparameters:机器学习中自己设定的参数,比如学习速率。weight: w(权重:与 feature 相乘的)如下所示是一个简单的 Model。优化下面函数,获得较好的参数值。模型就是带有未知参数的函数。bias: b(偏置)

dotJunz的博客 1100

李宏毅《机器学习2022笔记

李宏毅《机器学习2022spring》笔记

weixin_44298961的博客 2380

2022李宏毅机器学习深度学习学习笔记--第一周

机器学习的基本概念: 机器学习(Machine learning):即让机器具备找函式的能力。 不同的函式类别: Regression:函式输出结果为数值 Classification:从设定的选项中选出一个类别当做输出 Structured learning 那么机器如何找一个函式? 步骤1.写出一个带有未知参数的函式。 步骤2.定义一个loss(一个function,L(b,w),输入为b,w; 输出未知参数的值好不好)。 例如: 步骤3.Optimization(最佳化的问题,找w,b

qq_45612705的博客 2140

机器学习笔记李宏毅2022)-机器学习基本概念

设计一个机器学习模型的步骤

qq_42472662的博客 1028

李宏毅ML笔记】19 CNN

CNN常被用于影像处理上,也可以用一般的Network来处理影像。输入为图像转换而来的pixcel,输出可能为1000个类别,每一个neuro可以看做是一个classifier,层层进一步的判断当前是否是某种线条,纹理,图像片段等等,来做识别。问题:当使用fully connected Network时,总会需要太多的参数。如100*100,彩色图像会有100*100*3个维度的图像,假设第一层h...

wffzxyl的博客 1416

AT89C51通过ULN2003驱动步进电机proteus仿真源文件(含C程序源码)

有五个按键,分别控制布进电机的正传,停止,反转,加速,减速,步进点击的运行状态在12864显示,步进电机由ULN2003驱动

上一篇: 李宏毅2022ML第四周课程笔记
下一篇: 李宏毅2022机器学习hw6
梦想的小鱼
博客等级 码龄5年 192粉丝 23原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想的小鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值