m0_61926696的博客

系统与安全存储与文件1 文件与目录操作常见目录/boot Boot 启动引导文件（内核、initrd、引导加载程序配置） vmlinuz-5.4.0（内核）、initrd.img、grub.cfg/lib Library /bin 和 /sbin 中命令所需的共享库（类似 Windows 的 .dll） ld-linux.so, libc.so.6, 内核模块（/lib/modules/）

上述代码定义了一个 nn.Module 类型（模块），用于后续的图卷积操作。初始化函数中的 super(nconv,self).__init__() 调用父类构造函数，用于正确初始化继承自 nn.Module 的自定义神经网络层nconv。

本章包含两个部分，分别解决数值稳定性问题和分布偏移问题。由于书中这两个部分均为理论没有实验，这里就先只进行简单分析，将两部分内容合并编写。

下面的代码定义了一个Inception块，包含4条处理路径。c1-c4表示4条路径的输出通道数，其中第2、3条路径由于有两次卷积处理会产生两次输出，所以c2、c3用二元组表示。# c1--c4是每条路径的输出通道数# 线路1，单1x1卷积层# 线路2，1x1卷积层后接3x3卷积层# 线路3，1x1卷积层后接5x5卷积层# 线路4，3x3最大汇聚层后接1x1卷积层# 在通道维度上连结输出下面的代码详细定义了GoogLeNet中每一个模块，如图2所示，以汇聚层划分模块，共划分出5个模块。

下面的代码定义了一个NIN块，由一个卷积层和两个1*1卷积层(带激活的逐像素全连接层)组成。nn.ReLU(),下面的代码定义了NIN模型结构# 标签类别数是10# 将四维的输出转成二维的输出，其形状为(批量大小,10)下面的代码用于查看模型各层输出结果的形状，与VGG块类似，一个NIN块只展示一个最终输出。

卷积神经网络与多层感知机主要的区别就在于它能够通过卷积操作保留高维张量中特征值之间的位置信息。例如，图像中的一块局部区域如果在多层感知机中会被展平映射到一维张量中相隔较远的多个小段，且区域大小不同多个小段的间隔大小也不一样，如果这块区域包含我们想要的目标也很难被机器学习到。但在卷积神经网络中我们保留了图像的二维结构，采用合适比例将图像中的各个区域进行“浓缩”提取该区域中的特征，这种方式符合人眼识别事物的整体性局部性，也便于机器精准判断每个小区域的特征分布情况。

即Multipurpose Internet Mail Extensions(多用途互联网邮件扩展)。用于传输不同类型的文件。该题中后端会检查MIME协议中文件类型是否合法。

这是一个完整的url格式，其中@前面为可选项，填写用户信息（用户名，密码等），@后面填写的才是通常url中用到的文件路径，通常访问一个url都是用不到用户信息的，所以不用填写@以及前面的部分，这里为了做绕过，可以在http://notfound.ctfhub.com后面直接加@真正要访问的文件路径，这样服务器会忽略@前面的部分，直接访问后面的文件。

下述代码实现了VGG块的定义。可以看到，VGG块中可以调节的参数只有卷积层数、输入通道数和输出通道数，其中对于通道数量上的变换是在第一个卷积层完成的。下面定义的超参数用于控制每个VGG块的卷积层数和输出通道数。下面代码利用上述超参数实现了VGG，由于该实现中包含8个卷积层(1+1+2+2+2)和三个全连接层，所以叫做VGG-11。# 卷积层部分# 全连接层部分下面代码展示了每一层的BCHW，由于封装了多个VGG块，每个VGG块会被看成一个层，只展示一个输出结果。X = blk(X)

由于数据集还是采用之前的Fashion-MNIST数据集，在模型的输入层通道数从原来的3改为1，且最后一层输出长度从原来的1000修改为10。# 这里使用一个11*11的更大窗口来捕捉对象。# 同时，步幅为4，以减少输出的高度和宽度。# 另外，输出通道的数目远大于LeNet# 减小卷积窗口，使用填充为2来使得输入与输出的高和宽一致，且增大输出通道数# 使用三个连续的卷积层和较小的卷积窗口。# 除了最后的卷积层，输出通道的数量进一步增加。# 在前两个卷积层之后，汇聚层不用于减少输入的高度和宽度。

下面的代码展示了模型各层具体结构，为了让模型更加通用，书中没有实现最后特制的高斯连接层。

定义一个函数，返回单层的线性模型。该模型训练时采用均方误差损失。return net定义误差评价函数。由于我们更关心相对误差，所以根据以下公式得到函数# 为了在取对数时进一步稳定该值，将小于1的值设置为1定义训练函数。与前面的SGD优化器不同，这里使用了Adam优化器，主要区别在于它具有自适应功能，对初始学习率不那么敏感。注意，这里训练中用的均方误差作为损失，而评估时用的对数均方误差根作为损失，因为前者更关注损失函数的可微性、平滑性、数值稳定性等，而后者更注重评价指标的业务可解释性、与实际问题的相关性等。

nn.Sequential类用来实现简单的顺序连接模型，我们可以向其中传入若干个模块，它们会顺序连接起来构成一个顺序模型。这里只传入了一个线性层nn.Linear(2, 1)，即输入长度为2输出长度为1的全连接层。模型net只有这一层，存放在net[0]中。全连接层可以设置的参数有权重weight和偏置bias，这里分别将weight置均值0标准差0.01的正态分布，将bias置为全0。在模型计算时会将每个元素乘上每条边对应的weight，加上每个输出位置对应的bias，最后累加到对应的输出位置。

过拟合是深度学习中非常常见的问题，即模型高度拟合训练数据而失去了泛化能力，导致其在测试数据上表现不尽人意。过拟合的主要原因来自于模型复杂度过高与训练数据不足，本章将从3个方面讲解如何尽量避免过拟合。

我们同样使用 nn.Sequential类用来实现的顺序连接模型，首先放入一个展平层nn.Flatten()，将二维灰度图像降维，原来28*28的二维张量就变成长度为784的一维张量。接下来连接一个线性层，由于输入已经在上一层展平，所以线性层的输入长度为784，又由于我们规定结果分为10个类，所以线性层的输出长度为10。在模型初始化时，这里用了方法 model.apply() ，其会递归地遍历model中的每一个模块使其执行传入的方法。

在线性模型中我们依次添加了四个模块：nn.Flatten()-展平，nn.Linear(784,256)-全连接层，nn.ReLU()-激活函数，nn.Linear(256,10)-全连接层。然后我们使用了和上一章一样的方法初始化全连接层的参数。nn.ReLU(),其中ReLU激活函数会将所有为负的输入变成0，即修正线性单元ReLUH = relu(X@W1 + b1) # 这里“@”代表矩阵乘法。

本系列所有内容将基于《动手学深度学习》一书（所以在环境准备一节会参考该书来搭建。