【RT-DETR有效改进】利用MobileNetV3替换Backbone（轻量化网络结构，提点）

原创 已于 2024-01-29 15:37:05 修改 · 2.6k 阅读 · 29 GEO检测
于 2024-01-20 03:59:41 首次发布
本文介绍了如何使用MobileNetV3改进RT-DETR，利用NAS和NetAdapt算法优化移动设备性能。通过反转残差结构和线性瓶颈层，提升了目标检测和分割任务的效率。实验显示，MobileNetV3在保持精度的同时减少了40%以上的参数量。详细介绍了修改网络结构的步骤和关键代码。

👑欢迎大家订阅本专栏，一起学习RT-DETR👑   

一、本文介绍

本文给大家带来的改进机制是MobileNetV3，其主要改进思想集中在结合硬件感知的网络架构搜索（NAS）和NetAdapt算法，以优化移动设备CPU上的性能。它采用了新颖的架构设计，包括反转残差结构和线性瓶颈层，以及新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling（LR-ASPP），以提升在移动分类、检测和分割任务上的表现。实验表明，MobileNets在资源和准确性的权衡方面表现出色，并在多种应用（如对象检测、细粒度分类、面部属性识别和大规模地理定位）中展现了其有效性，可以看出其mAP增加了大概三四个点，同时参数量却下降了百分之四十以上！

专栏链接：RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR 

目录

一、本文介绍

二、MobileNetV3的框架原理

2.1 NAS和NetAdapt算法

2.2 反转残差结构和线性瓶颈层

三、MobileNetV3的核心代码

四、手把手教你添加MobileNetV3网络结构

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七

4.8 修改八

4.9 必备修改！

4.10 RT-DETR不能打印计算量问题的解决

4.11 可选修改

五、MobileNetV3的yaml文件

5.1 yaml文件

5.2 运行文件

5.3 成功训练截图

六、全文总结

二、MobileNetV3的框架原理

​

​官方论文地址：官方论文地址点击即可跳转

官方代码地址：官方代码地址

标签
#人工智能 #YOLO #目标检测 #深度学习 #计算机视觉
#python #rt-detr
了解本专栏 订阅专栏 解锁全文
科研前线：超越YOLOv10！RT-DETRv3横空出世！
weixin_45303602的博客
09-19 2135
RT-DETR是第一款基于实时端到端转换器的物体检测器。它的效率来自于框架设计和匈牙利匹配。然而，与YOLO系列等密集监督检测器相比，匈牙利匹配提供的监督要稀疏得多，导致模型训练不足，难以实现最佳结果。为了解决这些问题，我们提出了一种基于RT-DETR的分层密集正监督方法，命名为RT-DETRv3。首先，我们引入一个基于CNN的辅助分支，它提供密集的监督，与原始解码器协作来增强编码器特征表示。其次，为了解决解码器训练不足的问题，我们提出了一种新的包含自我注意扰动的学习策略。
YOLOV5轻量化改进-MobileNetV3替换骨干网络
weixin_44597885的博客
03-03 9433
YOLOV5轻量化改进-MobileNetV3替换骨干网络
【课程笔记】深度学习网络 - 5 - MobileNet v3
LorensChaos的博客
09-12 3592
特指网络模型中计算复杂度较高、耗费大量时间的层或模块。耗时层通常是指那些计算量较大的层或模块，它们在网络的前向传播过程中会消耗较多的时间和计算资源。具体而言，常见的耗时层包括深度可分离卷积（如 MobileNet 中使用的层）、卷积层、循环神经网络（如 LSTM、GRU）、注意力机制等。对于训练任务而言，耗时层意味着更长的训练时间，而对于推理任务而言，耗时层意味着更长的推理时间。因此，在设计和优化深度学习模型时，通常需要考虑如何减少耗时层的数量和计算复杂度，以提高整体的效率和速度。
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 2万+
1️⃣本专栏已更新260多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
轻量级神经网络算法系列文章-MobileNet v3
AI-Mei的博客
08-31 3047
本文介绍轻量级MobileNetv3，通过修改NAS和NetAdapt进行网络搜索得到初始模型结构。后修改对模型进行4处改进(尾部层修改、初始层通道数修改、新的激活函数和加入SE模块)，等等。
RTDETR改进专栏(包含RTDETR、YOLOV5-DETR、YOLOV8-DETR)
qq_37706472的博客
01-28 6万+
RTDETR改进专栏(性价比高，创新度高)，目前RTDETR改进已经有350+个改进点！
【RT-DETR涨点改进】轻量化主干改进篇 | RT-DETR 更换主干Backbone之MobileNetV4，轻量化主干网络结构-2024年最新的移动端网络主干
Ai缝合怪、助力小伙伴高效发论文
09-13 623
本文提出将MobileNetV4作为RT-DETR模型的主干网络改进方案。MobileNetV4通过引入通用反向瓶颈（UIB）搜索块和MobileMQA注意力机制，在ImageNet-1K上达到87% top-1准确率，同时保持3.8ms的低延迟。文章详细介绍了5种MobileNetV4变体的实现方法（ConvLarge/Small/Medium和HybridMedium/Large），并提供了完整的代码实现和模型集成步骤。通过修改task.py文件并创建新的yaml配置文件
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 8万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
【RT-DETR涨点改进】主干改进篇、轻量化改进 | RT-DETR更换主干Backbone之MobileNetV1(轻量化主干网络结构)
Ai缝合怪、助力小伙伴高效发论文
09-13 238
本文介绍了如何利用MobileNetV1优化RT-DETR模型的主干网络。MobileNetV1采用深度可分离卷积和宽度/分辨率乘数，显著减少计算量和模型大小，适用于目标检测等任务。文章详细提供了MobileNetV1的核心代码实现，并手把手指导如何将其添加到RT-DETR模型中，包括修改网络结构、task.py文件及创建yaml配置文件。该方法通过轻量化设计提升模型效率，为移动端和嵌入式视觉应用提供了一种有效的解决方案。
YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
03-10 2万+
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。4️⃣ 团队内发表数篇SCI论
【RT-DETR涨点改进】 主干改进篇、轻量化改进 | RT-DETR更换主干Backbone之MobileNetV2(轻量化主干网络结构--高效轻量移动模型)
Ai缝合怪、助力小伙伴高效发论文
09-13 201
本文提出了一种利用MobileNetV2优化RT-DETR模型主干网络的方法。MobileNetV2通过倒置残差与线性瓶颈架构，在ImageNet分类、COCO目标检测等任务上表现出色。文章详细介绍了MobileNetV2的网络结构、核心代码实现，并提供了将MobileNetV2作为RT-DETR主干网络的详细步骤，包括模块添加、配置文件修改等。该方法通过替换主干网络，可有效提升RT-DETR模型的性能，同时保持轻量化特性，适用于移动端目标检测任务。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 1万+
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 6万+
如今各种网络模型更新迭代越来越快，计算机视觉相关的文章也越来越多，多到一些普通，通用的改进点无法达到发表的要求。本专栏正是解决这个问题！如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
YOLO26改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
02-10 5068
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏已更新260多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手
YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 1万+
如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
YOLOv13改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
08-25 8688
1️⃣ 已更新种不同的改进方案，专栏内的每篇文章皆，均可顺利运行。2️⃣ 订阅专栏即可进群获取以及从的各种答疑内容。3️⃣ 全新的YOLOv13改进专栏，，只为更好的满足论文发表的要求。专栏内容，专栏实时评分，全网最高，质量保证。🎫。。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 18万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv10优化：backbone改进 | 轻量化之王MobileNetV4 开源 | Top-1 精度 87%，手机推理速度 3.8ms，原地起飞！
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
06-01 1541
轻量化之王MobileNetV4 开源
【RT-DETR实战】161、综合改进实验一：轻量化赛道（速度优先）
最新发布
企鹅码农的专属播客，分享10多年的实战案例和经验解读，包含YOLO、RT-DETR、AI等各个工作领域。
06-07 137
本文分享了RT-DETR模型在边缘设备Jetson Orin Nano上的轻量化实战经验。针对87ms推理延迟的产线报警，提出了三大优化策略： 主干网络瘦身：采用渐进式通道适配，保留关键卷积层并替换为深度可分离卷积，确保特征图对齐； 注意力机制蒸馏：通过局部窗口注意力和Top-K稀疏化，将计算耗时从23ms降至9ms； 后处理优化：CUDA并行化匈牙利匹配算法，速度提升3倍。 此外，分层量化（卷积INT8/注意力FP16）与TensorRT编译技巧进一步将延迟压至22.1ms（INT8），精度损失仅1.4m
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值