Group Convolution分组卷积,以及Depthwise Convolution和Global Depthwise Convolution

group convolution (分组卷积)详解 文章目录【普通卷积】【group convolution (分组卷积)】【深度可分离卷积】 【普通卷积】 上图为普通卷积示意图,为方便理解,图中只有一个卷积核,此时输入 输出数据为:输入feature map尺寸:W×H×CW×H×CW×H×C ,分别对应feature map的宽,高,通道数; 单个卷积核尺寸:k×k×Ck×k×Ck×k×C ,分别对应单个卷积核的宽,高,通道数; 输出feature map尺寸 :W′×H′W'×H'W′×H′ ,输出通道数等于卷积核数量,输出的宽高与卷积步长有关, 阅读详情

博客:blog.shinelee.me | 博客园 | CSDN

写在前面

Group Convolution分组卷积,最早见于AlexNet——2012年Imagenet的冠军方法,Group Convolution被用来切分网络,使其在2个GPU上并行运行,AlexNet网络结构如下:

AlexNet

Convolution VS Group Convolution

在介绍Group Convolution前,先回顾下常规卷积是怎么做的,具体可以参见博文《卷积神经网络之卷积计算、作用与思想》。如果输入feature map尺寸为 C ∗ H ∗ W C*H*W CHW,卷积核有 N N N个,输出feature map与卷积核的数量相同也是 N N N,每个卷积核的尺寸为 C ∗ K ∗ K C*K*K CKK N N N个卷积核的总参数量为 N ∗ C ∗ K ∗ K N*C*K*K NCKK,输入map与输出map的连接方式如下图左所示,图片来自链接

Convolution VS Group Convolution

Group Convolution顾名思义,则是对输入feature map进行分组,然后每组分别卷积。假设输入feature map的尺寸仍为 C ∗ H ∗ W C*H*W CH

group convolution (分组卷积)详解】 @[TOC]( group convolution (分组卷积)详解) group convolution (分组卷积)详解 1.普通卷积: 上图为普通卷积示意图,为方便理解,图中只有一个卷积核,此时输入输出数据为: 输入feature map尺寸: W×H×C ,分别对应feature map的宽,高,通道数; 单个卷积核尺寸: k×k×C ,分别对应单个卷积核的宽,高,通道数; 输出feature map尺寸 :W’×H’ ,输出通道数等于卷积核数量,输出的宽高与卷积步长有关,这里不关心这两个值 阅读详情

相关推荐

产品必备技能(十):如何绘制原型图?先要绘制页面流程图+页面原型图!附实操原型图、流程图实例(抖音)

文章目录目标题目实操步骤模板实操【抖音】APP的视频发布功能页面流程绘制页面流程图合格标准绘制页面原型图合格标准 目标 新入行的产品经理都对原型抱有向往的心境,但是有经验的产品经理不会一上来就画原型,而是先画页面流程再来画原型。通过学习,你将学会如何用页面流程图规划用户行为路径、如何借助原型识别问题、减少风险、有效沟通。 题目 任意选择一款你喜欢的产品,体验某个功能,下载并梳理此功能至少5个以上的页面流程跳转点(后面会解释),还原2 - 3个主要界面的低保真原型图。 实操步骤 可使用手绘以及Process

汪雯琦的博客 4782

巡礼卷积神经网络中的那些经典结构(一)—— Group convolution

笔者在阅读论文的过程中,发现论文中经常会涉及到一些经典的神经网络结构,尽管这些结构可能出现的时间,但是生生不息,经历住了时间的考验。在这个系列文章中,我将对那些经典的网络分别做一个简单介绍。 作为这个系列文章的第一篇文章,本文首先要介绍的是 Group convolution这个结构。 Group Convolution简介 Group Convolution,即分组卷积(也被译为群卷积),是...

Yolo的博客 1420

Tomcat漏洞——弱口令爆破

靶机:CentOS7 IP:192.168.100.40。攻击机:kali IP:192.168.100.60。版 权 声 明:本博客所有文章除特别声明外,均采用。文章版权归作者所有,未经允许请勿转载!作 者:PeiyuJue。

weixin_57379923的博客 879

【深度学习】Group Convolution分组卷积Depthwise ConvolutionGlobal Depthwise Convolution

目录 1. 分组卷积(Group Convolution) 1.1 分组卷积与普通卷积的区别 1.2 分组卷积的用途 2. 深度分离卷积(Depthwise Convolution) 原文链接:https://www.cnblogs.com/shine-lee/p/10243114.html 本文主要介绍减少参数量、计算量的卷积形式: Group Convolution(分组卷积) Depthwise Convolution(深度分离卷积) Global Depthwise Convolu

chen1234520nnn的博客 2万+

group convolution (分组卷积)的计算量详解、卷积计算量特征图大小,池化特征图大小、深度通道deep-wise 卷积

1)普通卷积的计算量,输出尺寸大小,都是互联网大厂必考的东西,顺便看了下池化的输出尺寸图大小 2)分组卷积,实际上就是同样的计算量,得到了更多的特征图,效率高,分组数g=C时就是深度通道卷积Deep-wise CNN 3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。 ...

weixin_46838716的博客 5567

深度学习10篇文章之Interleaved Group Convolution

Group convolution最初在AlexNet中提出,其初衷在于克服早期硬件计算资源不足的问题,将feature maps分到多张GPU上进行运算,有点类似于现在的分布式运算。本文主要讲解Ting Zhang的Interleaved Group Convolutions for Deep Neural Networks,该文对Group convolution有较为详细的讲解。 引文...

梁州牧的博客 5671

写的很清楚,Group Convolution分组卷积,以及Depthwise ConvolutionGlobal Depthwise Convolution

https://blog.csdn.net/blogshinelee/article/details/86094419#Group_Convolution_17 源地址 原 Group Convolution分组卷积,以及Depthwise ConvolutionGlobal Depthwise Convolution ...

m0_37192554的博客 907

【深度学习】Global Pooling,Depth-wise Convolution, Concatenate

最近在读BiSeNet的两篇论文,遇到了三个以前没有接触过的操作,本文来就这三个操作进行简单的讲解以及Pytorch代码实现的思路。 1.Global Pooling Global Pooling,中文是全局池化,其实是一种比一般池化还要简单的池化操作。在一般的池化中,我们需要用一个类似卷积核一样的东西,来规定步长从而进行取最大值或者平均值的操作,也就是我们常说的最大池化或者平均池化,这种操作通常会改变特征图的尺寸,而改变后的尺寸计算与卷积的计算完全一致。而Global Pooling就十分简单了,它直接就

weixin_43728604的博客 2029

轻量模型简介

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会 AI 聊天,而你能调教 AI,并能用代码将大模型业务衔接。map做卷积,这样大大减少了计算量,但是会有“副作用”,对于输出特征,它仅仅关注学习所在分组的特征,某个通道的输出仅来自一小部分输入通道,这样具有很大的局限性,故作者提出channel。通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

2401_85280106的博客 506

组卷积group convolution)的理解

分组是日常生活中一种常见现象,如基于年龄分为幼年、儿童、青少年、青年、中年老年等。在机器学习中,聚类算法的本质思想也是分组,即把未知数据基于一些特性分成一个个组,便于人们理解。在深度学习用到组思想的一个地方就是组卷积组卷积最早出现是在AleNet,当初主要采用并行训练方式来训练。后来研究学者基于卷积的基本计算方式广义线性方程(或多元多项式方程)发现,当卷积网络中卷积核个数增多时,会出现卷积...

Bill_zhang5的博客 5074

深度学习之群卷积Group Convolution

最近在看MSRA的王井东研究员的《Interleaved Group Convolutions for Deep Neural Networks》。论文中多次提到群卷积这个概念,所以特地学习了一下群卷积。 群卷积最早出现于AlexNet中。是为了解决显存不够的问题,将网络部署在两张GTX 580显卡上训练,Alex认为group conv的方式能够增加 filter之间的对角相关性,而且能够减少...

hhy_csdn的博客 4万+

输出分组_Learnable Group Convolutions:可以学习的分组卷积

这篇文章里我们介绍两篇论文[1][2],都是关于可以学习的分组卷积(learnable group convolution)。传统的卷积操作中每一个输出的 channel 都与输入的每一个 channel 相连接,channels 之间是一个稠密连接。Group Convolution 中输入输出的 channels 被分为 个 组(groups),每个组的输出 channels 只对应组...

weixin_33669545的博客 470

使用yolo11目标检测框架训练简牍文字检测数据集VOCYOLO格式7416张2242类别步骤流程.md

注意这个只是介绍文档

上一篇: VSCode Python开发环境配置
下一篇: 单变量微分、导数与链式法则
shine-lee
博客等级 码龄15年 212粉丝 59原创
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值