[Fri 19 Jun 2015 ~ Thu 25 Jun 2015] Deep Learning in arxiv

在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用，就逃不开研究alexnet，这是CNN在图像分类上的经典模型（DL火起来之后）。 在DL开源实现caffe的model样例中，它也给出了alexnet的复现，具体网络配置文件如下（https://github.com/BVLC/caff

vgg和googlenet是2014年imagenet竞赛的双雄，这两类模型结构有一个共同特点是go deeper。跟googlenet不同的是，vgg继承了lenet以及alexnet的一些框架，尤其是跟alexnet框架非常像，vgg也是5个group的卷积、2层fc图像特征、一层fc分类特征，可以看做和alexnet一样总共8个part。根据前5个卷积group，每个group中的不同配置，vgg论文中给出了A~E这五种配置，卷积层数从8到16递增。从论文中可以看到从8到16随着卷积层的一步步加深，貌

inception v2与inception v3两种模型配置。 Inception v3单模型达到了21.2%的top1错误率，多模型达到了17.3%的top1错误率

MSRA的深度残差网络在2015年ImageNet和COCO如下共5个领域取得第一名：ImageNet recognition, ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation。文章：Deep Residual Learning for Image Recognition; 代码：https://github.com/KaimingHe/deep-residual-networks

一、简介 如果将googlenet称之为google家的inception v1的话，其Batch Normalization（http://arxiv.org/pdf/1502.03167v3.pdf）文章讲的就是BN-inception v1。 它不是网络本身本质上的内容修改，而是为了将conv层的输出做normalization以使得下一层的更新能够更快，更准确。 二、

googlenet和vgg是2014年imagenet竞赛的双雄，这两类模型结构有一个共同特点是go deeper。跟vgg不同的是，googlenet做了更大胆的网络上的尝试而不是像vgg继承了lenet以及alexnet的一些框架，该模型虽然有22层，但大小却比alexnet和vgg都小很多，差不多20m的样子。

近期AI对话技术与AI绘画技术突飞猛进。本文尝试结合AI对话与AI绘画进行儿童绘本内容的创作，发现AI对话技术已经超越大部分人类水平。但是AI绘画在精细的主体个数以及主体动作语义的理解上还远未达到人类水平。

在2015年残差网络Deep Residual Learning for Image Recognition出来之后，2016年出现了大批量的达到与之相应效果的加深网络的方法。加深网络会带来如下三大类问题：1. 后向传播梯度消失;2. 前向传播信息量减少;3. 训练时间加长。为了缓解以上三大类问题，2016上半年已经有各式各样的加深网络的方法，让我们来看下下面五篇文章，前四篇文章主要注重与如何去使用各种方法加深网络，最后一篇文章对最近出现的残差网络家族做了一个深入的分析与思考，指出残差与其说是加深网络不如说

AIGC元年达到了学术-商业共振，本文介绍现有AI绘画、AI作画背后的相应基本原理、应用、以及论文参考文献。

深度学习之CNN检测object detection领域算法发展的非常迅速；有overfeat, rcnn, spp, fast rcnn, faster rcnn等

最近大家比较关心的围棋人机大战（google alphago深度学习+蒙特卡洛搜索算法 vs 李世石）中，google deepmind基于Nature2016文章的alphago算法在5局制的比赛中已经取得了3-1的成绩提前锁定了胜局。本文扒了一下google deepmind在该领域的一些文章，揭示了google alphago的算法技术演变历程。

作为AI人像写真开源项目的佼佼者，FaceChain凭借其丰富多样的风格模版和卓越的人像保真度，深受社区的喜爱并已在商业应用中得到了广泛的应用。近期，FaceChain团队推出了全新的版本——FaceChain FACT。这一创新版本摒弃了传统的人物模型训练过程，能够直接生成zero-shot目标人像，引领AI人像生成进入了无需训练的单阶段时代。

自从OpenAI的Ian J.Goodfellow大神发的开创性文章GAN以后，GAN的发展是膨胀式的，工业界的各个大牛也随之加入GAN蓬勃发展的大军中

本文介绍ICML long talk (top 3.02%) 论文 “Dash: Semi-Supervised Learning with Dynamic Thresholding”。该论文提出半监督学习框架Dash，用动态阈值的方式筛选无标签样本进行半监督学习，该框架简单高效，可以应用在众多视觉领域任务中。

目前的NAS方法主要由两个模块组成，网络生成器和精度预测器。其中网络生成器用于生成候选的backbone结构，精度预测器用来对采样的backbone结构预测精度。由于检测和分类的任务目标不一致，前者更重视backbone stage-level (c2-c5)的表征，而后者更重视high-level(c5)的表征。本文旨在解决分类任务上的精度预测器擅长预测high-level表征能力而无法预测stage-level表征能力的问题。