在细胞神经网络的有效感受野

鉴于“有趣的最近的一篇文章一个中央窝的同时学习到参加崛起“我决定让罗,文杰等人撰写的论文进行审查。所谓的“了解有效的感受野在深卷积神经网络”在那里,他们推出了‘的想法有效的感受野’(ERF),并与凹视觉上卷积神经网络自然会产生令人惊讶的关系。

在卷积神经网络的感受域(CNN)是影响网络的特定单元输入空间的区域中。注意,该输入区域可以是不仅在网络中的所述网络的输入,但也输出从其它单元,因此该感受域可以相对于我们考虑输入被计算并且也相对,我们考虑到为单位在此输入区域的“接收器”。通常,当提及感受野术语,它是考虑到网络的最终输出单元(在二元分类任务即,单一的单元)相对于所述网络输入(即,网络的输入图像)。

这是很容易看到,在CNN,感受域可以使用不同的方法,例如增加:堆叠多个层(深度),子采样(池,跨越),过滤器扩张(扩张卷积)等。在理论上,当你stack more layers you can increase your receptive field linearly, however, in practice, things aren’t simple as we thought, as shown by Luo, Wenjie et al.文章。在文章中,它们引入“有效感受野”,或ERF的概念;这一概念背后的直觉是,在感受野并不是所有的像素同样的输出单元的响应做出贡献。在做直传,我们可以看到,在中央感受野像素可以使用许多不同的路径,因为它们多输出单元的计算的一部分传播他们的信息输出。

在下面的图中,我们可以在离开输入像素看到,在这之后,我们有使用3×3的卷积滤波器从输入像素计算出的特征图,然后最终接连3×3滤波的输出。左侧图像上的像素内的数字表示该像素多少次是一个卷积步骤(过滤器的各滑动步骤)的一部分。我们可以看到,像中央的人一些像素将通过网络在许多不同的路径传播他们的信息,而在边界像素沿着单一路径传播。

感受域横跨使用3×3的过滤器3个不同的层。

通过看上面的图片,它并不奇怪,关于最终输出计算的有效感受野的影响会看起来更像是一个高斯分布代替均匀分布。什么是真正的甚至更有趣的是,这种感受野动态并在培训期间的变化。这对反向传播的影响是,相比于边界像素时,中央像素将有较大的梯度幅度。

在由洛,文杰等人写的文章,他们设计了一种方法,通过计算量量化在网络的每个输入像素的影响\压裂{\部分Y} {\局部X_ {I,J}}代表多少每个像素X_ {I,J}有助于输出ÿ

在里面,他们确实性实验使用多个不同的体系结构,激活,等我重复在这里,我发现最有趣的那些直观有效的感受野:

图1从纸“了解有效感受野在深卷积神经网络”,由罗,文杰等人。

我们可以从看图1,他们比较层,初始化方案和不同的激活次数的影响,结果是惊人的。我们可以清楚地看到高斯也由RELU激活添加的稀疏。

也有一些比较图3的纸,其中CIFAR-10和CamVid数据集被用于训练网络。

纸“了解有效感受野在深卷积神经网络”,由罗,文杰等人的图3。

正如我们所看到的,有效的感受野的大小是非常动态的,它增加了训练,这意味着,由论文的作者指出后一大截,这更好的初始化方案可亚洲金博宝以用来增加感受野在训练的开始。他们实际上开发了不同的初始化方案,并能获得30%的培训加速,然而,这些结果并不一致。

在读书活动中心凹视力。从http://www.learning-systems.ch图像。

什么也很有趣,是有效的感受亚洲金博宝域具有与人眼的视网膜中央凹视力,如下面的图像中产生的急剧的中心视力,视锥细胞的高密度区域的效果(非常密切的关系)存在于眼底。

对人眼黄斑中心凹区。从http://eyetracking.me图像。

我们的中心以敏锐的眼光也迅速衰减,如有效的感受野,这是非常类似于高斯。亚洲金博宝令人吃惊的是,这种效果也自然出现在CNN的网络。

PS:只是为了好奇的缘故,有些鸟是做复杂的空中运动,如蜂鸟,有2个foveas而不是单一的一个,这意味着它们不仅对中部地区也对双方的尖锐眼光准确。

我希望你喜欢的文章!

- 基督教S. Perone

引用这篇文章为:Christian S. Perone,《CNNs上的有效接受域》亚洲金博宝未知领域,2017年12月11日,//www.cpetem.com/2017/11/the-effective-receptive-field-on-cnns/

4个想法“关于细胞神经网络的有效感受野”

  1. 在人类视觉的一个重要部分是快速扫视所做的量,这将弥补窄幅有效的领域。我很好奇,如果这些作者认为与细胞神经网络类似的事情,但我想,加入时间因素很可能只是使一个烂摊子。

    这似乎是一个潜在的主要缺陷有广大的网络专注于图像的单个部件。我想像圆周卷积可以缓解这个问题,但使图像实际上周期将涉及翻两番的条目数。我记得曾读到零填充作为一种常用的技术在几年ago-我想象会成功缓解这个,但纸似乎没有把它。

    1. 我认为补零只能解决部分问题,或者不能缓解问题。我不认为圆形卷积可以缓解这个问题。因为卷积的目标之一就是在相邻像素之间获得更多的相对信息。

  2. 嗨基督徒,

    感谢您的博客条目!我觉得特别有趣,你可以在CNN的解释卷积在眼睛的自然过程。

    无论如何,我的休假,以便提出一个问题,一个评论,这就是:你知道做研究或应用,其中卷积神经网络的感受野并不总是相同的形状,但是对于每个神经元有什么不同?亚洲金博宝换句话说,有没有架构,其中卷积依赖于图像中的位置,它是由?我对自然语言处理的一些系统目前的工作,我想解释系统的CNN,这应该是可能的上述观点。

    期待得到答复

    最好,
    托马斯

留下一个回复

您的电子邮件地址不会被公开。

本网站使用的Akismet,以减少垃圾邮件。了解如何处理您的评论数据