发 帖  
原厂入驻New
[问答]

反卷积deconvolution引起的棋盘效应及存在的弊端

35 反卷积 deconvolution
分享
反卷积deconvolution引起的棋盘效应?
kernel size无法被stride整除的原因?

解决反卷积deconvolution存在的弊端的思路?
反卷积deconvolution如何实现更好的采样 ?





0
2020-11-4 08:08:00   评论 分享淘帖 邀请回答
4个回答
棋盘效应

当我们要用到深度学习来生成图像的时候,是往往是基于一个低分辨率且具有高层语义的图像。这会使得深度学习来对这种低分辨率图像进行填充细节。一般来说,为了执行从低分辨率图像到高分辨率图像之间的转换,我们往往要进行deconvolution。简单来说,deconvolution layer可以允许模型通过每一个点进行绘制高分辨率图像上的一个方块,这种情况的产生与deconvolution的stride、kernel size有关。
然而,在使用deconvlution的时候,如果出现kernel size与stride无法整除的时候,这时候便会发生uneven overlap。
如下图中,便会出现图像中的某个部位的颜色比其他部位更深的情况。

2020-11-4 16:26:12 评论

举报

kernel size无法被stride整除  
stride为1,kernel size为3,这导致了重复上采样绘图的部分不均匀(下图深色部分),

二维情况更为严重,
2020-11-4 16:26:43 评论

举报

1. 思路一:多层重复转置卷积
一个常见的想法是寄希望于多层重复转置卷积,希望能抵消掉棋盘效应,但是实际上一般事与愿违,

重复的结构使得棋盘更加复杂。
2.思路二:kernel为1的转置卷积
此时可以很好地解决这个问题,

但是……转置卷积的意义在于上采样,stride为1还上采毛线……,所以一般会用于卷积栈的末尾作为调整,不过效果有限,

3. 思路三:调整kernel权重分布
加大无重叠部分的权重分布可以很好的解决的这个问题,原理如下图:

但是这种做法会极大地限制模型的学习能力(避免棋盘效应往往会降低模型容量,会使得模型变得更大从而使得难以训练。
2020-11-4 16:30:24 评论

举报

更好的上采样
1 方法一:采取可以被stride整除的kernel size
该方案较好的应对了棋盘效应问题,但是仍不够圆满,因为一旦我们的kernel学习不均匀,仍然会产生棋盘效应,

在上图中,我们的weight并不够平衡,这直接导致了输出的棋盘效应。
去仔细调节kernel size和stride的大小关系以确保他们尽量能整除。在Twitter的超分辨率文章中的《Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network 》中,作者提出了一种亚像素卷积的上采样方式。这个方法及其类似于kernel size和stride之间可以整除的情况。但同上一小节分析的一样,我们可以看到这个方法仍然会出现一定程度的伪影和棋盘效应。
即便如此,采用这个思路去设计网络仍然是必要的。
2 方法二:插值

可以直接进行插值resize操作,然后再进行卷积操作。这种操作在超分辨率文献中很常见。例如,我们可以采取近邻插值或者样条插值来进行上采样。



2020-11-4 16:31:11 评论

举报

撰写答案

你正在撰写答案

如果你是对答案或其他答案精选点评或询问,请使用“评论”功能。

高级模式
您需要登录后才可以回帖 登录 | 注册

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容图片侵权或者其他问题,请联系本站作侵删。 侵权投诉
我要提问
关闭

站长推荐 上一条 /9 下一条

快速回复 返回顶部 返回列表