完善资料让更多小伙伴认识你，还能领取20积分哦， 立即完善>
3天内不再提示
|
kernel size无法被stride整除的原因？ 解决反卷积deconvolution存在的弊端的思路？ 反卷积deconvolution如何实现更好的采样 ？ 
0
|
|
相关推荐
4个回答
|
|
|
棋盘效应
当我们要用到深度学习来生成图像的时候，是往往是基于一个低分辨率且具有高层语义的图像。这会使得深度学习来对这种低分辨率图像进行填充细节。一般来说，为了执行从低分辨率图像到高分辨率图像之间的转换，我们往往要进行deconvolution。简单来说，deconvolution layer可以允许模型通过每一个点进行绘制高分辨率图像上的一个方块，这种情况的产生与deconvolution的stride、kernel size有关。 然而，在使用deconvlution的时候，如果出现kernel size与stride无法整除的时候，这时候便会发生uneven overlap。 如下图中，便会出现图像中的某个部位的颜色比其他部位更深的情况。 |
|
|
|
|
|
|
|
|
|
|
|
1. 思路一：多层重复转置卷积
一个常见的想法是寄希望于多层重复转置卷积，希望能抵消掉棋盘效应，但是实际上一般事与愿违， 重复的结构使得棋盘更加复杂。 2.思路二：kernel为1的转置卷积 此时可以很好地解决这个问题， 但是……转置卷积的意义在于上采样，stride为1还上采毛线……，所以一般会用于卷积栈的末尾作为调整，不过效果有限， 3. 思路三：调整kernel权重分布 加大无重叠部分的权重分布可以很好的解决的这个问题，原理如下图： 但是这种做法会极大地限制模型的学习能力（避免棋盘效应往往会降低模型容量，会使得模型变得更大从而使得难以训练。 |
|
|
|
|
|
更好的上采样
1 方法一：采取可以被stride整除的kernel size 该方案较好的应对了棋盘效应问题，但是仍不够圆满，因为一旦我们的kernel学习不均匀，仍然会产生棋盘效应， 在上图中，我们的weight并不够平衡，这直接导致了输出的棋盘效应。 去仔细调节kernel size和stride的大小关系以确保他们尽量能整除。在Twitter的超分辨率文章中的《Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network 》中，作者提出了一种亚像素卷积的上采样方式。这个方法及其类似于kernel size和stride之间可以整除的情况。但同上一小节分析的一样，我们可以看到这个方法仍然会出现一定程度的伪影和棋盘效应。 即便如此，采用这个思路去设计网络仍然是必要的。 2 方法二：插值 可以直接进行插值resize操作，然后再进行卷积操作。这种操作在超分辨率文献中很常见。例如，我们可以采取近邻插值或者样条插值来进行上采样。 |
|
|
|
|
你正在撰写答案
如果你是对答案或其他答案精选点评或询问，请使用“评论”功能。
“0元购”智元灵犀X1机器人，软硬件全套图纸和代码全公开！资料免费下载！
933 浏览 0 评论
552 浏览 0 评论
【实操文档】在智能硬件的大模型语音交互流程中接入RAG知识库
5188 浏览 1 评论
防止AI大模型被黑客病毒入侵控制（原创）聆思大模型AI开发套件评测4
935 浏览 0 评论
不可错过！人工神经网络算法、PID算法、Python人工智能学习等资料包分享（附源代码）
3182 浏览 0 评论
/7 
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 （电路图） 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证：合字B2-20210191
工商网监
湘ICP备2023018690号
1265
评论
淘帖
3052
