更好的上采样
1 方法一:采取可以被stride整除的kernel size
该方案较好的应对了棋盘效应问题,但是仍不够圆满,因为一旦我们的kernel学习不均匀,仍然会产生棋盘效应,
在上图中,我们的weight并不够平衡,这直接导致了输出的棋盘效应。
去仔细调节kernel size和stride的大小关系以确保他们尽量能整除。在Twitter的超分辨率文章中的《Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network 》中,作者提出了一种亚像素卷积的上采样方式。这个方法及其类似于kernel size和stride之间可以整除的情况。但同上一小节分析的一样,我们可以看到这个方法仍然会出现一定程度的伪影和棋盘效应。
即便如此,采用这个思路去设计网络仍然是必要的。
2 方法二:插值
可以直接进行插值resize操作,然后再进行卷积操作。这种操作在超分辨率文献中很常见。例如,我们可以采取近邻插值或者样条插值来进行上采样。

更好的上采样
1 方法一:采取可以被stride整除的kernel size
该方案较好的应对了棋盘效应问题,但是仍不够圆满,因为一旦我们的kernel学习不均匀,仍然会产生棋盘效应,
在上图中,我们的weight并不够平衡,这直接导致了输出的棋盘效应。
去仔细调节kernel size和stride的大小关系以确保他们尽量能整除。在Twitter的超分辨率文章中的《Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network 》中,作者提出了一种亚像素卷积的上采样方式。这个方法及其类似于kernel size和stride之间可以整除的情况。但同上一小节分析的一样,我们可以看到这个方法仍然会出现一定程度的伪影和棋盘效应。
即便如此,采用这个思路去设计网络仍然是必要的。
2 方法二:插值
可以直接进行插值resize操作,然后再进行卷积操作。这种操作在超分辨率文献中很常见。例如,我们可以采取近邻插值或者样条插值来进行上采样。

举报