如何解决反激式电源输出地线噪声问题？

我用VIPER16芯片做了一个开关电源，但发现输出5V的噪声很大。示波器表笔即使不用接触到5V的地线，只是靠近地线，都能测量到峰峰值为300mV左右的尖峰脉冲串，其频率恰好与开关频率60K吻合，说明这个噪声就是开关管的通断引起的。而同一个示波器，也不改任何示波器的参数，直接测量外购的成品开关电源，则尖峰很小，峰峰值才30多mV。说明不是示波器或测量方法的问题。

当用手摸5V地线时，尖峰脉冲一下缩小很多，峰峰值大概不到100mV。

这个尖峰已经影响到了开关电源供电的板子的485通讯和单片机的RTC计时准确性了。输出5V就是给单片机供电的。请问如何减小噪声？总不能一直手摸着吧？没有金属外壳，也没有接大地端子。