CH340C上电一瞬间丢失串口号是什么原因？如何处理？

如题, 我使用ch340给单片机下载的时候总是在上电时ch340丢失一瞬间(0.5s, 系统检测不到ch340), 随后恢复正常, 这是什么原因?
我ch340是直连usb取电, 单片机是通过一个开关连接到usb供电, 单片机冷启动时需要按开关, 每次就在按开关的时候ch340丢失
我想是不是因为电路在上电的时候不稳定所致
有什么解决办法吗? 现在束手无策
恳请解答!