关于ICL7660电源问题

我设计了一个电路，供电的电源是24V 3A适配器，电路中接入LM317转成了5V，电路原理图如下所示

由于需要负电压，因此我想把VCC+5V转成VCC-5V，我用的是ICL7660，电路原理图如下所示

电路板已经做出来了，不接ICL7660时，LM317部分的电路可以输出+5V，但是焊好ICL7660以后发现，LM317处的+5V被拉低成了+3V左右，并且ICL7660此时处于空载状态，输出电压是-0.5V左右，请问下这是为什么呢？