FPGA是通过SPI给ESP32传输数据，WIFI速度比较慢的原因？怎么解决？

我的应用FPGA是通过SPI给ESP32传输数据，每次512B的数据，连续传输，SPI的时钟频率为40MHz, 所以一次传输的时间大约为110us，如下图中上面的波形，
SPI每次传输完成后启动一次wifi发送，并在send()后，设置一个GPIO进行反转，波形如下图中下面的波形。
理想状态下，下面波形的频率应该是上面的1/2，但实际上WIFI的传输太慢了！！根据图中所示，WIFI发送一次最快是430us,最慢的地方3000多us，
我是在spi_master->lcd这个模板下改的程序，menuconfig里关于wifi的配置好像也没发现哪里可以提高速度啊！
大致程序如下：
void send_data(void *pvParameters)
{
    while (1)
    {  
        if (g_ConnectionOK)
        {              
            if(g_BeamRcvOK)
            {
                g_BeamRcvOK = 0;
                 send(connect_socket, &recvbuf, 1024, 0);
                 if(len < 0 ){}
                if(flag2 == 0)
                {
                        flag2 = 1;
                        gpio_set_level(PIN_ST_TEST, 1);
                }
                else
                {
                        flag2 = 0;
                        gpio_set_level(PIN_ST_TEST, 0);
                }
            }
        }
    }
}