飞凌嵌入式
直播中

donatello1996

8年用户 687经验值
擅长:处理器/DSP 控制/MCU RF/无线
私信 关注
[技术]

【飞凌嵌入式OKMX8MP-C 开发板试用体验】基于HTTP网页服务器和UDP上位机的MJPG码流传输(mjpg-steamer)

本帖最后由 donatello1996 于 2021-12-17 11:42 编辑

      MJPG格式作为一种持续传输的视频码流，其非常多用于远程监控应用中，而实现这种远程监控的第三方应用中，最常见的有两种，那就是浏览器HTTP网页和UDP上位机，其中UDP上位机的优势是传输效率高，上位机编写方便，但HTTP网页也有不可替代的优势那就是，第一，客户端无需安装上位机，只需要一个浏览器应用即可；第二，客户端访问服务器是跨平台支持的，无论是电脑，平板，手机，无论是Linux系统或者Windows系统或者安卓系统都可以，只要有浏览器应用都可访问，而UDP上位机则受限于目标平台，不易移植。这两种应用各有优缺点，对于嵌入式开发者来说，两者都必须掌握。

先说下HTTP网页服务器获取MJPG码流的代码，首先是在开发板端建立TCP服务器：
  1. int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
  2. {
  3.     struct sockaddr_in servaddr;
  4.     socklen_t addrsize = sizeof(struct sockaddr);

  6.     bzero(&servaddr , sizeof(servaddr));
  7.     servaddr.sin_family = AF_INET;
  8.     servaddr.sin_addr.s_addr = inet_addr(ip);
  9.     servaddr.sin_port = htons(port);

  11.     int ret;
  12.     if( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
  13.         {
  14.             printf("Create socket error: %s (errno :%d)n",strerror(errno),errno);
  15.             return -1;
  16.         }

  18.     int on = 1;
  19.     if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
  20.     {
  21.         printf("setsockopt errorn");
  22.     }
  23.    
  24.     ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
  25.     if(ret == -1)
  26.     {
  27.             printf("Tcp bind failed!n");
  28.             return -1;
  29.     }

  31.     if(listen(*socket_found , 5) == -1)
  32.     {
  33.             printf("Listen failed!n");
  34.             return -1;
  35.     }
  36.     return 0;
  37. }

其中setsockopt()函数是可选的，一般只用于规避socket()函数的建立错误。建立了TCP服务器后，返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的，accept()之前的listen()倒是只需要执行一次即可，accept()握手操作和recv()接收操作需要创建一个死循环线程：
  1. pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);

  3. void * Thread_TCP_Web_Recv(void *arg)
  4. {
  5. 。。。
  6. while(1)
  7. {
  8.             fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
  9.            printf("fd_socket_conn = accept()n");
  10.     。。。
  11.     recv(fd_socket_conn , recvbuf , 1000 , 0);
  12. }
  13. 。。。
  14. }

在上一帖子中我说明了使用Grab操作获取MJPG帧的步骤，获取到的MJPG帧需要在TCP线程中读，在Grab操作操作线程中写，这种被多个线程访问的资源需要加锁防止读写冲突，即资源被Grab操作写入时，需要上锁，不允许其它线程访问，操作完成时需要解锁，允许其它线程访问：
  1.     pthread_mutex_lock(&pmt);
  2.    
  3.     pic_tmpbuffer = pic.tmpbuffer;
  4.     pic.tmpbytesused = buff.bytesused;
  5.     pic_tmpbytesused = pic.tmpbytesused;

  7.     pthread_cond_broadcast(&pct);
  8.     pthread_mutex_unlock(&pmt);

线程互斥锁使用之前需要初始化：
  1. pthread_mutex_t pmt;
  2. pthread_cond_t pct;

  4. int main(int argc, char* argv[])
  5. {
  6. ...
  7. TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
  8. pthread_mutex_init(&pmt , NULL);

  10.     pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);

  12.     pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
  13. ...
  14.     while(1)
  15.     {
  16.         V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
  17. ...
  18.     }
  19. ...
  20. }

然后是发送的细节，发送图片文件之前，需要先发送HTTP标准头，这个相当于给发送图片或者其它类型的流数据铺路：
  1. #define STD_HEADER "Connection: closern"
  2.     "Server: MJPG-Streamer/0.2rn"
  3.     "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0rn"
  4.     "Pragma: no-cachern"
  5.     "Expires: Mon, 3 Jan 2000 12:34:56 GMTrn"

  7. #define BOUNDARY "boundarydonotcross"

  9.     printf("preparing headern");
  10.     sprintf(buffer, "HTTP/1.0 200 OKrn"
  11.             "Access-Control-Allow-Origin: *rn"
  12.             STD_HEADER
  13.             "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "rn"
  14.             "rn"
  15.             "--" BOUNDARY "rn");

  17.     if(write(fd, buffer, strlen(buffer)) < 0)
  18.     {
  19.         free(frame);
  20.         return;
  21.     }

发送完HTTP标准头之后，就需要发送内容头(Content-Type)，这处的Content-Type为image/jpeg，同样，HTTP标准协议里面image支持的类型远不止jpeg一种，发送完内容头之后就是正文和boundary结尾，这样帧完整的HTTP头发送到指定的TCP GET地址，就会在浏览器中显示刚刚发送的图片：
  1.        sprintf(buffer, "Content-Type: image/jpegrn"
  2.                 "Content-Length: %drn"
  3.                 "X-Timestamp: %d.%06drn"
  4.                 "rn", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);

  6.         printf("sending intemdiate headern");
  7.         if(write(fd, buffer, strlen(buffer)) < 0)
  8.             break;

  10.         printf("sending framen");
  11.         if(write(fd, frame, frame_size) < 0)
  12.             break;

  14.         printf("sending boundaryn");
  15.         sprintf(buffer, "rn--" BOUNDARY "rn");
  16.         if(write(fd, buffer, strlen(buffer)) < 0)
  17.             break;

另外需要说明的是，TCP服务器线程在发送MJPEG流的时候是死循环发送的，因此TCP客户端在发送完GET指令之后，就会收到TCP服务器循环发送的图像缓存，TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令，从客户端使用者角度来看的效果就是网页一直在等待。
47.JPG
Screenshot_2021-12-16-23-53-51-913_org.mozilla.firefox.png

然后是UDP发送操作，同样需要先建立UDP Socket：
  1. int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
  2. {
  3.     *socket_found = socket(AF_INET, SOCK_DGRAM, 0);

  5.     if(*socket_found == (~0))
  6.     {
  7.         printf("Create udp send socket failed!n");
  8.         return -1;
  9.     }

  11.     addr->sin_family = AF_INET;
  12.     addr->sin_addr.s_addr = inet_addr(ip);
  13.     addr->sin_port = htons(port);
  14.     memset(addr->sin_zero, 0, 8);
  15.     return 0;
  16. }

而UDP文件发送则要比HTTP发送简单得多，只需要将文件切片，每一片为固定长度的UDP帧长度，逐帧发送即可：
  1. while(fend > 0)
  2. {
  3. memset(picture.data , 0 , sizeof(picture.data));
  4. fread(picture.data , UDP_FRAME_LEN , 1, fp);
  5. if(fend >= UDP_FRAME_LEN)
  6. {
  7. picture.length = UDP_FRAME_LEN;
  8. picture.fin = 0;
  9. }
  10. else
  11. {
  12. picture.length = fend;
  13. picture.fin = 1;
  14. }

  16. //printf("sendbytes = %d n",sendbytes);

  18. sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);

  20. if(sendbytes == -1)
  21. {
  22. printf("Send Picture Failed!dn");
  23. return -1;
  24. }
  25. else
  26. {
  27. fend -= UDP_FRAME_LEN;
  28. }
  29. }
48.JPG



更多回帖

0 0 1

相关帖子

imx8
发帖
电子发烧友APP
|投诉反馈|电子发烧友网
© 2021 bbs.elecfans.com
湘ICP备2023018690号
×
20
完善资料，
赚取积分