【米尔MYS-8MMX开发板免费试用】+5.VPU模块简介，驱动和几类应用程序简要分析

2.4VPU解码芯片原厂
2.4.1 verisilicon 的 hantro G1 G2 H1 H2
  国内的公司，有问题可以使用中文咨询，我推测国内多数公司都是使用这家的IP，包括某思，某chip，IMX8mm也同样使用这家IP的。
2.4.2ARM的mali V76
  arm9的vpu，arm-a5的vpu，目前arm-a53的vpu好像都没有用arm自己的IP，从技术来讲应该不会差太多，收费可能是最大的问题。
2.4.3chipsnmedia 的wave5
  这是个韩国公司，现在干手机电视，除了中国，也就剩韩国了。他们的视频处理做了15年以上，算是很有积累的。比起其他公司，他们只做视频相关的玩意，所以即便看着公司不大，但是专业度高。
2.4.4amphion的 malone
  这个是英国一公司，曾经是科胜讯 飞利浦NXP 泰鼎的多媒体团队的那些人，也具备很长时间的技术积累，做出的模块面积很小。

3.VPU、V4L2、DMA-BUF、VAAPI和FFMPEG
3.1VPU与V4L2
  V4L2是camera处理相关框架，camera采集的视频一般是YUV格式，如果可以跟VPU的encode功能联合起来，就可以很方便将采集的视频进行压缩，这里面也就涉及到DMA-BUF的功能。
3.2VPU和DMA-BUF
  dam-buf首先明确她不一定是使用DMA方式进行数据拷贝，她主要提供了一种机制，进行数据共享，说白了就是提供内存共享buffer的一种机制。有了这个机制就可以将VPU与camera，VPU和GPU，VPU和DRM各个视频处理模块有机地统一在一起处理，不需要上层应用程序再次转发相关数据。--尚未完全明白DMA-BUF的处理机制。
3.3VPU和VAAPI
  VAAPI (视频加速API，Video Acceleration API)包含一套开源的库(LibVA) 以及API规范, 用于硬件加速下的视频编解码以及处理，只有Linux上的驱动提供支持。主要是PC上intel提供的解决方案，当然只能用在intel的显卡上。微软和nivdia也有自己的解决方案，amd好像对这个支持不太好。
  对于嵌入式厂商来说，有的已经支持，但是很多尚未支持，有点鸡肋的感觉。
3.4VPU和FFMPEG
  FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。
  与VPU和GPU的关系见下图：

二、VPU驱动简要分析
1.VPU-IP原厂
  这个应该算个国内公司，已经运营了超过15年，专门搞设计服务。 但是他的视频编解码器，也是接收的鬼子的遗产，先是一个芬兰公司卖给美国公司on2，然后卖给google，然后又卖给了芯原，现在应该是自己在继续开发。对于他们来说，最大优势，就是vp8 vp9这些协议都是google制定的，所以对于这些的编解码，应该没有其他公司比他们做的更好。
  从第一次接触VSI-VPU代码，时间过去很久，但是代码几乎都没有变过，看看dwl和ewl的函数名就可以知道是VSI的IP。
2.G1、G2和hantro
  当然还有H1和H2等等，其实它只是IC的模块有差异，寄存器有稍微改动而已。
  imx8mm使用的应该是hantro，g1版本。
3.驱动分析
3.1驱动代码
3.1.1编译config

1. CONFIG_MXC_HANTRO=y
   
2. CONFIG_MXC_HANTRO_845=y
   
3. CONFIG_MXC_HANTRO_VC8000E=y

复制代码

3.1.2Device Tree
为啥相同的名字呢？

3.2设备节点
hantrodec_845s.c文件中
#define DEVICE_NAME                "mxc_hantro"
正好与开发板上的设备节点呼应

1. root@mys-8mmx:/unit_tests/VPU/hantro# ls -l /dev/mxc_hantro
   
2. crw------- 1 root root 508, 0 Aug 10 05:17 /dev/mxc_hantro

复制代码

三、几类应用程序简要分析
1.gstreamer
  gstreamer跟ffmpeg一样,也是一个媒体框架,可以实现采集,编码,解码,渲染,滤镜等一条龙的媒体解决方案。不过接触实在不多，而且看代码函数封装的很厉害，有机会在详细了解，这里只是简单的使用一下。
  i.MX_VPU_Application_Programming_Interface_Linux_Reference_Manual
文档中有介绍gst使用的是vpuwrap库函数
播放mp4的简单命令：
   gst-play-1.0 video_640x480.mp4
2.vpu-hantro
2.1代码简要分析

• WriteOutput，h264_output_thread，NextPacket，NextPacketFromFile和CropPicture等应用程序函数
• H264DecGetAPIVersion，H264DecGetBuild，H264DecInit，DWLMallocLinear和H264DecDecode等decapi层函数
• DWLReadAsicID和DWLReadAsicConfig等dwl层函数
• ioctl+HANTRODEC_IOCG_CORE_ID等驱动层等函数
• DWL中有寄存器数值的一个数组，注意与驱动实际寄存器读写同步。
• DEC_MODULE_PATH，/Makefile_G1G2:CFLAGS += -DDEC_MODULE_PATH="/dev/mxc_hantro，注意此处与驱动中的设备节点呼应。
  

2.2.可执行程序运行分析

1. ./hx170dec -P -Odance2s_vpu_hantro.yuv dance2s.h264

复制代码

1. readelf -d hx170dec | grep "Shared"
   
2. 0x0000000000000001 (NEEDED)             Shared library: [libg1.so.1]
   
3. 0x0000000000000001 (NEEDED)             Shared library: [libcommon_g1.so.1]
   
4. 0x0000000000000001 (NEEDED)             Shared library: [libpthread.so.0]
   
5. 0x0000000000000001 (NEEDED)             Shared library: [libc.so.6]

复制代码

解码后的图片质量还不错。

3.libxvpuwrap
3.1相关文档和API
  i.MX_VPU_Application_Programming_Interface_Linux_Reference_Manual中对VPU Wrapper有了详细的介绍，imx8mm使用的Hantro架构的VPU，而且也提到gst使用的是这个封装库。
  这里面列举的API也确实非常漂亮，但是奈何默认配置解码出错。

3.2vpuwrap_dec可执行程序编译，运行
  scp test_dec_arm_elinux.c vpu_wrapper.h fb_render.* decode_stream.* root@172.18.8.40:/vpu-wrap-dec
  gcc -o wrap_dec *.c -lfslvpuwrap

1. ./wrap_dec -o dec_wrap.yuv -i /unit_tests/VPU/hantro/dance2s.h264 -f 8
   
2. input bitstream(1) avccstream(0) [ 3649.562636] alloc_contig_range: [80900, 81901) PFNs busy
   
3. : /unit_tests/VPU/hantro/dance2s.[ 3649.568666] alloc_contig_range: [80a00, 81a01) PFNs busy
   
4. h264
   
5. max frame_number : 214748[ 3649.577115] alloc_contig_range: [80a00, 81b01) PFNs busy
   
6. 3647, display: 0
   
7. call VPU_DecG[ 3649.585697] alloc_contig_range: [80c00, 81c01) PFNs busy
   
8. etVersionInfo
   
9. vpu lib version : [ 3649.593978] alloc_contig_range: [80c00, 81d01) PFNs busy
   
10. major.minor.rel=1.1.1
    
11. vpu fw v[ 3649.601867] alloc_contig_range: [80e00, 81e01) PFNs busy
    
12. ersion : major.minor.rel_rcode=1.1.1_r0
    
13. vpu wrapper version : major.minor.rel=3.0.0: VPUWRAPPER_ARM64_LINUX Build on Aug 19 2021 04:38:15
    
14. capability: file mode supported: 1
    
15. capability: tile format supported: 1
    
16. capability: report frame size supported: 1
    
17. normal mode
    
18. set input type : normal(0)
    
19. DecodeLoop: read file end: last size=0x43F90
    
20. ProcessInitInfo start
    
21. DecodeLoop: Init OK, [width x height]=[640 x 480], Interlaced: 0, MinFrm: 5
    
22. dead loop 1001 times (decoder has no valid response), and return directly !!!
    
23. decode_stream: vpu reset: handle=0xE927B880
    
24. Frame Num: 0,  [width x height] = [640 x 480], dec FPS: 0, total FPS: 0
    
25. Decode Failure
    
26. root@mys-8mmx:/vpu-wrap-dec# reafelf -d wrap_dec | grep "Shared"
    
27. -sh: reafelf: command not found
    
28. root@mys-8mmx:/vpu-wrap-dec# readelf -d wrap_dec | grep "Shared"
    
29. 0x0000000000000001 (NEEDED)             Shared library: [libfslvpuwrap.so.3]
    
30. 0x0000000000000001 (NEEDED)             Shared library: [libc.so.6]

复制代码

注意：按照原来自己的习惯肯定会将这个错误解决掉，但是这就涉及到yocto编译imx-vpuwrap的问题，算了，后面看机会吧。
3.3代码处理流程简要分析
3.3.1test_dec_arm_elinux.c文件
  main函数调用decode_stream 函数
3.3.2decode.c文件
decode_stream函数调用下面的函数

1. VPU_DecGetVersionInfo
   
2. VPU_DecOpen-->HantroHwDecOmx_decoder_create_h264
   
3. DecodeLoop-->VPU_DecDecodeBuf
   
4. VPU_DecClose

复制代码

3.3.3codec_h264.c文件中
  HantroHwEncOmx_encoder_create_h264函数继续调用

1. H264DecGetAPIVersion
   
2. H264DecGetBuild
   
3. H264DecInit

复制代码

3.3.4上面三个函数非常熟悉了，与驱动部分的关联就在分析
4.libvpuapi2
  其实还有libvpuapi1版本，我们只关注最新的版本即可。这个库感觉是跟VAAPI有写关系。
4.1代码准备
  包括应用程序本身的代码，还包括它所需要的库文件和头文件

1. -rw-r--r-- 1 root root 22763 Aug 10 06:34 decode-example.c
   
2. -rw-r--r-- 1 root root  2655 Aug 10 06:34 h264_utils.c
   
3. -rw-r--r-- 1 root root   505 Aug 10 06:34 h264_utils.h
   
4. drwxr-xr-x 2 root root  4096 Aug 10 06:39 imxdmabuffer
   
5. drwxr-xr-x 2 root root  4096 Aug 10 06:38 imxvpuapi2
   
6. -rw-r--r-- 1 root root  3755 Aug 10 06:34 main.c
   
7. -rw-r--r-- 1 root root  1195 Aug 10 06:34 main.h
   
8. -rwxr-xr-x 1 root root 33960 Aug 10 06:41 vpu_api2-dec
   
9. -rw-r--r-- 1 root root  7117 Aug 10 06:34 y4m_io.c
   
10. -rw-r--r-- 1 root root  1556 Aug 10 06:34 y4m_io.h

复制代码

1. ln -s /usr/lib/libimxvpuapi2.so.2 /usr/lib/libimxvpuapi2.so
   
2. ln -s /usr/lib/libimxdmabuffer.so.1 /usr/lib/libimxdmabuffer.so

复制代码

4.2代码处理流程简要分析
4.2.1main.c文件

1. vpu_api2_init
   
2. vpu_api2_run
   
3. vpu_api2_shutdown

复制代码

4.2.2decode-exampe.c
4.2.2.1vpu_api2_init函数

1. imx_vpu_api_dec_get_global_info
   
2. imx_dma_buffer_allocator_new
   
3. imx_vpu_api_dec_open

复制代码

4.2.2.2vpu_api2_run函数

1. decode_encoded_frames

复制代码

4.2.3  imxvpuapi2_imx8m_hantro_decoder.c

1. imx_vpu_api_dec_get_global_info
   
2. imx_vpu_api_dec_open->HantroHwDecOmx_decoder_create_h264
   
3. imx_vpu_api_dec_decode

复制代码

4.2.4  codec_h264.c
  HantroHwDecOmx_decoder_create_h264函数，调用下面这些函数，是不是很熟悉，驱动部分直接省略。

1. H264DecGetAPIVersion

复制代码

4.3可执行程序运行
  运行log太多，没有全部拷贝。

1. ./vpu_api2-dec -i /unit_tests/VPU/hantro/dance2s.h264 -o vpu_api2_dec.yuv -f 2
   
2. ./vpu_api2-dec: invalid option -- 'f'
   
3. usage:  ./vpu_api2-dec [option]
   
4. 
   
5. option:
   
6.         -i input file
   
7.         -o output file
   
8. 
   
9. global decoder information:
   
10. semi planar frames supported: 1
    
11. fully planar frames supported: 0
    
12. decoded frames are from buffer pool: 1
    
13. min required stream buffer size: 16777216
    
14. required stream buffer physaddr alignment: 16
    
15. required stream buffer size alignment: 1024
    
16. num supported compression formats: 17
    
17.   JPEG
    
18.   WebP
    
19.   MPEG-2 part 2
    
20.   MPEG-4 part 2
    
21.   h.263
    
22.   h.264 / AVC
    
23.   h.265 / HEVC
    
24.   WMV3 / Windows Media Video 9
    
25.   VC-1 / Windows Media Video 9 Advanced Profile
    
26.   VP6
    
27.   VP8
    
28.   VP9
    
29.   AVS
    
30.   DivX 3
    
31.   DivX 4
    
32.   DivX 5
    
33.   Sorenson Spark
    
34. ../git/imxvpuapi2/imxvpuapi2_imx8m_hantro_decoder.c:1409 (imx_vpu_api_dec_open)   debug: successfully opened decoder
    
35. pushing encoded frame with context 0x1000 and 278416 byte into encoder
    
36. ../git/imxvpuapi2/imxvpuapi2_imx8m_hantro_decoder.c:497 (imx_vpu_api_get_free_frame_entry_index)   debug: (re)allocated space for additional frame entry
    
37. ../git/imxvpuapi2/imxvpuapi2_imx8m_hantro_decoder.c:1682 (imx_vpu_api_dec_push_encoded_frame)   log: pushed frame with context 0x1000 PTS 0 DTS 0 frame entry index 0 and 278416 bytes of main data
    
38. draining decoder
    
39. ../git/imxvpuapi2/imxvpuapi2_imx8m_hantro_decoder.c:1737 (imx_vpu_api_dec_decode)   log: decoding frame(s); drain mode enabled: 1
    
40. ../git/imxvpuapi2/imxvpuapi2_imx8m_hantro_decoder.c:1831 (imx_vpu_api_dec_decode)   debug: VPU has no decoded frames to output

复制代码

1. root@mys-8mmx:/vpu-api2# readelf -d vpu_api2-dec | grep "Shared"
   
2. 0x0000000000000001 (NEEDED)             Shared library: [libimxvpuapi2.so.2]
   
3. 0x0000000000000001 (NEEDED)             Shared library: [libimxdmabuffer.so.1]
   
4. 0x0000000000000001 (NEEDED)             Shared library: [libc.so.6]

复制代码

4.4执行结果分析
   不知道是代码的问题，还是运行时log太多，解码后的图像质量比较差，但是整个处理的主题框架时没有问题的。

四、总结

•   关于vpu的使用就介绍这么多，从知识产权的角度，并没有过多的介绍vpu驱动和应用程序太多的内部细节内容，有兴趣可以找代码看看，从本身来讲研究的意义不大，除非自己要开发相关IP，但是这样还不如买合算。
• readelf命令VPU使用总结
  readelf -d vpu_api2-dec | grep "Shared"
• bitbake命令VPU使用总结
  

• bitbake -s显示 recipes 和 tasks 列表
• bitbake -c listtasks recipe_name 查看某个 recipe 提供哪些 tasks
  

0