传感器开发平台
直播中

刘超

7年用户 1429经验值
私信 关注

如何运用HDR技术让高画质图像传输不失真?

运用HDR技术让高画质图像传输不失真

回帖(1)

黄鼎

2021-3-18 16:05:41
  对于图像显示技术而言,追求贴近人眼所能见到的真实世界是必然趋势。在4K电视技术的普及、广色域的使用,以及视频播放流畅度提高到60fps,都已逐步朝人眼所见前进。而下一关卡,“亮度动态范围”是目前图像显示画质欲突破的关卡。此时,“高动态范围 (High Dynamic Range,HDR)”就应运而生,成为近年在国际消费性电子展(CES),图像显示技术最热门的讨论议题,各家音像制造厂商更以提高图像的动态范围为目标,相继投入高动态范围技术,并订定出相关标准,期望对此高规格质量把关。
  本文首先简要介绍了HDR技术;然后深入介绍了目前知名的PQ-HDR——“杜比视界 (Dolby Vision)”提出的感知量化编码,以及BBC/NHK连手研发的混合对数伽玛分布(HLG-HDR),剖析如何将HDR技术运用至显示器,使得传输不失真;最后则是以宜特科技(Integrated Service Technology;iST)信号测试实验室的实际案例,介绍目前显示器主要接口HDMI如何纳入HDR,以及其对应的认证标准。
  HDR技术
  究竟,电视/电影和手机/相机讲的“HDR”到底有什么不一样?
  HDR,多数人熟知是应用在相机的拍摄上,然而相机上所使用的HDR技术与电视视频的HDR,是完全不一样的事情。
  手机/相机的HDR:多数人应该都有逆光拍照的经验,大部份逆光拍照的结果,不是阴影部分黑漆漆一片,就是明亮部分全都过饱和。因此,手机/相机的HDR,就是利用加减曝光指数所拍摄的多张图像,再通过芯片将这几张图像演算成为一张完整的相片;或是,由单张相片做区域性的加减光,演算达到高动态的成像,使各区域都呈现相对清楚的图像。
  电视/电影的HDR:指的更像是一种标准/格式,由于视频属于持续的动态图像,如果要求显示器每一格都像照相机一样由3到5张组合,传输的带宽势必会增加3到5倍,这在现实的环境是达不到的。视频所讨论的HDR便定义在,如何把先进高动态广色域的摄影图像重新分布,并传输给显示器,让显示器能正确的还原先进高动态的图像——这也是作者在宜特实验室协助TFT/IPS电视及投影机等多项产品厂商进行HDR调校时发现多数厂商关切的议题。
  将HDR技术运用至显示器
  首先讨论杜比实验室(Dolby Laboratories Inc.)的Dolby Vision与BBC/NHK如何将HDR技术运用至显示器,使得传输不失真。
  (一) Dolby Vision PQ-HDR EOTF(感知量化-HDR电光转换功能)
  2014年就可以看到杜比实验室公告的Dolby Vsion白皮书,内容是杜比实验室投入HDR的成果,此后在电影电视工程师协会(The Society of Motion Picture and Television Engineers;SMPTE)收纳为SMPTE 2084规范,使HDR不仅成为动态视频录制及播放的讨论重点,SMPTE 2084所定义的版本也成为业界沿用HDR产品的第一代规范。
  杜比HDR的核心技术叫做“感知量化 (Perceptual Quantizer,PQ)”的电-光转换功能(EOTF,将电信号转为可见光),这项技术将亮度标准定义在10,000Nits(普通的电视亮度仅100-200nits左右)。但是,目前还没有实际显示设备能达到这一亮度,因此目前Dolby Vision的亮度目标是4,000nits。
  目前针对亮度处理的技术包括CMOS与CCD传感器,均已能感应高动态范围亮度的图像,然而,如何将HDR图像正确处理、储存并传输至显示器?Dolby通过重新安排亮度分布曲线、增加传输及处理深度(bit width)达12bit、制作环境参数(meta data)后送等方式,以避免重新分布后亮度不连续的问题,更能在图像传输至显示器时,精准还原HDR图像。(此技术收录在SMPTE 2084规范中。)
  
  1. 重新安排亮度分布曲线以及增加传输与处理深度达12bit
  Dolby的主要核心技术EOTF建构在两部分上:依照Barten Ramp重新安排亮度分布曲线;以及增加传输与处理深度12bit。
  根据Barten Ramp,暗部(亮度极低时)人眼视觉灵敏度较低,亮度极高时,人眼对对比的感觉较饱和,而这个曲线是建构在人眼刚刚好可以分辨的亮度改变(JND)上。由图像输出端的光-电转换功能(OETF,EOTF的反向)曲线,可以得知当暗部的分辨率低,跳阶比较粗,亮部视觉比较灵敏,所以跳阶比较密。而正确的亮度分配,正好可以把暗部多出来的阶数贡献给明亮部分,从而达到亮度重新分布的目的。
  增加传输与处理深度达12bit,则可以确保此分布变化不至于使视觉观察到不连续的状况,而总体亮度也可获得更多阶数的处理单位。
  
  图2:PQ-HDR图像输出端的OETF曲线,xy坐标皆为0~10000亮度
  不过,任何图像修正或重新分布的技术,必须同时提供还原的模式,否则在应用上会有一定的困难。图像输出前的技术即为OETF,而图像输出后制处理过的视频技术,定义为EOTF,两者都是一条“非线性的曲线”。然而,在处理亮度校正及色域转换议题时,必须先将信号还原成“线性曲线”,以减少后续处理的复杂度。
  
  图3:PQ-HDR图像输出端的EOTF曲线,x坐标为0~1标准化亮度,y坐标为0~1,024的10位编码
  在图像分布曲线成功还原后,HDR 将“亮度”及“色域”两路分开处理,Dolby的处理方式之一是将YCbCr色域先转为IPT色域,再处理亮度及色彩饱和度。而色域映射(Gamut mapping)更提出由更复杂的3D查找表(3D LUT)来完成。
  当然,使用这种HDR的技术在EOTF线性还原之后,并不一定要使用与上述一模一样的处理方式,多数的芯片都具备有其他定制化处理方式,差别在最终的画质好坏而已。
  
  图4:PQ-HDR IPT处理方式之一
  2. 制作环境参数后送
  要能使显示器正确的还原图像,录像及后制的环境因素必须传输给显示器,才能得到更精确的图像还原。制作HDR环境参数必须包含以下几项重要信息(CEA-8614.3规范及HDMI2.0a规范皆可看到详细信息定义):
  ‧信号源的RGBW色域范围
  ‧显示器的最大/最小亮度值
  ‧视频内容的最大亮度值(MAX CLL)
  ‧一个画面中的最大亮度平均值(MAX Fall)
  在实际应用案例上,例如宜特实验室收到多数送来测试的HDR视频,大多都以DCI P3色域及Mastering 4000 Cd/m2占多数,其他部分有些资料并不正确,因此显示器在处理时可能要有一些机制判断环境参数是否为合理值。
  在HDR信号处理完毕之后,显示器在处理系统时,还必须设法把亮度曲线校正为较适合人眼的Gamma 2.0~2.4,以及颜色还原到显示器定义的色域范围,才能完成HDR的显示流程。
  所以,正确的校正流程应该是由信号源产生HDR的亮度信号,并产生对应的环境参数,显示器收到环境参数后计算出适当的还原曲线,并校正为符合显示器规格的亮度分布。
  (二) BBC/NHK的HLG-HDR对应方案
  英国BBC及日本NHK电视台,也提出了对应的HDR 方案,称之为对数伽玛分布(Hybrid Log-Gamma;HLG),相对于Dolby 的PQ-HDR,HLG在应用上的方便性,是不需要Meta data 的传输,并在大部分既有的显示芯片上经过运算就可以执行,最后,再经过最终显示器亮度及色域的校正,便能达到HLG所宣称的效果(技术细节参考ITU-R BT.2100.0规范)。此版本也成为业界沿用HDR产品的第二代规范。
  
  图5:HLG-HDR处理方块图
  与PQ-HDR类似的,HLG-HDR也同样提出对应的OETF曲线,但是在HLG的作法上比较单纯也相对精确,信号源部分将亮度依照HLG OETF分布编码。而显示器部分则根据反向的OETF (OETF-1),先将信号线性化再做定制化的亮度及色彩修正,最后再根据显示屏幕的最大、最小亮度及环境亮度还原为HLG定义的亮度分布,称之为光-光转换功能(OOTF)。
  ‧OOTF部分HLG特别加入了环境的亮度,实验的结果是以对数(Log)的方式呈现,关系式如下:
  r=1+(1/5) *Log(Ypeak / Ysrround)
  ‧完整的EOTF则包含OOTF部分:
  Yd=αYsr+β
  α=Lw-Lb (for Y range 0~1),β=Lb
  Lw: 标准亮度峰值
  Lb: Display luminance for black.
  目前,HLG的最大亮度只在1,000Cd/m2下讨论,并不像PQ-HDR可以延伸到4000甚至10,000Cd/m2。有趣的是在ITU-R BT.2100附录中提到了PQ-HLG相互转换的方式,其实只要能够还原成线性曲线,各规范之间互转其实都做得到的。
  
  为HDMI导入HDR及其对应认证标准
  由于HDMI是显示型消费性产品的主要接口,多数显示产品会倾向先取得HDMI HDR的认证(HDMI2.0a),作为导入HDR产品的第一步。
  HDMI协会在2015公告了HDR的标准后,便成为第一个导入HDR的有线传输界面,不再局限于图像串流的应用。
  HDMI目前对于HDR的认证仅限于协议(Protocol)的部分,认证项目包括:
  ‧HF1-53:Source Dynamic Range and Mastering InfoFrame–High Dynamic Range
  ‧HF2-54:Sink EDID–HDR Static Metadata Data Block
  ‧HF3-21:Repeater Repeated Output Port HDR
  ‧HF3-22:Repeater Repeated Output Port Source Functionality HDR
  ‧HF3-23:Repeater Repeated Input Port HDR
  ‧HF3-24:Repeater Repeated Input Port Sink Functionality HDR
举报

更多回帖

发帖
×
20
完善资料,
赚取积分