图形处理在多媒体技术应用方面的经验和成果

　　如果你翻阅词典，你会发现，对于“多媒体技术”的表述是——通过计算机对文字、数据、图形、图像、视频、音频等多种媒体信息进行综合处理和管理，使用户可通过多种途径与计算机进行实时信息交互的技术。显然，这种说法早已过时。如今的多媒体硬件设备已经从计算机延伸到手机、平板、电视，以及即将到来或者说已经到来的穿戴式设备，我们已经进入了多媒体技术应用的新时代。
　　而现下，无论在哪一个硬件平台上，多媒体技术中关注度最高的无疑都是图形图像这一部分。移动设备和新一代家庭影像设备市场的火爆，4K2K超高分辨率视频、3D 影像、扩增实境等高端体验需求的出现，使得图形处理技术的重要性与日俱增，并驱动了其在各应用领域的发展。未来，图形处理技术将会如何演进？移动设备对图形处理技术的发展产生了怎样的影响？在日前举办的ARM多媒体应用技术研讨会上，来自ARM公司的技术专家，以及多位ARM的合作伙伴，从不同角度解析了图形处理技术的发展趋势，并分享了他们在多媒体技术应用方面的经验和成果。
　　
　　图1 2014 ARM多媒体应用技术研讨会

　　对于图形处理，GPU or CPU？
　　由于人们对更逼真画质和各种画面特效的不断追求，让图形处理技术开发的热度不减。然而，问题来了，GPU or CPU？哪个更好？影像及视频多媒体软件技术公司 ArcSoft的全球副总裁Frison Xu在研讨会上说，人们需要客观的看待CPU和GPU，因为两者在不同情况下会展现出各自不同的优势。另外，时序也决定了是使用CPU还是GPU。当整个执行过程是一条流水线式的时候，我们采用CPU；而GPU适合于可以分工的情况，如果你可以把运算分解到各个层面，GPU将是一个很好的平台。
　　Frison Xu还介绍了基于GPU技术的人脸美化、人脸识别、夜景优化等等。市场普遍认为，由于GPU的低功耗、以及实时图像处理的实现，随着智能移动设备应用越来越丰富，GPU的优势会更加明显。而GPU Compute则加大了这一层面的筹码。
　　对于ARM推出的Mali GPU，其另一个突出的特点是CPU与GPU的协同设计能力。当所有运算能全部放到Mali GPU上去做的时候，你当然不需要考虑这一点；但是，目前移动设备中CPU与GPU之间的协同处理操作越来越多，两者的协同设计就显得尤为重要。在这一点上，ARM做的非常好，Frison Xu称赞道。
　　
　　图2 ArcSoft图像增强和照片处理采用Mali GPU Compute提高功效，实现低光视频捕捉及复杂的实时静态/动态图像处理。
　　你可能感受到了ARM推广Mali系列的决心，而目前来看，Mali的状况也十分强势。Mali GPU已经获得全球市场的认可，比如Samsung GALAXY Note 10.1采用了支持OpenGL ES 3.0和Open CL 1.1的Mali-T628 GPU。2013年上半年，Mali GPU出货量达到1.5亿， 20% 以上的安卓智能手机采用了Mali GPU，而在安卓平板上的应用占比居于首位。当然，你也会看到，Mali GPU在具有图像核心的智能电视上的应用占比同样排在第一。 对此，ARM多媒体处理器事业部全球市场营销副总裁Dennis Laudick表示，我们关注移动设备领域，但移动设备之外的市场也非常重要。
　　ARM公司CPU事业部营销总监Ian Smythe表示，ARM的目标是将触角延伸到不同的领域。ARM在2013年末收购了图形处理公司Geomerics，获得了Geomerics的光源引擎技术Enlighten。
　　参加本次研讨会的游戏开发引擎公司Unity已经与ARM合作，在其Unity 5游戏引擎中内置了Enlighten技术。Unity公司大中华区总裁Allen Foo表示，Enlighten技术能够让Unity 5游戏引擎实现实时全局光效果，这将大大降低开发者的开发成本。可以看出，ARM通过此举加强了在图形计算及游戏领域的实力。
　　
　　图3 Unity 5内置Enlighten技术
　　
　　图4 TVplay 4K电视游戏
　　无论是规模翻番的手游市场，还是手游之外，像Oculus虚拟沉浸式眼镜这样的新兴硬件设备的出现，都显示出游戏市场的火爆。ARM对这一领域的关心也由来已久。在研讨会展示区，我们还看到了多家公司的大屏幕游戏应用，其中TVplay公司的电视游戏已经达到4K级别。就像几年前你无法想象手机能拍摄2000万像素的照片一样，未来，一切都还会有更多的提升。而ARM所做的就是技术上的推动，不管是GPU Mali系列还是移动领域的64位处理器，硬件平台的发展都将为下一步的多媒体应用带来更多的发挥空间。