新一代图像AI ISP技术

2021年12月29日消息，近日，华为海思发布了新一代的越影AI ISP，这是用于物联网智能终端的新一代智能图像处理引擎，突破传统 ISP 图像处理的极限，将业界画质标杆推向新的高度。在近日开幕的2021安博会上，华为海思也展示了新一代越影AI ISP的性能。

现在上海海思官方微信也带来了对于海思新一代 越影 AI ISP 技术的硬核指数的深度解读：

视觉产业过去十年发展，历经“看得见”与“看得清”，到当前“ 看得懂”的智能阶段。图像分辨率持续提升，图像效果不断优化。但是由于视觉感知的场景非常碎片化，在暗光、逆光、运动等场景下输出高质量图像仍然是行业公认的难题。
ISP是对图像传感器输入的原始数据进行图像处理的首个环节，既是“看得清”的重要保证，也是后续“看得懂”的直接输入，ISP输出图像质量决定着“看得懂”的天花板。ISP涵盖了数十种图像信号处理算法。为了适配各种不同的镜头和传感器，需要优化调整成百上千个参数，保证ISP兼备通用性和灵活性。同时ISP中众多模块的算法是相互影响的，算法协同需要大量调试工作。这是一个极其复杂的过程，也是一项极具挑战的任务。面对越来越高的场景复杂度，基于滤波等传统图像处理技术在暗光、宽动态等场景下，画质获得显著改进越来越困难。而且随着参数库逐渐庞大，调试越发困难，开发周期逐步拉长，画质提升的投资收益率也越来越低。

近年来，利用AI进行图像增强逐渐成为行业研究新热点并取得了显著的进展，尤其是利用AI对静态照片的优化已经广泛应用于高端手机的相机拍照并获得了不错的效果。而视觉行业的特点要求能够对高分辨率、高帧率的视频，应用AI进行实时调优，对算法、算力的要求更高，特别是要求在端侧算力环境下高效实现AI ISP功能，获得相比传统ISP更优的效果。    

上海海思利用在传统ISP画质技术上的长期积累和经验，以及在端侧AI架构和优化上的优势，在本届安博会期间发布新一代智能图像处理引擎 — 越影®AI ISP，将传统画质优化经验与AI技术深度融合，为实时高清视频的图像质量带来质的飞跃，相比海思上一代旗舰ISP在五方面取得显著进步。

 【超感光降噪】基于深度学习的智能降噪，信噪比4倍提升

去噪一直是ISP的重要功能，尤其在视频感知领域，夜景下的去噪尤其重要。例如在夜晚光照不足街道或园区，各种各样形态各异的噪声会出现在记录的视频中，严重影响画面清晰度，难以“看得清”，更难以“看得懂”。传统的NR技术采用多级时域/空域滤波，且滤波器设计融合了多种异构类型，收益已逐渐降低。海思利用神经网络深度学习海量低照度场景图片的噪声和信号的分布特性，训练出一套智能降噪的算法模型，让越影®AI ISP能智能区分图像中的信号和噪声，实现低照度场景下的智能降噪。根据测试，越影®相比海思上一代旗舰ISP提升明显，在低照场景下图像信噪比可提升4倍。

【多光谱融合】采用专用硬件加速，实现0.01Lux低照全彩

低照场景下，RGB传感器感光能力急剧下降，导致彩色图像清晰度快速下降，无法同时兼顾图像细节与色彩，给全天候视频感知带来严重挑战。在夜晚交通管理场景下，往往需要在闸口加装爆闪灯来补充照明，容易造成光污染甚至影响驾驶员的行车安全。而多光谱融合技术通过将可见光与红外光感知信息进行融合，在不增加光污染的同时，解决低照环境下由于可见光感光能力不足所造成的细节损失的问题，实现图像色彩与细节的最佳平衡，最终使图像效果达到0.01Lux暗光全彩，细节纹理丰富。

 【超级宽动态】自适应光线复杂变化，动态范围提升12dB

宽动态技术是逆光场景下提升画质的重要技术。例如行车进出隧道口时，由于内外光强反差巨大，如何快速跟踪不断变化的光线，并准确对目标进行自适应曝光，是对自动和辅助驾驶安全非常重要的技术。超级宽动态技术基于智能识别目标场景，对价值区域进行自适应多重曝光，通过智能算法融合不同曝光时间的长帧、中帧、短帧的图像数据，使图像获得暗、亮区域的完美融合：亮处不过曝、暗部细节不丢失，逆光场景所见清晰，暗光区域色彩饱满、细节丰富。根据测试，越影®相比海思上一代旗舰ISP，在逆光场景下动态范围可提升12dB，并且对场景跟踪更迅速，能够有效避免图像画面瞬间过暗或过曝，在3帧以内即收敛至稳定状态。

 【超级稳像】6轴数字防抖，视频成像稳定性大幅提升

消费类摄像机会被广泛应用于运动场景的拍摄，由于在运动中相机的震动会影响最终成像效果，严重影响观看感受。当视觉感知设备被安装于自动或辅助驾驶汽车中，这样的抖动造成的图像模糊甚至可能影响驾驶安全。越影®的超级稳像技术基于IMU 6轴传感信息智能分析运动姿态，通过精准补偿修正动态视频，有效减少由于外部环境晃动或抖动对视频成像造成的影响，可大幅提升各种振动环境下的视频稳定性。

 【多维度感知】多感知跨界融合，激发智慧视觉新潜能

视觉是感知信息的主要输入源，但生产生活对信息的需求是多维度的。越影®支持RGB与雷达、红外热成像、3D结构光等多维度感知能力的融合，匹配红外测温、智能支付、扫地机器人、雷达视频一体机等多种产品需求，可广泛应用于交通管理、金融支付、工业视觉等多种业务场景。这种多维度感知的能力也可被各种行业细分市场所利用，激发更多新品类智能终端的创新。

 视觉与AI是新基建众多领域的关键技术，也是智能终端最重要的基础能力。上海海思以视觉产业为基础，在端侧视觉感知、AI计算领域有深厚的经验和业界领先的核心能力，坚持投入，不断创新，为行业伙伴提供最领先的技术与解决方案。海思越影®AI ISP将视觉与AI能力深度融合，将为千行百业智能终端提供更卓越的视觉能力，在城市管理、工业生产、智慧生活、行车安全等诸多方面，为社会和人们创造更多价值。

参考链接：

https://view.inews.qq.com/a/20211229A03WTE00