Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档

本文是总部位于芬兰的Visidon和总部位于英国的 Imagination合作的结果。Visidon 是公认的相机图像增强和分析算法专家，Imagination 拥有一系列世界一流的神经网络加速器(NNA)，每个内核的性能高达每秒 100 TOPS。

本文解决的问题是对来自传统彩色相机的图像进行去噪。解决方案分为两部分：

• 在不破坏图像细节的情况下去除噪声的算法。
• 一种高性能卷积引擎，能够运行经过训练的神经网络，该网络将彩色图像作为输入并输出去噪后的彩色图像。

Visidon 深度神经网络示例

图像去噪的过程有着悠久的历史。现代 CMOS 成像器的工作方式，可以被认为是一组光子计数器。光子以平均速率到达传感器：在波动相对较高的暗区较少，但在波动相对较低的较亮区域（即更好的信噪比）中更多。波动是由于光的物理学而产生的噪声（使用泊松统计），通常无法避免。但是，可以通过进一步处理去除噪声。关键是在不破坏图片内容的情况下做到这一点。

多年来，已经提出了许多解决方案。这些包括简单地稍微模糊图片、使用双边滤波器的复杂方法、基于流形理论的贝尔特拉米滤波器、尺度空间卡尔曼滤波器等。

关于去噪的有趣点首先是噪声在图像的平坦区域中最明显（对而言），而噪声在边缘附近不太明显（对而言）。然而，边缘最有可能被许多去噪算法以其他方式模糊或损坏。损坏的边缘在感知上与噪音一样糟糕！

Visidon 已经创建了一个卷积神经网络模型（相邻），完全实现了所需的目标——去除噪声并同时保留彩色图像中的边缘。

Imagination 的 Series4 多核 NNA 在执行 Visidon 的去噪网络时，提供高性能计算解决方案，同时在低功耗和小面积方面是同类产品中的佼佼者。

图 1 显示了一组示例结果。这项工作中使用的所有图像均为 4,096 x 3,072。这张图片在黑暗的夜间背景上有明亮的白色和蓝色灯光；原始图如图 1a 所示，每个像素 x100 的 RMS 误差如图 1b 所示。误差是在来自网络的浮点结果和通过将网络量化为 16 位，在 Imagination 的 NNA 上运行网络生成的结果之间得出的。

图 1（下图）显示了一个特别困难的图像——然而，任何 8 位颜色通道的最大差异是 +/-1。还展示了（图 1c）原始噪声图像的裁剪，d）来自浮点网络的输出，e）量化网络和 f）由 Visidon 的网络浮点实现提供的结果。无色彩失真，有效消除噪点，边缘完好无损。

 图 1.“困难”图像示例。在查看的十张示例图像中，所有结果都遵循相似的模式。在图 2 所示的日光场景中，每个颜色通道的每个像素没有超过 +/- 1 的错误发生。此图像中的噪点不太明显，但选择了裁剪图来证明降噪不会在任何颜色的边缘产生伪影。

 图 2. 没有边缘或颜色失真的日光场景

在下一张图片（图 3）中，展示了一张明亮的测试图表。同样，没有大于 +/- 1 的错误，并且详细的裁剪显示缺少边缘伪影，这是 Visidon 算法的一个特征。

 图 3. Visidon 结果：明亮的测试图表。

最终的图像结果（图 4）显示了在低光下拍摄的测试图 - 另一个非常困难的图像。在这里，清楚地看到了噪声（泊松统计数据的信噪比随着平均水平的降低而变差）。在原始图像的细节中（图 6c），在较亮和较暗的区域，严重的颜色噪声都很明显。这是单独的红色、绿色和蓝色通道中不相关的波动产生随机颜色变化的结果（近似于三个维度的 Rician 统计）。

Visidon 的去噪算法消除了亮度（亮度）和色度（颜色）中的噪声，同时保留了边缘。值得注意的是，来自网络的浮点结果与来自网络的 16 位量化结果之间没有明显差异，而且这两个结果之间的最大差异在任何像素和任何颜色通道上都是 +/-1。

 图 4. Visidon 结果：低光测试图表。

IMG Series4 多核

图 5. IMG 4NX-MC8 示意图

图 5 中的 IMG 4NX-MC8 具有先进的架构特性，并提供一系列多核版本。4NX-MC1 有一个单核，最高可达 12.5 TOPS（1 TOPS = 1 Tera 操作每秒）。

Imagination 的 4NX-MC1、4NX-MC4 和 4NX-MC6 内核的性能如下表 1 所示。

表 1. Imagination NNA 内核在使用 Imagination 标准工具链生成的 Visidon 降噪网络上的性能和配置

结论

总而言之，这是一个深度卷积神经网络的一个非常有趣的例子，从作为输入的图像中产生作为输出的图像。

在图像质量方面的表现非常出色，因为在处理高质量图像时去噪是一个难题。结果的保真度反映了 Visidon 算法的质量，特别是选择的网络架构和训练方式。还非常清楚地表明，量化网络（在这种情况下为 16 位）可以提供与浮点网络几乎相同的结果。

值得一提的是，确实研究了较低的位深度。大多数神经网络中的错误在 8 位执行时会增加一点。根据应用程序，错误的小幅增加可能是可以接受的。在高质量图像增强的背景下，人类观察者可以看到非常小的错误。8 位数据（激活）时平坦区域的条带很明显，8 位权重时颜色失真很明显。

使用 16 位数据和 16 位权重运行网络根本不会留下任何可见的伪影，并且输出图像中任何像素和颜色的差异都是 +/- 1。

通过运行 Visidon 的去噪网络，Imagination 的 NNA 的性能展示了其超越传统 AI 应用程序的能力及其在图像增强方面的适用性。

参考链接：

https://www.imaginationtech.com/blog/imaginations-neural-network-accelerator-and-visidons-denoising-algorithm-prove-to-be-perfect-partners/