Cmaera ISP技术

ISP图像信号处理

1，ISP图像信号处理介绍

2，ISP的目的是什么？

3， ISP的处理流程以及算法

3.1镜头的几何变形

3.2 镜头渐晕

3.3 曝光控制：曝光不足

3.4 Optical Black Clamping

3.5 Image Compression

4 ISP的内部组成

5 ，IC ISP架构

5.1 NuCORE Sip1270 DBE

5.2 TI TMS320DM270

5.3 DM270 CCD

 1.ISP图像信号处理介绍

ISP(Image Signal Processing) 图像信号处理。主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图象传感器。相机用图像处理器ISP（Image Signal Processor）。被管道化的图像处理专用引擎可以高速处理图像信号。也搭载了为了实现Auto Exposure / Auto Focus / Auto White Balance评测的专用电路。另外，THine开发的减噪等图像处理模块，能令各个CMOS传感器实现最高画质。

 2. ISP的目的是什么？

像素对某些波长组之间的光很敏感，本质上是颜色不可知的。获取彩色图像的方法是在顶部放置一个滤镜（通常是拜耳图案滤色镜），然后对相邻像素的颜色进行插值。8 MP CMOS不会为每个像素感应红色，绿色和蓝色，而是为每个像素感应一种颜色，然后ISP根据旁边的颜色猜测颜色。这就是所谓的去马赛克，可能是ISP的主要工作，并且有许多秘密的调味方法来计算此插值图像。此外，ISP还负责其他所有内部管理工作，可以控制相机系统的自动对焦，曝光和白平衡。最近添加了对不完善的镜头系统（例如，在instagram中添加的不完美镜头系统所赋予的渐晕或色差）等镜头缺陷的校正，以及HDR重组，降噪，其他滤镜，脸部校正或脸部校正等功能。对象检测以及色彩空间之间的转换。ISP的功能之间存在差异，但这实际上是将拜耳数据获取到可行的图像阵列中的控制器。

 3.ISP的处理流程以及算法

如下所示是一个典型的数字相机 Pipeline处理流程：

 ISP处理算法大致包括：

Bayer、黑电平补偿 （black level compensation）、镜头矫正（lens shading correction）、坏像素矫正（bad pixel correction）、颜色插值 （demosaic）、Bayer 噪声去除、 白平衡（AWB） 矫正、 色彩矫正（color correction）、gamma 矫正、色彩空间转换（RGB 转换为 YUV）、在YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制，图像压缩等。

3.1镜头的几何变形

 3.2 镜头渐晕

 3.3 曝光控制：曝光不足

 3.4 Optical Black Clamping

 3.5 Image Compression

 4. ISP的内部组成

如下图所示，ISP内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为 ISP 是一个 SOC（system of chip），可以运行各种算法程序，实时处理图像信号。

 CPU：CPU 即中央处理器，可以运行 AF、LSC 等各种图像处理算法，控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。

SUB IP：SUB IP 是各种功能模块的通称，对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。
图像传输接口：图像传输接口主要分两种，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的简称，鉴于 MIPI CSI 的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。
通用外围设备：通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于读取 OTP 信息，控制 VCM 等。对于外置 ISP，ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式，获取其工作状态等。

5.IC ISP架构

5.1 NuCORE Sip1270 DBE

 5.2 TI TMS320DM270

 5.3 DM270 CCD

参考链接：

https://cloud.tencent.com/developer/article/1816477