简述相机

Author: Chance Zhang

Contact: 603718892@qq.com

不想写....

慢慢补充吧...

未来这里应该要重点介绍1. 相机分类 2. 相机的几何模型 6.1 Hixxx SoC, 其他的就简单介绍了

之后在后续博客中先介绍完传统ISP算法, 然后再看基于学习的ISP算法, 然后写Android Camera的一些东西

接着开始写硬件上的ISP, 然后是NPU, 然后是硬件Codec, 然后尝试把它们的Pipeline合起来, 节省一些片上面积, ...

接下来再分析一下AR, 搞搞SLAM, 学学CG, 尝试自己造一些有意思的轮子, ...

或者还可以找一些光场相机的数据集, 复现一下论文, 然后从几何的视角, 看看能不能把这些东西整的小型化, 便宜耐操, ...

• 简述相机
  • 1. 相机分类
    • 1.1 传统相机
      • 1.1.1 镜头与焦距
      • 1.1.2 快门与曝光
    • 1.2 数码相机
      • 1.2.1 数字感光器件
      • 1.2.2 手机摄像头
      • 1.2.3 颜色与颜色空间
    • 1.3 RGB-D相机
      • 1.3.1 结构光和TOF
      • 1.3.2 双目相机
    • 1.4 其他相机
      • 1.4.1 光场相机
      • 1.4.2 偏振相机
  • 2. 相机的几何模型
    • 2.1 小孔成像
      • 2.1.1 小孔成像
      • 2.1.2 透视投影矩阵
    • 2.2 相机参数与标定
      • 2.2.1 相机的内参与外参
      • 2.2.2 镜头的非线性畸变
      • 2.2.3 相机标定流程+工具
    • 2.3 双目相机与标定
      • 2.3.1 双视图几何
      • 2.3.2 特征提取与匹配
      • 2.3.3 双目相机标定
      • 2.3.4 相机位姿估计
    • 2.4 Structure from Motion
      • 2.4.1 多视图几何
      • 2.4.2 SfM算法
    • 2.5 三维重建
      • 2.5.1 稠密深度估计
      • 2.5.2 三维几何重建
      • 2.5.3 表面纹理重建
  • 3. AR
    • 3.1 VR vs AR
    • 3.2 AR-几何一致性
      • 3.2.1 成像 vs 图形学
      • 3.2.2 VISLAM
      • 3.2.3 AR实时三维注册
    • 3.3 AR-光照一致性
      • 3.3.1 成像 vs 图形学
      • 3.3.2 虚拟物体的绘制
      • 3.3.3 现实环境光照估计
      • 3.3.4 虚实视觉融合
  • 4. 音视频技术
    • 4.1 通信网络
    • 4.2 音视频技术
    • 4.3 基于学习的编码
    • 4.4 特别介绍-WebRTC
    • 4.5 区块链+音视频
      • 4.5.1 区块链, FT和NFT
      • 4.5.2 音视频方面的展望
  • 5. 美颜与特效
    • 5.1 云计算 vs 边缘计算
    • 5.2 端上神经网络加速-NCNN
    • 5.3 人脸美颜与美妆
    • 5.4 渲染引擎
    • 5.5 风格化
  • 6. SoC
    • 6.1 Hixxx SoC
    • 6.2 CPU vs xPU
    • 6.3 ISP Pipeline
    • 6.4 Media Codec
    • 6.5 GPU Pipeline
    • 6.6 NPU
  • 7. Android Camera
    • 7.1 Qualcomm vs MTK
    • 7.2 Android & Linux
    • 7.3 Android开发组件
    • 7.4 Android Camera
    • 7.5 Driver

1. 相机分类

1.1 传统相机

1.1.1 镜头与焦距

1.1.2 快门与曝光

1.2 数码相机

1.2.1 数字感光器件

1.2.2 手机摄像头

1.2.3 颜色与颜色空间

1.3 RGB-D相机

1.3.1 结构光和TOF

1.3.2 双目相机

双目获得深度 (单目也可以获得深度)

1.4 其他相机

1.4.1 光场相机

1.4.2 偏振相机

(等一波GAMES 204老师的介绍)

2. 相机的几何模型

2.1 小孔成像

2.1.1 小孔成像

2.1.2 透视投影矩阵

2.2 相机参数与标定

2.2.1 相机的内参与外参

2.2.2 镜头的非线性畸变

2.2.3 相机标定流程+工具

2.3 双目相机与标定

2.3.1 双视图几何

2.3.2 特征提取与匹配

2.3.3 双目相机标定

2.3.4 相机位姿估计

2.4 Structure from Motion

2.4.1 多视图几何

2.4.2 SfM算法

2.5 三维重建

2.5.1 稠密深度估计

2.5.2 三维几何重建

2.5.3 表面纹理重建

3. AR

3.1 VR vs AR

3.2 AR-几何一致性

3.2.1 成像 vs 图形学

成像的几何模型 vs 图形学的几何

3.2.2 VISLAM

3.2.3 AR实时三维注册

• 平面标志物
• VISLAM
• 三维物体目标跟踪

3.3 AR-光照一致性

3.3.1 成像 vs 图形学

3.3.2 虚拟物体的绘制

3.3.3 现实环境光照估计

3.3.4 虚实视觉融合

4. 音视频技术

4.1 通信网络

通信: 编码 + 网络

本地编码:

网络协议栈:

技术选型时, 考虑开销:

4.2 音视频技术

协议: 流媒体协议, HTTP, RTMP, HLS, Quic, WebRTC

封装: 视频的封装格式, MP4, AVI, RMVB, MKV, FLV

编码: 音频编码-MP3, PCM, WAV, AAC, AC-3; 视频编码-H263, H264, HEVC(H265), MPEG-2, MPEG-4;

4.3 基于学习的编码

4.4 特别介绍-WebRTC

技术选型, 对WebRTC的基本介绍

TCP: RTMP, HLS(M3U8) // + FFmpeg

UDP: Quic, WebRTC

4.5 区块链+音视频

4.5.1 区块链, FT和NFT

4.5.2 音视频方面的展望

内容审核, 媒体内容溯源, 版权保护

5. 美颜与特效

5.1 云计算 vs 边缘计算

5.2 端上神经网络加速-NCNN

目标识别, 物体分割, ... 等等基本模块

加速基本原理: 神经网络压缩, 异构计算

5.3 人脸美颜与美妆

基本算法 + 直播场景的挑战

5.4 渲染引擎

5.5 风格化

对抗神经网络

常见的算法: xxxx

手机端的优化

6. SoC

6.1 Hixxx SoC

介绍SoC有哪些模块

6.2 CPU vs xPU

CPU基础; DSP, ISP, Codec, GPU, NPU, ...

6.3 ISP Pipeline

ISP vs DSP

6.4 Media Codec

软编码 vs 硬编码

6.5 GPU Pipeline

6.6 NPU

7. Android Camera

7.1 Qualcomm vs MTK

7.2 Android & Linux

Android系统架构, Dalvik虚拟机, 进程通信, ...

Linux内核, ...

7.3 Android开发组件

Activity, ..

7.4 Android Camera

7.5 Driver

Ref:

[1] 张茂军, 刘煜, 王炜, 张政, 计算摄影学基础.

[2] 詹先成, 现代照相机原理与选购 Lecture Notes. Available: src.

[3] 烓围玮未, ISP从算法到硬件设计——从CCM到sensor结构. Available: src.

[4] 水中的泪, 多相机阵列综述. Available: src.

[5] 鲍虎军, 章国锋, 秦学英, 增强现实: 原理, 算法与应用.

[6] 恋猫de小郭, 探索移动端音视频与GSYVideoPlayer之旅 ｜ Agora Talk. Available: src.

[7] 阿里巴巴大淘宝技术, 可以用WebRTC来做视频直播吗. Available: src.

[8] CharonChui, Android WebRTC简介. Available: src.

[9] 国家广播电视总局司, 广播电视和网络视听区块链技术应用白皮书(2020).

[10] OpenASIC, ....Codec....

[11] 言有三, 深度学习之摄影图像处理.

Sorry for possible secondary citation.