javacv汇总篇：javacv教程文档手册开发指南汇总篇

JavaCV入门指南系列：

JavaCV入门指南：序章（看完本章后，不想看原理的小伙伴可直接跳转到《快速上手篇》）

JavaCV入门指南：调用FFmpeg原生API和JavaCV是如何封装了FFmpeg的音视频操作

JavaCV入门指南：调用opencv原生API和JavaCV是如何封装了opencv的图像处理操作

JavaCV入门指南：帧抓取器(FrameGrabber)的原理与应用

JavaCV入门指南：帧录制器/推流器(FrameRecorder)的原理与应用

JavaCV入门指南：帧过滤器(FrameFilter)的原理与应用

JavaCV入门指南：FrameConverter转换工具类及CanvasFrame图像预览工具类

《快速上手篇》（为了区别，单独划分）：

JavaCV入门指南之快速上手篇：快速上手视频拉流、推流、录制文件、录屏、截图和编解码复用解复用等常用音视频处理操作

javaCV实战系列文章：

javacv开发详解之1：调用本机摄像头视频

javaCV开发详解之2：推流器实现，推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV-FFMPEG、javaCV-openCV)

javaCV开发详解之3：收流器实现，录制流媒体服务器的rtsp/rtmp视频文件(基于javaCV-FFMPEG)

javaCV开发详解之4：转流器实现（也可作为本地收流器、推流器，新增添加图片及文字水印，视频图像帧保存），实现rtsp/rtmp/本地文件转发到rtmp流媒体服务器(基于javaCV-FFMPEG)

javaCV开发详解之5：录制音频(录制麦克风)到本地文件/流媒体服务器(基于javax.sound、javaCV-FFMPEG)

javaCV开发详解之6：本地音频(话筒设备)和视频(摄像头)抓取、混合并推送(录制)到服务器(本地)

javaCV开发详解之7：让音频转换更加简单，实现通用音频编码格式转换、重采样等音频参数的转换功能（以pcm16le编码的wav转mp3为例）

javaCV开发详解之8：转封装在rtsp转rtmp流中的应用（无须转码，更低的资源消耗，更好的性能，更低延迟）

javaCV开发详解之9：基于gdigrab的windows屏幕画面抓取/采集（基于javacv的屏幕截屏、录屏功能）

javaCV开发详解之10：基于dshow调用windows摄像头视频和音频，想要获取屏幕画面首选gdigrab

javaCV开发详解之11：视频文件转gif动态图片实现，也支持摄像机、桌面屏幕、流媒体等视频源转gif

javacv开发详解之gif补充篇：如何使用批量的多张图片制作gif动态图，再也不用担心不会制作动态图了

javaCV开发详解之12：视频转apng动态图片实现，支持透明通道，支持摄像机、桌面屏幕、流媒体等视频源转apng动态图

javacv开发详解之apng补充篇：如何使用批量的多张图片制作apng动态图，再也不用担心不会制作动态图了

javaCV开发详解之13：使用FFmpeg Filter过滤器处理音视频

javaCV开发详解之14：音频重采样

javaCV开发详解之15：视频帧像素格式转换

javaCV开发详解之16：使用一张图片推流和一张图片录制成视频文件

javaCV开发详解之17：GIF和APNG动态图片推流和录制成视频文件（以gif转mp4为例）

javaCV开发详解之18：音视频转码（音频编解码和视频编解码）

JavaCV开发详解之19：如何开启GPU硬件加速，使用JavaCV进行音视频的硬解码和硬编码

JavaCV开发详解之20：如何使用JavaCV制作ico图标，图片和视频生成ico图标，视频流录制ico图标

JavaCV开发详解之21：如何使用JavaCV接入gb28181的ps流并推流到流媒体服务和接入海康大华sdk回调h264/hevc裸流

JavaCV开发详解之22：http-flv拉流和http-flv推流及rtmp拉流和rtmp推流实例和flv,live_flv格式说明

JavaCV开发详解之23：hls视频录制，m3u8切片录制和fmp4切片录制详解，以拉流rtmp录制hls切片为例

JavaCV开发详解之24：使用javacv录制dash视频分片，mpeg-dash视频录制和制作

JavaCV开发详解之25：使用javacv保存raw视频像素格式(yuv或者rgb)，并使用ffplay播放raw
JavaCV开发详解之26：使用javacv对视频进行连续截图和覆盖截图，支持png,jpg,bmp等格式快速连续截图，适用于视频快照
JavaCV开发详解之27：使用javacv把视频切割成多个视频分片文件，以mp4为例，把视频切割成MP4分片文件

JavaCV开发详解之28：如何使用javacv进行多图推流和多图合成视频文件,以批量jpg图片推流rtmp和jpg合成flv视频文件为例

JavaCV开发详解之29：使用javacv将多个视频拼接合成单个视频，多个音频拼接合成单个音频
JavaCV开发详解之30：如何使用javacv拉取rtsp视频流，rtsp解复用器详解。如何把rtsp调教的服服帖帖，让rtsp拉流不再丢包

JavaCV开发详解之31：如何计算pts/dts时间戳，在视频转码和转复用中如何自行计算pts/dts时间戳

JavaCV及音视频相关补充篇：

javacv开发详解补充篇：解决转流后视频画面快进慢放，时间跳动过大，监控视频时间戳重新计算pts和dts

javaCV开发详解补充篇：基于avfoundation的苹果Mac和ios获取屏幕画面及录屏/截屏以及摄像头画面和音频采样获取实现

javaCV开发详解之GIF动态图片录制补充篇：windows桌面屏幕画面录制成gif动态图片，支持桌面任意取域生成gif，可扩展支持MacOS/安卓/linux等平台，可扩展支持apng动态图片

音视频编解码问题：javaCV如何快速进行音频预处理和解复用编解码（基于javaCV-FFMPEG）

音视频编解码问题：16/24/32位位音频byte[]转换为小端序short[],int[]，以byte[]转short[]为例

实现给图片增加图片水印或者文字水印（也支持视频图像帧添加水印）

java原生实现屏幕设备遍历和屏幕采集（捕获）等功能

流媒体直播实时视频延迟时间排查和剖析

javacv进阶tesserac文字识别系列：

javaCV文字识别之1：基于google的tesserac ocr识别图片中的文字，跨平台支持英文中文简体繁体等各种字符识别

javaCV文字识别之2：视频文字识别和视频提取字幕文字字符

javacv进阶ffmpeg系列:

javacpp-FFmpeg系列之1：视频拉流解码成YUVJ420P，并保存为jpg图片

javacpp-FFmpeg系列之2：通用拉流解码器，支持视频拉流解码并转换为YUV、BGR24或RGB24等图像像素数据

javacpp-FFmpeg系列之3： 图像数据转换（BGR与BufferdImage互转，RGB与BufferdImage互转）

javacpp-FFmpeg系列补充：FFmpeg解决avformat_find_stream_info检索时间过长问题

javacv进阶opencv系列：

javaCV图像处理之1：实时视频添加文字水印并截取视频图像保存成图片，实现文字水印的字体、位置、大小、粗度、翻转、平滑等操作

javaCV图像处理之2：实时视频添加图片水印，实现不同大小图片叠加，图像透明度控制

javacv图像处理3：使用opencv原生方法遍历摄像头设备及调用（方便多摄像头遍历及调用，相比javacv更快的摄像头读取速度和效率，方便读取后的图像处理）

javacv图像处理系列：国内车辆牌照检测识别系统（万份测试准确率99.7%以上）

javacv人脸检测识别：

JavaCV进阶opencv图像处理：摄像头画面人脸检测

JavaCV进阶opencv图像处理：ffmpeg视频图像画面人脸检测

JavaCV进阶opencv图像处理：批量人脸图像分类训练

JavaCV进阶opencv图像处理：摄像头图像人脸识别

点击链接加入群聊【javaCV中文社区群】：https://jq.qq.com/?_wv=1027&k=aURBcPpo

前言

javacv开发包是用于支持java多媒体开发的一套开发包，可以适用于本地多媒体（音视频）调用以及音视频，图片等文件后期操作（图片修改，音视频解码剪辑等等功能），这里只使用最简单的本地摄像头调用来演示一下javacv的基础功能

重要：

建议使用最新javaCV1.5版本，该版本已解决更早版本中已发现的大部分bug

javacv系列文章使用6个jar包：

javacv.jar,javacpp.jar,ffmpeg.jar,ffmpeg-系统平台.jar，opencv.jar,opencv-系统平台.jar。

其中ffmpeg-系统平台.jar，opencv-系统平台.jar中的系统平台根据开发环境或者测试部署环境自行更改为对应的jar包，比如windows7 64位系统替换为ffmpeg-x86-x64.jar

为什么要这样做：因为ffmpeg-系统平台.jar中存放的是c/c++本地so/dll库，而ffmpeg.jar就是使用javacpp封装的对应本地库java接口的实现，而javacpp就是基于jni的一个功能性封装包，方便实现jni，javacv.jar就是对9个视觉库进行了二次封装，但是实现的功能有限，所以建议新手先熟悉openCV和ffmpeg这两个C/C++库的API后再来看javaCV思路就会很清晰了。

须知：

javacv系列文章默认音视频处理使用ffmpeg，图像处理使用opencv,摄像头抓取使用opencv

javacv官方github维护地址：https://github.com/bytedeco/javacv

1、依赖配置说明

依赖配置问题可以参考博主另一篇文章：JavaCV更新到1.5.x版本后的依赖问题说明以及如何精简依赖包大小

(注意：从其他地方下载的依赖包请积极开心的替换为官方jar包和博主提供jar包；如果使用其他jar包版本而导致出错，不要急着找博主问为啥会报错，先把jar包替换了再试试看)

maven和gradle方式如果想要减小依赖包大小，则需要手动进行排除不需要的平台依赖即可

（1）使用maven添加依赖

  <dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacv-platform</artifactId>
    <version>1.4.4</version>
  </dependency>

（2）使用gradle添加依赖

dependencies {
    compile group: 'org.bytedeco', name: 'javacv-platform', version: '1.4.4'
  }

（3）使用本地jar包方式

最新版实在太大，需要下载全量包的请到官方github.com/bytedeco/javacv下载

以下都是javacv老版本，不再建议下载，建议使用maven或gradle方式构建项目。

javaCV1.3.3版本下载（全量包，文件名:javacv-platform-1.3.3-bin.zip,大小：212M）：http://download.csdn.net/download/eguid_1/10146035

javaCV1.2所有jar包下载：http://download.csdn.net/album/detail/3171

jar包使用须知：

1、windows x64平台用到的opencv依赖：opencv.jar；oepncv-windows-x86_64.jar(其他平台替换为对应的jar包即可)

2、苹果mac需要opencv-macosx-x86_64.jar
3、linux平台需要：opencv-linux-x86_64.jar  

4、安卓平台arm架构的需要opencv-android-arm.jar ，基于x86的需要opencv-android-x86.jar

2、为什么不需要安装opencv？

从javacv0.8开始，已经不需要本地安装opencv，直接通过引用opencv对应的系统平台的引用包即可。

（比如oepncv-windows-x86_64.jar就是典型的64位windows环境依赖包）

3、获取摄像头视频

最终调用的摄像头实时视频图像界面：

预览本机摄像头视频图像的简单实现（由于之前csdn的注释被屏蔽，重新精简优化了代码）：

package cc.eguid.javacv;

import javax.swing.JFrame;

import org.bytedeco.javacv.CanvasFrame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.javacv.FrameGrabber.Exception;
import org.bytedeco.javacv.OpenCVFrameGrabber;

/**
 * 调用本地摄像头窗口视频
 * @author eguid  
 * @date 2016年6月13日
 * @since  javacv1.2
 */
public class JavavcCameraTest{
  public static void main(String[] args) throws Exception, InterruptedException{

    OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(0);//新建opencv抓取器，一般的电脑和移动端设备中摄像头默认序号是0，不排除其他情况
    grabber.start();//开始获取摄像头数据

    CanvasFrame canvas = new CanvasFrame("摄像头预览");//新建一个预览窗口
    canvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);

    //窗口是否关闭
    while(canvas.isDisplayable()){
      /*获取摄像头图像并在窗口中显示,这里Frame frame=grabber.grab()得到是解码后的视频图像*/
      canvas.showImage(grabber.grab());
    }
    grabber.close();//停止抓取
  }
}

是不是很简单，原本很复杂的流媒体操作，javaCV能够帮助我们快速实现。

下一章将会讲解如何把本地摄像头的视频录制成文件以及推送到流媒体服务器：

javaCV开发详解之2：推流器实现和摄像头录制视频功能（支持windows/linux/mac/Android/ios全平台）

支持eguid原创