这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos
Kurento 是一个 WebRTC 媒体服务器和一组客户端API,因此,基础WebRTC知识储备是强制的、必要的,建议您提前有所了解;
没有Kurento时基于WebRTC的点对点音视频流处理逻辑如下:
对WebRTC有了了解后,应该对GStreamer有基本的了解,然后再去学习Kurento会有更好的效果,这样当你在学习Kurento的过程中,遇到pipeline、element、src、sink这些概念时会有种本该如此的感觉:这些概念在GStream中同样存在且十分重要,它们发挥的作用和在Kurento中十分相似;
Kurento的KMS中,录制、播放、编解码等能力都来自GStream库;
GStreamer 是个开源多媒体框架,可以构建流媒体应用,以管道(Pipeline)方式将各步骤串联,每个步骤的元素(Element)基于GObjec通过插件(plugins)方式实现;
下面是个典型的pipeline,功能是将一个多媒体文件的音视频分离,再分别输出到音频和视频设备上:
看到这里,聪明的您对GStreamer和Kurento应该有了更深刻全面的认识:Kurento在设计上和GStreamer基本对齐,并且将GStreamer的已有能力和WebRtc实时音视频技术在Pipeline+Element机制下整合组装,打造出高效可扩展的音视频技术方案;
随着Kurento学习的深入,会接触到更多的GStreamer知识,如下图是Kurento源码的脚手架文件夹中的模板代码:
为了更好的使用KMS的能力,Kurento官方提供了java和nodejs两个版本的客户端;
如果您擅长的编程语言不是java或nodejs也没关系,可以参考Kurento Protocol自己来实现客户端(作为java程序员的欣宸涌现出一丝优越感…);
客户端的作用:提供API给业务
【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开:qq.cn.hn/FTf 免费领取
调用,通过这些API可以向KMS发送指令,让KMS为业务服务,例如编排pipeline,如下图,重点是业务应用服务,集成了Kurento的客户端后就能向KMS发送指令了:
Kurento中涉及的概念并不算多,且很多都向GStreams对其了,总的来说比较好理解,在此将所有重要概念梳理出来便于后面的学习:
module:Kurento本身是插件化的框架,所有插件(plugin)都被称为module;
官方将所有module分为三大类:main、built-in、custome,下图很形象的解释了它们在Kurento中的定位: