地 址：北京市顺义区66号
电 话：17730087525
网址：dsesh.com
邮 箱：95810039@qq.com
在当今的音视移动互联网时代，直(zhi)播类产品我们再熟悉不过了，频技比(bi)如看游戏直播、分享给美女主播打赏、个(ge)最构和听直播课程等(deng)。基本此外(wai)，流程伴随着抖音、音视快手等短视频类应(ying)用的频技爆发，视频类产品更是分享时刻充斥着我们的生活。那么，个最构和直(zhi)播类或者(zhe)视频的基本产品背后涉及到的音(yin)视频技术知(zhi)识都有哪些呢？本文将从直播类(lei)产品的基(ji)础架构出发，阐述一些基础的流程音视频技术知识。
（音视频领域博大精深，音视本文仅从(cong)一个PM的频技角度出发，总结一些最基本的分享内容）
一个(ge)直播功能通用的基础架构涉及三个部分，即音视频采集端、云服务端和音视频播放端。
如下图，是一个APP直播功能的架构：
从上图中我们可以看到，每一个部分都有各自要处理的一些工(gong)作。
总体来说，视频直播类功能的(de)整体(ti)流(liu)程包括以下(xia)内容(rong)：
音(yin)视频采集音视频处理音视频编码和封装推流流媒体服务器处理拉流音视频解码音视频播放在具体了解每个流(liu)程之前，我们先从音(yin)视频的基本知识入手(shou)。
二、音视频技术基础1. 音频我们平(ping)时在手机或电脑里听到的音频，是已经数字化了的音频模拟信号。最初，这些音频都是始于物理的声音。
中学物理都学过，声音是波，是通过物体的振动产生的。
声波具有三要素：
音调(diao)：也叫音频，频率越高，波长就会越短，而低频声响的波长则较长。所以这样的声音更容易绕过障碍物。能量衰减就越小，声音就会传播的(de)越远；音量：就是振动的幅度。用不同的力度敲打桌面，声音的大小(xiao)势必发生变换。在生活中，我们用分贝描述声音(yin)的响度；音色：在同样的频率和(he)响度下，不同的物(wu)体发出的声音不一样。波形(xing)的形状(zhuang)决定了声音的音色。因(yin)为不同的(de)介质所产生的波形(xing)不同，就会产生不一样的音色。模拟信号的数字化过程：
模拟信号的数字化过程，就是将模拟信号(hao)转换为数字信号的过程，包括采样、量化和编码。
我们可以通过下图(tu)理(li)解这一过(guo)程：
采样：可以理解为在时间轴上对信号进行数字化。通常用采样率来保(bao)证一定频率范围内的(de)声音可以被数字化成功，比如(ru)：采样频率一般是44.1KHZ，指(zhi)的就(jiu)是1秒会采样44100次。量化：指的是(shi)在幅度轴上对信号进行数字化，就是声音(yin)波形的数(shu)据是多少位的二(er)进制数据，单位是bit。比如：常用16bit的二进制(zhi)信号来存放(fang)一个采样，这又叫做量化级。量化级是数字声音质(zhi)量的重要指标，通(tong)常将声音描述为(wei)24bit（量化级）、48KHZ（采样率）。编码：按照一定的格式记录采样和量化后的数据。音频编码的格式有很多种，通常所说的音频裸数据指的是脉冲编码调制(PCM)数据。PCM音频流的码率可(ke)以用(yong)来描述PCM数据，它的计(ji)算(suan)公式是：采样频率*采样大小（量化级）*声道数（单声道、双声道和多声道）。通过上述的流程，就实现了(le)音频信号的数字化(hua)过程。转为(wei)数字信号之后，就可以对这(zhe)些(xie)数据进(jin)行存储、播放、复制获取(qu)等其他操作了。
音频编码：
上面我们说到了，编码就是按照一定的格式记录采样和量化后的数据，那么到底为什么(me)需要编码呢？
采集和量化后的数据是非常大的，从(cong)存储或者网络实时传(chuan)播的(de)角度来说，这个数据量都太大了(le)。对于存储和传输都是非常具有挑战(zhan)的，所(suo)以我们需要通过(guo)编码来进行压缩。
压缩编码的指标是压缩比，压缩比通常是小于1的(de)。
压(ya)缩编码算法分为2种：有损压缩和无损压缩。
无损压缩：解(jie)压后的(de)数据可以完全复原(yuan)。在常用(yong)的压缩格式。用(yong)的较多的都是有损压(ya)缩。有损压缩：解(jie)压后的数据不能完全复(fu)原，会丢失一部分信息。压缩比越小，丢失的信息就会(hui)越多，信号还原的失真(zhen)就会越大。压缩编码的实质就是压缩冗余的信号，冗余信号就是指不能被人(ren)耳感知的信号，包括：人耳听觉范围之外的音频信号以及被(bei)掩盖掉的音频信号。信号的掩蔽可以分为频域(yu)掩蔽和时域掩蔽，关(guan)于信号的掩蔽大家(jia)可以自(zi)行百度一下，这里就不做过(guo)多阐述了。
那么，音(yin)频压缩编码的常用格式都有哪些呢？
主要包括：WMA编码；MP3编码；AAC编码，这(zhe)个是现(xian)在(zai)比较热门的有损压(ya)缩编码技术，也(ye)是目前在直(zhi)播或小视频中常用的编码格式；OGG编码等。
2. 视频数字视频：
我们平时在手机或PC上看到的视频，是由内容元素、编码格式和封装(zhuang)容器构成的。
内容元素：包括图像(xiang)（Image）、音频（Audio）和元信息（Metadata）。编码格式：包括视频常用编码格式H264，和音频常用编码格式AAC。封装(zhuang)容(rong)器(qi)：这就是常见的文件格式，如MP4、MOV、FLV、RMVB、AVI等等。图像：
图像(xiang)是人对视觉感知的物质重现。三维图像的(de)对象包括：深度、纹理和亮度信息，二维图像(xiang)包括纹理和亮度信息，我们可以简单的把纹理就理解为图像。
说了图像(xiang)的概念，现在来说下视频：视频是由多幅图(tu)像(xiang)构成(cheng)的，是一组连续的图像。一个基本的数字视频，基(ji)本是通过“采集——处理(li)——显示”形成的。
编码格式(shi)：
上面我们说(shuo)到了音频的编码，视频同样是存在编码的过程(cheng)的。视频编解码的过程是指对(dui)数字视频进(jin)行压缩或(huo)解压缩的过程。
在进行视频的编解码时，需要考虑以下因(yin)素的平衡：视频的质量、用来表示(shi)视频所需要的数据量（通常称之为码率）、编码算法和解码算法的(de)复杂度、针对数据丢失和错误的(de)鲁棒性、编辑的方便性、随机访问、编码算法设计的完美性、端到端的(de)延时以及其(qi)它一些因素。
常用的视频编解码方式有H.26X系列和MPEG系列(lie)，而目前最常用的视频编码格式是H.264，它的优点是低码率、图像质(zhi)量高、容错能力强、网络适应性(xing)更强，并且已被广泛应用于实时视频应用中。
再介绍一些关于H.264的知识：
当采集(ji)视频信号时，如果采用逐行扫描，则每次扫描得到的信号就是一副图像(xiang)，也就是一帧。如果采用隔行扫描（奇、偶数行），则扫描下来的一帧图像就被分为了(le)两个部分，这每一部分就称为场，根据次序分为：顶场（也成为偶数场）和底场（也成为奇数场）。
帧和场的概念又带来了不同的编码方式：帧编码和场编码。逐行扫描适合于运动图像，所以对于运动图像采用帧编码更好；而(er)隔行扫描适合于非运动图像，所以对于非运动图像采用场编码更理想。
封装格式(shi)：
视频的封装格式可以看成是一个装载着视频、音频、视频编解码方式等信息的容器。一种视频封装格式可以支持多种的视频编解码方式，比如：QuickTime（.MOV）支持几乎所(suo)有的编解码方式，MPEG（.MP4）也支持大部分的编解码方式。
在(zai)PC上，我们经常会使用(yong).MOV的视频文件。通过以上的介绍，我们就知道了，这个视频的文件格式是.MOV，封装格式是QuickTime File Format，但是我们无法知道它的视频编解码方式。如果(guo)我们想(xiang)要专业的去描述一个视频，可以描述成(cheng)：H.264/MOV的视频文件，这就(jiu)是说它的封装方式是QuickTime File Format，文件格式是.MOV，编码方式是(shi)H.264。
H.264：
H.264是一种高性能的视频编解(jie)码技术，是由“国际电联”和“国际标准(zhun)化组(zu)织ISO”联合组(zu)建的联合(he)视频组共同制定的新的(de)数字视频编码标准。
我们首先要知道，无论是视频或音频编码，其目的都是压缩。视频编码的目的，是抽取出冗余信息，这些冗余信息包括：空间冗余、时间冗余、编码冗余、视觉冗余和知识冗余。
基于此，H.264的压缩技术涉及：
a）帧内预测压(ya)缩，解决的就是空间数据(ju)冗余问题。空间冗余数据就(jiu)是图(tu)里数据在宽高空间内包含了很多颜色和光(guang)亮，人的肉眼很难察觉的数据。对于这些数据，我们是可以直接压缩掉的(de)。
帧内压缩对应的是I帧——即关键帧。那(na)么什么是I帧呢？网上教程中有一个经典的例子，如果摄像头对着你拍摄，1秒之内实际你发生的变(bian)化是非常少的。摄像机一般1秒钟会抓取几十帧的数据，比如像动画，就是(shi)25帧/s，一般视频文件都是(shi)在30帧/s左右。那些对于一组帧来说(shuo)变化很小的，为了便于压缩数(shu)据，就(jiu)将第一帧完整的保存下来。如果没有这个关键(jian)帧后(hou)面解(jie)码数据是完(wan)成不了的，所以I帧是特别关键的。
b）帧间预测压缩，解决的是时间数据冗余问题。在上面的例子中，摄像头在(zai)一段时间(jian)内所捕捉的(de)数据没有较大的变化，我们针对这一时间内(nei)的(de)相(xiang)同的数据压缩掉，这就是时间数据压缩。
帧间压缩对应的是P帧和(he)B帧。P帧是向前参考帧，压缩时只参考前一个帧。而(er)B帧是双向参考帧，压缩时即参考前一帧也参考后一帧。
c）整数离散余弦变换（DCT），将空间(jian)上的相关(guan)性变为频域上无关的数据然后进行量化。
d）CABAC压缩：无损压缩。
H.264除了上述的关键技术，还(hai)有几(ji)个重要的概念需要了解：
GOF：一组帧，就是一个(ge)I帧到下一个I帧，这(zhe)一组的数(shu)据。包括B帧/P帧，我们称为GOF。SPS和(he)PPS：SPS和PPS是GOF的参数，SPS是存放帧数(shu)，参(can)考帧数目，解码图像尺寸，帧场编码模式选择标识(shi)等(deng)。而PPS是存放熵编码模式选择标识，片组数目，初始量化参数和去方块滤波系数调整标识(shi)等。在(zai)进行视频解码的时候，接收到一组帧GOF之前，我们首先收到的是(shi)SPS/PPS数(shu)据，如果没有这组参数的话，是无法进行解码的。
因此，如果在(zai)解(jie)码时发生(sheng)错误，首先要检查是否有SPS/PPS。如果没有，就要检查是因为对端没有发送过来还是因为对端在发送过程(cheng)中丢失了。
更加详细的H.264编码原理这里就(jiu)不做介绍了，大家感兴趣的可以上网查阅一下资料，比如：宏块分组划分、宏块查找、帧内预测、DCT压缩以及H.264的码流结构等知识。
三、直(zhi)播流程详述通过上面的介绍，我们已经了解音视频一些基本的知识。接下来，我们一起再描述一遍直播类应用(yong)的整体流程。
1. 音视频采集在音视频采集阶段会包括：音频采集和图像采集。
在音频采集时，除了(le)上面我们说到的采样率、量化级数和声道(dao)数参数外，还需要音频帧。
音频跟视频很不一样，视频每一帧就(jiu)是一张图像，而从声音的正玄波可以看出：音频数据是流式的(de)，没(mei)有明确的一帧帧的概念。在实(shi)际的应用中，为了音频算法处理/传输的方便，一般约定俗成取 2.5ms~60ms 为单位(wei)的数据量(liang)为一帧音频。
这个时间被(bei)称之为(wei)“采样时间”，其长度没有(you)特(te)别的标准，它是根据编解码器和具体应用的需(xu)求来决定的。
在图像(xiang)采集中(zhong)，采集(ji)的图片(pian)结果(guo)会组合成一组连续播放的动(dong)画，即构成视频中(zhong)可肉眼观看的内容。
图像的采集过程(cheng)主要(yao)由摄像头等设备拍摄成 YUV 编码的原始数据，然后经过编码压(ya)缩成 H.264 等格式的数据分发出去。在图像采集阶段，涉及的(de)主要技术参数包括：图像传输格式、图像格式、传(chuan)输通道、分辨率以(yi)及采样率。
在(zai)音视频的采集阶段，常用的采集源包括摄像头，比如手机的前后置摄像头；游戏直播中使(shi)用的屏幕录制；和电视节目中视频文件的直接推流。
2. 音(yin)视频处理视频处理包括：美颜、滤镜、面部识别、水印、剪辑拼接等。音频处理包括：混音、降噪、声音特(te)效等。
下(xia)面我们简要描述一下美颜和视频水印的基本原理(li)：
美颜的主要原理是通过【磨皮】+【美白】来达到整体美颜效果的。磨皮的技术术(shu)语是(shi)去噪，也就是对图像中(zhong)的噪点进行去(qu)除或者模糊化处理，常见的(de)去噪算法有均值模糊、高斯模糊和中值(zhi)滤波等。这个环节中也涉及到人脸和皮肤检测技术(shu)。
视频水印包括播放器水印和视频内嵌水印两种方式。对于播放器水印来说，如果没有有效的防盗措施，对于没有播放鉴权的推流，客户端拿到直播流之后可以在任何一个不带水印的播放器里面播放，因此也就失去了视频保(bao)护的能力。所以，一般来说会(hui)选择视频内(nei)嵌水印的方(fang)式打水印，这样，水印就会内嵌到视频之(zhi)内，在视频播放的过程中持续显示。
再多聊一些(xie)，视频内嵌水印也会应(ying)用(yong)在软件中，软件中播出企业内部版权保(bao)护的动画段视频时，会应用到内嵌水印的技术。
3. 音视频编码和封装音视频的(de)编码以(yi)及视频的封装在上述基础知识部分(fen)已经介绍过了，这里不再赘述。
在这里(li)说一下编码器的知识。上文中我(wo)们了解了H.264的编码技术，编码流程是要基于编码器进行的。
编码器(qi)的主要流程是：帧内预测（去除空间冗余）/帧间预测（去除时间冗余）——变换（去除空间冗余）——量化（去(qu)除视觉冗余）——熵编码（去除编码冗余）。通过该流程，即可(ke)完(wan)成音视频的编码步骤。
4. 推流(liu)推流就是将处理(li)过的音频和视频数(shu)据通过流媒体协议发送到流媒体(ti)服务器。
推流协议：
推流所遵循的协议有RTMP、WebRTC和基于UDP的私有协议。
RTMP协议是基(ji)于TCP协议的，RTMP 是目前主流(liu)的流媒体传输协议，广泛用于直播领域，市面上绝大多数的直播产品都采用了这个协议。但(dan)是，由于基于TCP协议，传输成(cheng)本高，在弱网环境下丢包率高，不支持浏览器推送。WebRTC是一个支持网页浏览器进行(xing)实(shi)时语音对话或视频对话的 API，主要应用于视频会议。它的主流(liu)浏览器支持度高，并且底层基于SRTP和UDP，弱网情况优化空间大。基于UDP的私有协议。有些直播应用会使用 UDP 做为(wei)底层协议开发自己的私有(you)协议，因为 UDP在弱网环境下的优势通过一些(xie)定制化的调优可以达到比较好的弱网优化效果，但(dan)是开发(fa)成过高。CDN：
推出去的流媒体要给各个地理位置的观众(zhong)看，那么这里(li)就需要CDN网络了。CDN就是为了解决用户访问网络资源慢而产生的技术。
CDN包括边缘节点、二级节点和(he)源站。内(nei)容提供方可以将内容放到源站上，用户从边缘节(jie)点获取数据(ju)，而CDN的二级节点则用于缓存，减轻源站压力。
在直播领域中，CDN要支(zhi)持的服务如下：
流媒体协议的支持。比如RTMP等；首屏秒开。从用户点击到播放控制在秒级以内；1~3 延迟控制。从推流端到播放(fang)端，延迟控制在 1~3 秒之间；全球(qiu)全网智能路由。可以利用整个CDN网络内的所有节点为某一单一用户服务，不(bu)受地域限制。5. 流媒体服务器处理流媒体服务器要做的事情包括：数据分发（CDN）、支持上述CDN的一些服务、实时转码以及(ji)内容的检测（鉴黄）等。
6. 拉流拉流就是客户端从流媒体服务器上拉取获得上述步骤中(zhong)的音视频数据。同理，这个过程也是要基于上述的协议和CDN。
7. 音视频解码在上述H.264编码的介绍中，说到了SPS/PPS是解码必(bi)备的(de)数据。此步骤就是需要对拉流下来已编码的音(yin)视频数据进行解码。
解码过程就是编码的逆过程，这个过程包括：熵解(jie)码、变换解码、预测解码。
这里要说明的(de)是：如果H264码流中I帧错误或丢失，就会导致错误传递，单独的P帧或B帧是完成不(bu)了解码工作的。I帧所保留的是一张完整的视频帧，是解码的关键(jian)所(suo)在。
8. 音(yin)视频播放在完成了音视频数据的解码后，就可以通过(guo)硬件设备（手机或PC）上的播放器(qi)对音视频文件进行渲染播放了。
那么，上述架构图中的信令服务器是干什么的呢？
在网络中传输着各种信号，其中一部分是我们需要的（例如：打电话的语音，上网的数据包等等），而另外一部分是我们不需要的(de)（只能说不是直接(jie)需要）它(ta)用来专门控制电路的，这一类型(xing)的信号我们就称之为信令（摘自百度百科）。也就是说，信令是指通信系(xi)统中的(de)控制指令。
好了，以上就(jiu)是直播类应用的一个(ge)最基本的架构和流程(cheng)了。
四、总结音视频技术(shu)是一个高深的领域，本文只是做了一些基础知识的总结，如果大家想要深入(ru)了解更多的音(yin)视频技术，我推荐大家可以学习一下雷神（雷霄骅）的博客。
