Opus是一种开源免费的音频编解码器,支持音乐和语音,具有低延时、带内FEC、DTX、PLC等特点,默认22.5ms延时,非常适用网络实时传输。官网:https://www.opus-codec.org。Opus协议收录于RFC6716,使用SILK和CELT两种编码。
目录
一、Opus特点
二、码率、音质、延时
1、音质与码率比较
2、码率与延时对比
三、Opus编解码框架
四、DTX非连续传输
五、FEC前向纠错
六、Opus解码
1、SILK解码器
七、PLC丢包隐藏
一、Opus特点
Opus在语音app应用很广泛,包括VoIP、视频会议、语音聊天、音乐直播演唱会等。即支持低码率语音,也支持高音质音乐。特点如下:
- 码率支持从6kb/s到510kb/s;
- 采样率支持从8kHz到48kHz;
- 可变帧长从2.5ms到60ms;
- 支持CBR和VBR两种码率模式;
- 音频带宽从窄带到全频带;
- 支持语音和音乐;
- 支持多达255个声道;
- 动态调整码率、带宽、帧大小;
- 支持PLC丢包隐藏;
二、码率、音质、延时
1、音质与码率比较
Opus、AAC、MP3、Vorbis等codec的质量与码率对比,如下图所示:
由图可见,Opus的码率从6kb/s到128kb/s都是音质最高的,接着是AAC、Vorbis,而MP3是在128kb/s时取得不错音质。
2、码率与延时对比
Opus、AAC、Vorbis、MP3等codec的码率与延时对比,如下图所示:
由图可见,Opus的码率从6kb/s到80kb/s时,延时都是最低的。接着是窄带的G729,超宽带的AAC-LD(低延迟模式)。而延时比较的是Vorbis、AAC、MP3,延时达到200ms左右。
三、Opus编解码框架
Opus的编解码框架包括:VAD静音检测、音调分析、预测分析、噪声整形分析、长期预测量化、线谱频率量化、增益量化。如下图所示:
四、DTX非连续传输
DTX,Discontinuous Transmission,用于检测静音传输时,自动降低码率节省带宽。前面提及的VAD模块就是用来静音检测。DTX适用于VBR和CBR码率模式,会稍微降低声音质量。因此,建议在网络带宽受限条件下,才开启DTX。
五、FEC前向纠错
FEC,Forward Error Correct,通过添加先前数据包的冗余数据到当前包,实现前向纠错。Opus允许带内的FEC。编码器决定是否使用FEC取决以下条件:
- 外部提供信道丢包率估计;
- 外部提供信道容量估计;
- 语音或音乐对丢包的敏感度;
- 解码器有没请求带内FEC信息;
发生丢包时,接收端可以根据FEC重建数据包。但是,每个数据包加上FEC导致数据量变大,所以FEC需要根据实际情况使用(比如丢包率达到一定程度)。
六、Opus解码
Opus的解码包括SILK和CELT两部分,在SILK端做采样率转换和延迟补偿,在CELT端做决策处理。如下图所示:
1、SILK解码器
SILK解码流程如下图所示:
对应序号的参数如下:文章来源:https://www.toymoban.com/news/detail-400521.html
- 局部编码比特流;
- 编码参数;
- 脉冲、信号;
- 音调间隔,LTP系数;
- LPC线性预测编码系数和增益;
- 解码信号;
- 分离信号;
- 重采样信号;
七、PLC丢包隐藏
PLC,Packet Loss Concealment,是解码器可选模块。PLC依赖上一个接收到的数据包。在CELT解码模式,找出周期性的解码信号,使用音调偏移来重复窗口波形。窗口波形以如下方式重叠:保留时域混叠消除的上一个帧和下一帧。调用celt_decode_lost()函数实现。在SILK解码模式,使用上一帧的LPC(线性预测编码)插帧。文章来源地址https://www.toymoban.com/news/detail-400521.html
到了这里,关于走进音视频的世界——Opus编解码协议的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!