音频采集的相关基础知识

这篇具有很好参考价值的文章主要介绍了音频采集的相关基础知识。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文引注:

https://zhuanlan.zhihu.com/p/652629744

1.麦克风的种类

(1)模拟麦克风

ECM麦克风:驻极体电容麦克风(ECM),典型的汽车ECM麦克风是一种将ECM单元与小型放大器电路整合在单个外壳中的装置。放大器提供一个模拟信号,其电压电平允许信号通过数米长的电线进行传输,这也是典型汽车应用的要求。若不放大,原始ECM信号对于如此长的电线来说太低,由于电线上的电磁干扰,信噪比(SNR)会降低过多。即使放大信号,也需要屏蔽线缆——通常是双线电缆,通过一个偏置电压(8V)为麦克风装置供电。

ECM的少数优点之一是其内置声学指向性,通常将其调整为超心型极性图(MEMS麦克风也可以做成指向的,但通常需要更复杂的声学设计)。通常可以实现10 dB或更多的后向衰减,"后向"是指朝向挡风玻璃的方向,从其中只会产生噪声(即没有期望的信号,例如讲话者的语音)。

在期望信号的进入方向上具有更高灵敏度非常有利于提高SNR。然而,定向ECM单元会引入不必要的副作用,例如高通特性——灵敏度在较低频率时会降低。这种高通响应的3 dB截止频率通常在300 Hz至350 Hz范围内。在HF技术的早期,这种高通特性是一个优势,因为发动机噪声主要以较低频率存在,发动机声音本身会经过麦克风衰减。然而,自从宽带或HD通话出现以来,这种高通特性开始成为一个问题。在宽带通话中,有效带宽从300 Hz到3400 Hz增加为100 Hz至7000 Hz。麦克风的自身高通滤波特性使得有必要在后处理单元中放大100 Hz至300 Hz的信号,而如果麦克风本身能提供更好的音频带宽,则不需要放大此范围内的信号。

ECM技术的另一个缺点是不同器件的灵敏度和频率响应差异很大。ECM的制造公差相对较大,这对于单个麦克风应用可能不是问题。但是,如果在间距较小的麦克风阵列应用中部署多个麦克风信号,则麦克风之间的严格匹配对于实现优质阵列性能至关重要。在这种情况下,ECM难以使用。此外,从物理尺寸角度看,传统ECM单元一般不适合于小型麦克风阵列。

麦克风阵列具有广泛的适用性,包括在车内,因为与传统ECM相比,阵列能提供类似(常常更优越)的定向性能。关于声音冲击方向的空间信息,可以使用阵列中分组的两个或更多个合适的麦克风来从麦克风信号中提取。这类算法常被称为波束成型(BF)。

"波束成型"一词源自与相控阵天线技术的类比,利用简单的纯线性滤波器和求和算法可以将天线阵列发射的无线电"波束"聚焦在某个方向上。虽然麦克风阵列中没有这样的波束,但波束成型这一术语在麦克风信号处理领域也很常见,相比于简单的线性波束成型处理,它涵盖了更广泛的线性和非线性算法,支持实现更高的性能和更大的灵活性。

除了波束成型处理之外,原始麦克风信号几乎总是需要后处理,因为每个HF麦克风都会同时捕获期望的语音信号和环境(若座舱)中的干扰。风噪、路噪和发动机噪声会降低SNR,通过扬声器播放的信号——通常称为扬声器回波——也是不需要的信号源。为了减少这种干扰并改善语音质量,需要采用复杂的数字信号处理技术,常常称之为回声消除和降噪(AEC/NR)。

AEC从麦克风中消除扬声器声音,否则它会作为在线路另一端讲话的人声的回声传输。NR则在降低恒常存在的行驶噪声的同时提高所传输信号的SNR。虽然国际电信联盟(ITU)发布了详细规范(例如ITU-T P.1100和P.1110)来定义HF系统的许多性能细节,但在行驶车辆中通话时,如果AEC/NR处理达不到标准,人们对通信质量的主观印象可能不会满意。与前面提到的BF算法一起,AEC/NR/BF的组合赋能广泛的新型应用,所有这些应用都与某种程度的数字音频信号处理相关。为了支持这些应用,需要新一代消除了传统ECM缺点的麦克风技术。

模拟麦克风的接口,通常为模拟信号输入,如下图所示:
i2s sck blck,信号与系统,音视频
对于模拟麦克风来说,它输出的是模拟音频信号,但是在进入ADC之前,需要有MIC BIAS(偏置电压),这样才能将模拟麦克风的输出信号接入系统中。同时,由于ECM麦克风的输出信号较小,因此需要有一个前置放大器,才能顺利地接入ADC。通常情况下,选择合适的ADC,可以提供MIC BIAS和PreAMP,即可顺利地接入ECM麦克风。

(2)数字麦克风

MEMS麦克风:微机电系统(MEMS)技术迅速成为麦克风的新行业标准,因为相比传统ECM,它提供了许多优势。首先,MEMS使得声音传感器比现有ECM单元要小得多。此外,将MEMS传感器与模数转换器(ADC)集成在单个IC中所得到的数字麦克风,能够提供可立即进行AEC/NR/BF(波束成型,用于麦克风阵列)处理的信号。

模拟接口MEMS麦克风也存在,但其具有与模拟ECM相同的许多缺点,而且若使用传统双线模拟接口工作,甚至需要比ECM更复杂的放大器电路。只有采用全数字接口技术,才能显著减轻模拟线路固有的干扰和SNR问题。此外,从生产角度看,MEMS也占优。因为MEMS麦克风的生产规格偏差比ECM单元要小得多,这对于BF算法很重要。最后,MEMS IC麦克风的制造工艺大大简化,因为可以采用自动化安装技术,整体生产成本得以降低。从应用角度看,更小的尺寸是最大的优势,并且由于声音入口非常小,MEMS麦克风阵列实际上可以做成不可见的。

传感器的入口和声音通道要求在设计和生产质量方面特别小心。如果声学密封不牢,来自内部结构的噪声可能到达传感器,两个传感器之间的泄漏可能降低BF算法的性能。与可以设计和制造成全向或定向的典型ECM单元不同,MEMS麦克风元件几乎总是制造成全向式(即声音接收没有内在方向性)。因此,MEMS麦克风是忠实于相位的全向声压传感器,为高级BF算法提供理想的信号,衰减方向和波束宽度可以由用户通过软件进行配置。

对于数字麦克风来说,它输出的信号就是数字信号,因此无需在数据通路上再集成ADC,也避免了模拟音频通道线,直接在PCB板上采用数字音频接口即可。如下图所示:
i2s sck blck,信号与系统,音视频

2.数字音频接口

一般来说,在PCB板内部芯片之间使用的音频信号传输接口,有I2S,TDM,PCM,PDM等;在PCB板间长距离,需要使用电缆传输的,有AVB,A2B,SPDIF等总线。

(1) I2S

I2S(Inter—IC Sound)总线, 又称集成电路内置音频总线,是飞利浦公司为数字音频设备之间的音频数据传输而制定的一种总线标准。

I2S是简单的总线协议,它用于成对设备之间的音频数据传输。一个为master,另一个为slave。主从设备的区别在于谁主动发起数据传输,能提供时钟信号的即为master。数据可以从master发送到slave,也可以从slave发送到master。

在I2S协议中有3个主要信号:
1.串行时钟SCLK,也叫位时钟(Bit CLK),即对应数字音频的每一位数据,SCLK都有1个脉冲。SCLK的频率=2×采样频率×采样位数。
2. 帧时钟LRCK,也称左右声道选择信号Word Select(WS),用于切换左右声道的数据。LRCK为“1”表示正在传输的是右声道的数据,为“0”则表示正在传输的是左声道的数据。LRCK的频率等于采样频率。
3.串行数据SDATA,音频数据 SD。

SD是串行数据,在I2S中以二进制补码的形式在数据线上传输。在WS变化后的第一个SCK脉冲,先传输最高位(MSB, Most Significant Bit)。

SD数据线可以为1根或者多根。当只有1根时,可单向传输双声道,称为SDOUT;如果是2根,可双向传输,每根信号线传输双声道,分别为SDIN和SDOUT。也可以增加到4根SD信号线,此时可以双向传输4通道音频。

2S数据的计算:
例如:设声音的采样频率为44.1 kHz,即声道选择信号(帧时钟)WS的频率必须也为44.1 kHz;左/右2个声道的量化深度均为16 bit,则I2S的SCK的频率为:44.1 kHz×16×2=1.4112 MHz。

如果需要传输20 bit、24 bit或32 bit的左右声道的数据,可以提高SCK的频率,由上式可以计算出需要的SCK的频率。

(2)PCM

PCM(Pulse Code Modulation)脉冲编码调制是数字通信的编码方式之一。在PCM 过程中,将输入的模拟信号进行采样、量化和编码,用二进制进行编码的数来代表模拟信号的幅度 ;接收端再将这些编码还原为原来的模拟信号。即数字音频的 A/D 转换包括三个过程 :采样,量化,编码。

1.采样
采样是把模拟信号以其信号带宽2倍以上的频率提取样值,变为在时间轴上离散的抽样信号的过程。例如,话音信号带宽被限制在0.3~3.4kHz内,用 8kHz的抽样频率(fs),就可获得能取代原来连续话音信号的抽样信号。对一个正弦信号进行抽样获得的抽样信号是一个脉冲幅度调制(PAM)信号,对抽样信号进行检波和平滑滤波,即可还原出原来的模拟信号。

2.量化
抽样信号虽然是时间轴上离散的信号,但仍然是模拟信号,其样值在一定的取值范围内,可有无限多个值。显然,对无限个样值一一给出数字码组来对应是不可能的。为了实现以数字码表示样值,必须采用“四舍五入”的方法把样值分级“取整”,使一定取值范围内的样值由无限多个值变为有限个值。这一过程称为量化。

量化后的抽样信号与量化前的抽样信号相比较,当然有所失真,且不再是模拟信号。这种量化失真在接收端还原模拟信号时表现为噪声,并称为量化噪声。量化噪声的大小取决于把样值分级“取整”的方式,分的级数越多,即量化级差或间隔越小,量化噪声也越小。

3.编码
量化后的抽样信号在一定的取值范围内仅有有限个可取的样值,且信号正、负幅度分布的对称性使正、负样值的个数相等,正、负向的量化级对称分布。若将有限个 量化样值的绝对值从小到大依次排列,并对应地依次赋予一个十进制数字代码(例如,赋予样值0的十进制数字代码为0),在码前以“+”、“-”号为前缀,来 区分样值的正、负,则量化后的抽样信号就转化为按抽样时序排列的一串十进制数字码流,即十进制数字信号。简单高效的数据系统是二进制码系统,因此,应将十进制数字代码变换成二进制编码。根据十进制数字代码的总个数,可以确定所需二进制编码的位数,即字长。这种把量化的抽样信号变换成给定字长的二进制码流的过程称为编码。
i2s sck blck,信号与系统,音视频
在I2S接口上传输的数字音频信号,也正是PCM类型的编码。

PCM接口与I2S相似,电路信号包括:
1.PCM_CLK 数据时钟信号
2.PCM_SYNC 帧同步时钟信号
3.PCM_IN 接收数据信号
4.PCM_OUT 发送数据信号
i2s sck blck,信号与系统,音视频

(3)TDM

TDM (Time Division Multiplexing) ,是指通过时分复用的方式,在一个物理通道上传输多路PCM音频数据的方式。一般来说,I2S接口只能传输双声道,而TDM可以传输16路甚至32路数据。

TDM的物理数据通道与PCM或I2S一样,也是采用4根信号线用于数据传输,只是在采样率,数据位宽,以及通道数上具有不同的参数。

音频TDM通过使用BLCK作为位时钟信号来确定数据传输的时钟速率和时序。Frame Sync信号用于标识音频帧的开始和结束,确保正确地组合和解析音频数据。Data IN和Data OUT信号引脚用于输入和输出音频数据,实现多路音频信号的合并和传输。

BLCK(Bit Clock):BLCK引脚是音频TDM中的时钟信号引脚。在每个BLCK时钟周期内,只能传输一个数据位。BLCK信号的频率决定了数据传输的速率,每个数据位在一个时钟周期内进行传输。发送端在每个时间槽中依次填充数据位,并在每个BLCK时钟周期根据BLCK信号的边沿将数据位传输出去。接收端根据BLCK信号的时钟边沿来采样和解析数据位,以还原音频信号。
Frame Sync(帧同步):Frame Sync引脚用于标识数据帧的开始和结束。在音频TDM中,多个slot被组合成一个完整的音频帧。Frame Sync信号的状态变化指示一个新的音频帧的开始。接收端根据Frame Sync信号来识别和解析每个slot的数据,并将其组合成原始的音频信号。
SD IN引脚:SD IN引脚是用于输入音频数据的引脚。
SD OUT引脚:SD OUT引脚是用于输出音频数据的引脚。

i2s sck blck,信号与系统,音视频
在I2S中,通过WS引脚来区分左右声道,每个样本由左右声道交替传输。而在TDM中,通过Frame Sync信号来标识音频帧的开始和结束,一个音频帧可以包含多个slot。在TDM传输时,需要配置slot的个数,采样频率,采样数据的位宽,即可得出TDM的系统时钟速率,或者说可传输的数据带宽。

例如,Frame Sync的频率等于音频的采样率(例如44.1 kHz,48 kHz等)。Frame每次传输包括所有声道的数据。PCM采样音频数据量化深度一般在16,24,or 32bit。那么对于16个声道,每个声道32bit音频数据,采样率48kHz的系统,TDM的BCLK系统时钟速率为:16 × 32 × 48kHz = 24.576 MHz。

(4)PDM

PDM(Pulse Density Modulation)是一种用数字信号表示模拟信号的调制方法。同为将模拟量转换为数字量的方法,PCM使用等间隔采样方法,将每次采样的模拟分量幅度表示为N位的数字分量(N = 量化深度),因此PCM方式每次采样的结果都是N bit字长的数据。PDM则使用远高于PCM采样率的时钟采样调制模拟分量,只有1位输出,要么为0,要么为1。因此通过PDM方式表示的数字音频也被称为Oversampled 1-bit Audio。相比PDM一连串的0和1,PCM的量化结果更为直观简单。

如下图所示,PDM的采样输出为:
i2s sck blck,信号与系统,音视频
PCM方式的逻辑更加简单,但需要用到数据时钟,采样时钟和数据信号三根信号线;PDM方式的逻辑相对复杂,但它只需要两根信号线,即时钟和数据。在数字麦克风领域,应用最广的就是PDM接口,其次为I2S接口。

通过PDM接口方式,传输双声道数据只要用到两根信号线。如下图所示,两个PDM接口的发送设备与同一个接收设备的连接情况,比如Source 1/2分别作为左右声道的麦克风,通过这种方式可以将采集到的双声道数据传送到接收设备。主设备(此例中作为接收设备)为两个从设备提供时钟,分别在时钟的上升沿和下降沿触发选择Source 1/2作为数据输入。文章来源地址https://www.toymoban.com/news/detail-822122.html

到了这里,关于音频采集的相关基础知识的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 音频——I2S TDM 模式(六)

    I2S 基本概念 飞利浦(I2S)标准模式 左(MSB)对齐标准模式 右(LSB)对齐标准模式 DSP 模式 TDM 模式 TDM 一般有三种常用操作模式:TDM A mode ,TDM B mode 和 TDM C mode, 统称为TDM mode。 基于 TDM mode,可以配置支持 TDM(Time Division Multiplexing)数据传输。可以支持传输多个声道的数据,允许多个设

    2024年02月04日
    浏览(45)
  • 音频——I2S DSP 模式(五)

    I2S 基本概念 飞利浦(I2S)标准模式 左(MSB)对齐标准模式 右(LSB)对齐标准模式 DSP 模式 TDM 模式 DSP/PCMmode 分为 Mode-A 和 Mode-B 共 2 种模式。不同芯⽚有的称为 PCM mode 有的称为 DSP mode。PCM 只有⼀个起始信号,先传输左声道后传输右声道。 Mode-A 数据在第 1 个 BCLK 脉冲处 上升沿数据有

    2024年02月09日
    浏览(42)
  • 音频——I2S 左对齐模式(三)

    I2S 基本概念 飞利浦(I2S)标准模式 左(MSB)对齐标准模式 右(LSB)对齐标准模式 DSP 模式 TDM 模式 I2S 左对齐标准 标准左对齐格式的数据的 MSB 没有相对于 BCLK 延迟一个时钟。左对齐格式的左右声道数据的 MSB 在 LRCLK 边沿变化后 BCLK 的第一个上升沿有效 LRCLK 为 1 传输左声道数据,L

    2024年02月10日
    浏览(43)
  • 音频——I2S 协议基本概念(一)

    I2S 基本概念 飞利浦(I2S)标准模式 左(MSB)对齐标准模式 右(LSB)对齐标准模式 DSP 模式 TDM 模式 I2S 信号线有多种模式 五线 I2S 四线 DAC I2S 四线 ADC I2S 两线 TX I2S 两线 RX I2S 以五线 I2S 为例,各个信号线的功能及描述见下表 信号线 描述 SCLK 串行时钟,也叫位时钟(BCLK),对应数字⾳频

    2024年02月09日
    浏览(38)
  • I2S/PCM接口及音频codec

    目录 1.I2S接口及时序 1.1 I2S接口信号 1.2 I2S接口时序 1.3 MCLK的作用 2. PCM(TDM)接口  2.1 PCM(TDM)接口信号 2.2 PCM接口时序 3.audio codec  可参考本人转载的一篇文章: 数字音频接口(I2S,PCM/TDM,PDM)_cy413026的博客-CSDN博客 数字音频接口。 https://blog.csdn.net/cy413026/article/details/132590286?csdn_shar

    2024年02月01日
    浏览(72)
  • Audio-音频传输接口(I2S、PCM、PDM)

    I2S和PCM(TDM)接口传输的数据是PCM编码格式的音频数据。 PDM接口传输的数据是PDM编码格式的音频数据。 I2S(Inter-IC Sound)总线有时候也写作 IIS,I2S 是飞利浦公司提出的一种用于数字音频设备之间进行音频数据传输的总线。和 I2C、SPI 这些常见的通信协议一样,I2S 总线用于主控制器

    2024年02月01日
    浏览(43)
  • LuatOS-SOC接口文档(air780E)-- i2s - 数字音频

    示例 常量 类型 解释 i2s.MODE_I2S number I2S标准,比如ES7149 i2s.MODE_LSB number LSB格式 i2s.MODE_MSB number MSB格式,比如TM8211 初始化i2s 参数 传入值类型 解释 int i2s通道号,与具体设备有关 int 模式, 当前仅支持0, MASTER|TX|RX 模式, 暂不支持slave. 可选 int 采样率,默认44100. 可选 int 数据位数,默认

    2024年02月07日
    浏览(65)
  • ESP32设备驱动——使用I2S播放音频的物联网应用

    在物联网应用中,使用嵌入式设备进行音频播放是一个常见的需求。ESP32是一款功能强大的嵌入式开发板,它集成了Wi-Fi和蓝牙功能,适用于物联网应用。本文将介绍如何在ESP32上使用I2S(Inter-IC Sound)接口来播放音频。 I2S是一种串行音频接口,用于高质量音频数据的传输。

    2024年03月21日
    浏览(59)
  • STM32CubeMX+MDK通过I2S接口进行音频输入输出(全双工读写一个DMA回调)

    目前有一个关于通过STM32F411CEUx的I2S总线接口控制SSS1700芯片进行音频输入输出的研究。 SSS1700 是具有片上振荡器的 3S 高度集成的USB音频控制器芯片 。 SSS1700 功能支持96 KHz 24 位采样率,带外部音频编解码器(24 位/96KHz I2S 输入和输出)并具有内置立体声16/24位ADC、立体声16/24位

    2024年04月12日
    浏览(47)
  • 物联网开发笔记(51)- 使用Micropython开发ESP32开发板之通过MAX98357 I2S音频模块播放音乐

    一、目的         这一节我们学习如何使用我们的ESP32开发板来播放音乐。 二、环境         ESP32 + MAX98357 I2S音频模块 + Thonny IDE + 几根杜邦线 接线方法: 三、代码     代码1,播放wav格式文件:wav格式文件几百K,别太大ESP32存储空间有限。 音频格式转换网站: 在线转

    2024年02月16日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包