【ResNet18】on IEMOCAP—语音情感识别(预处理篇)

这篇具有很好参考价值的文章主要介绍了【ResNet18】on IEMOCAP—语音情感识别(预处理篇)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在开始模型训练前,一定要对数据处理熟悉!

 文章来源地址https://www.toymoban.com/news/detail-719439.html

一、预处理:

1、IEMOCAP语音数据部分

iemocap,语音识别,人工智能,python

按照人(1F,1M,2F,2M,3F,3M,4F,4M,5F,5M):

ang有语音数量:[147, 82, 67, 70, 92, 148, 205, 122, 78, 92]
exc有语音数量:[63, 80, 96, 114, 48, 103, 154, 84, 82, 217]
hap有语音数量:[69, 66, 70, 47, 80, 55, 31, 34, 77, 66]
neu有语音数量:[171, 213, 135, 227, 130, 190, 76, 182, 221, 163]
sad有语音数量:[78, 116, 113, 84, 172, 133, 62, 81, 132, 113]

混合:

ang有语音数量:1103        exc有语音数量:1041        hap有语音数量:595
neu有语音数量:1708        sad有语音数量:1084  总共5531条

如果是4490条的话,就是去掉了exc的1041条。

在可以看到这个5分类各自的语音数量并不是很均衡。一大多数SER论文是做四分类即,'ang','hap', 'neu', 'sad',把'hap'与'exc'语音合并。那我也做4分类的SER,便于后期与其他论文的模型性能的比较。

2、数据划分

大多数论文采用5折交叉验证或者10折交叉验证。

K折交叉验证: 把数据平均分成k等份,每次实验拿一份做测试,其余用做训练。实验k次求平均值。如5折交叉验证就是把数据平均分成5等份,每次实验拿一份做测试,其余用做训练。实验5次求平均值。

在IEMOCAP上的SER论文实验有speaker independent 与speaker dependent之分 :

(1)speaker dependent(SD):若采用 5 折交叉验证法,将语音情感数据库中的所有数据随机打乱,然后平均成 5 份,逐一选取 1 份作为测试数据,其他 4 份做训练数据,最后将得到的准确率求和取平均。如此重复 5 次5折交叉验证,然后再求和取平均。

(2)speaker independent(SI):将IEMOCAP中逐一选取不同的说话人做测试数据,其他说话人做训练数据,最后将每个人的语音情感识别准确率求和取平均;若采用5倍交叉验证,根据说话人的数量以80%:20%的比例分割数据,80%的数据用于模型训练,剩余的数据用于模型测试。具体就是:IEMOCAP有10个人,1/2/3/4/5/6/7/8-th person做训练集(80%),9/10-th做测试集(20%);1/2/3/4/5/6/9/10-th person做训练集(80%),7/8-th做测试集(20%);1/2/3/4/7/8/9/10-th person做训练集(80%),5/6-th做测试集(20%);1/2/5/6/7/8/9/10-th person做训练集(80%),3/4-th做测试集(20%);3/4/5/6/7/8/9/10-th person做训练集(80%),1/2-th做测试集(20%)。这与按照session做5折交叉验证类似了。

IEMOCAP有5个session:1/2/3/4/5,比较特别,一个session里有两个人,所以如果按照session做5折交叉验证的话就相当于speaker independent了。

按session的5折交叉验证:

fold1:2/3/4/5-th session组成训练集,1-th session为测试集;

fold2:1/3/4/5-th session组成训练集,2-th session为测试集;

fold3:1/2/4/5-th session组成训练集,3-th session为测试集;

fold4:1/2/3/5-th session组成训练集,4-th session为测试集;

fold5:1/2/3/4-th session组成训练集,5-th session为测试集;

本次实验策略采用SI,说话人独立的策略。

3、特征提取

常用的特征:语谱图、MFCC等。语谱图(语音频谱图):有线性频谱图、梅尔频谱图、log-Mel频谱图。

这次我就提取梅尔频谱图:

(1)首先把IEMOCAP的语音统一到相同长度,这里我统一到2秒,即把一条语音切分成2秒一段,重叠1.6秒;不足2秒的语音用0补充。

def cut_wav(wav, seg_length, overlap, rate):
    """波形数据切割"""
    seg_len_points = seg_length * rate  # 一个segment所包含的采样点数
    seg_overlap_points = overlap * rate  # segment重叠的采样点数
    seg_hop_points = (seg_length - overlap) * rate  # segment移动
    start = 0  # 开始指针
    end = start + seg_len_points  # 结尾指针
    segs = []  # 存储切分片段的
    # 一段语音可被分割的数量
    seg_num = int((len(wav) - seg_len_points + seg_hop_points) / seg_hop_points) 
    # 长度不足一个片段的补零处理
    if len(wav) < seg_len_points:
        segs.append(np.hstack([wav, np.array([0] * (seg_len_points - len(wav)))]))
        # segs.append(wav)
    for _ in range(seg_num):  # 从头开始切分
        segs.append(wav[int(start): int(end)])  # 添加新片段
        start += seg_hop_points  # 更新起始指针
        end = start + seg_len_points  # 更新结尾指针
    return segs

(2)预加重:

def pre_emphasis(signal):  # 定义预加重函数
    pre_emphasis = 0.97  
    emphasized_signal = np.append(signal[0],signal[1:] - pre_emphasis * signal[: -1])
    return emphasized_signal  # 返回预加重以后的采样数组

(3)生成梅尔语谱图:先librosa.load加载语音;然后调用cut_wav把语音切分成2秒一段,该函数返回一条语音的所有段;循环,对每一个语音段seg执行:预加重,stft变换,np.abs,平方,mel滤波器组,dot,power_to_db操作,就可以得到mel-spectrum;最后生成图像。

def get_spectrogram(root_path, new_path):
    emos = ['ang', 'exc', 'hap', 'neu', 'sad']
    label_dict = {'ang': 0, 'exc': 1, 'hap': 1, 'neu': 2, 'sad': 3}  # 把exc与hap合并
    fold_name = ["Session1F", "Session1M", "Session2F", "Session2M", "Session3F",
                 "Session3M", "Session4F", "Session4M", "Session5F", "Session5M"]
    print("数据收集阶段:")
    time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    print(time)
    for name in fold_name:  # 遍历每一折文件夹
        for emo in emos:  # 遍历每一种情感
            files = os.listdir(os.path.join(root_path, name, emo))  # 列出该折中该类情感的文件
            for f_name in files:  # 针对每一个wav文件#D:\Workspace\FLDNetOnIEMOCAP\IEMOCAP\Session1F\ang\Ses01F_impro01_F012.wav
                f_path = os.path.join(root_path, name, emo, f_name)  # 获取文件名
                print(f_path)
                (sig, rate) = librosa.load(f_path, sr=16000)
                print(len(sig))
                segs = cut_wav(sig, seg_length=2, overlap=1.6, rate=rate)  # 切分波形数组为2s长,重叠1.6s片段

                for i, seg in enumerate(segs):
                    y = pre_emphasis(seg)  # 预加重
                    # 对每一段(2秒)segment进行变换
                    linear = librosa.stft(y=y, n_fft=1024, hop_length=512)
                    mag = np.abs(linear)  # (1+n_fft//2, T)  复数的实部:np.abs(D(f,t))频率的振幅
                    mag = mag ** 2  # 平方
                    mel_basis = librosa.filters.mel(sr = rate, n_fft=1024, n_mels=40)  # (n_mels, 1+n_fft//2)   梅尔谱矩阵
                    mel = np.dot(mel_basis, mag)  # (n_mels, t)  梅尔谱=梅尔谱矩阵*幅度谱矩阵 mel spectrogram
                    mel = librosa.power_to_db(mel)  # mel-spec
                    # logmelspec = librosa.amplitude_to_db(melspec)     # 转换到对数刻度
                    plt.figure(figsize=(3, 3))  #
                    librosa.display.specshow(mel, y_axis='mel', fmax=8000, x_axis='time', sr=rate)  # ???
                    # plt.title('Mel spectrogram')
                    plt.axis('off')  # 关闭坐标轴
                    before = f_path[: -4]  # 前缀D:\Workspace\FLDNetOnIEMOCAP\IEMOCAP\Session1F\ang\Ses01F_impro01_F012
                    seg_name = before + "-" + str(i) + ".png"
                    save_path = os.path.join(new_path, name, emo)  # 存储路径创建
                    if not os.path.exists(save_path):
                        os.makedirs(save_path)
                    plt.savefig(os.path.join(save_path, seg_name.split('\\')[-1]), bbox_inches='tight', pad_inches=0)
                    # seg_name.split('\\')[-1] 就是Ses01F_impro01_F012
                    plt.close()

下图显示,session1F中impro04_F031语音的第四段的梅尔语谱图:Ses01F_impro04_F031-3

iemocap,语音识别,人工智能,python

最后得到的数据结构:

fold0:训练集:1-8-th person的梅尔语谱图    测试集:9-10-th person的语谱图

fold1:训练集:1-8-th person的梅尔语谱图    测试集:9-10-th person的语谱图

fold2:训练集:1-8-th person的梅尔语谱图    测试集:9-10-th person的语谱图

fold3:训练集:1-8-th person的梅尔语谱图    测试集:9-10-th person的语谱图

fold4:训练集:1-8-th person的梅尔语谱图    测试集:9-10-th person的语谱图

 

到了这里,关于【ResNet18】on IEMOCAP—语音情感识别(预处理篇)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【C语言】程序环境和预处理|预处理详解|定义宏(下)

    主页:114514的代码大冒 qq:2188956112(欢迎小伙伴呀hi✿(。◕ᴗ◕。)✿ ) Gitee:庄嘉豪 (zhuang-jiahaoxxx) - Gitee.com 文章目录 目录 文章目录 前言 2.5带副作用的宏参数 2.6宏和函数的对比 3#undef ​编辑 4 命令行定义 5 条件编译 6 文件包含 总结 咱们书接上回 2.5带副作用的宏参数 先来

    2024年01月17日
    浏览(59)
  • 数据采集与预处理01: 项目1 数据采集与预处理准备

    数据采集:足够的数据量是企业大数据战略建设的基础,因此数据采集成为大数据分析的前站。数据采集是大数据价值挖掘中重要的一环,其后的分析挖掘都建立在数据采集的基础上。大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,

    2024年01月25日
    浏览(65)
  • C语言——程序环境和预处理(再也不用担心会忘记预处理的知识)

    先简单了解一下程序环境,然后详细总结翻译环境里的编译和链接,然后在总结编译预处理。 在 ANSI C 的任何一种实现中,存在两个不同的环境 翻译环境:这个环境中源代码被转换为可执行的机器指令。 执行环境:执行二进制代码。 计算机如何执行二进制指令? 我们写的C语

    2024年02月09日
    浏览(57)
  • 数据预处理matlab matlab数据的获取、预处理、统计、可视化、降维

    1.1 从Excel中获取 使用readtable() 例1: 使用 spreadsheetImportOptions(Name,Value) 初步确定导入信息, 再用 opts.Name=Value 的格式添加。 例2: 先初始化 spreadsheetImportOptions 对象, 再用 opts.Name=Value 的格式逐个添加。 例3: 将导入信息存到变量里, 再使用 spreadsheetImportOptions(Name,Value)

    2024年02月15日
    浏览(56)
  • 昇腾CANN DVPP硬件加速训练数据预处理,友好解决Host CPU预处理瓶

    本文分享自华为云社区《昇腾CANN 7.0 黑科技:DVPP硬件加速训练数据预处理,友好解决Host CPU预处理瓶颈》,作者: 昇腾CANN 。 随着人工智能的快速发展,越来越多的应用场景需要使用机器学习和深度学习模型。AI网络模型的训练一般分成两个关键部分,一个是训练数据预处理

    2024年02月05日
    浏览(52)
  • 大数据采集技术与预处理学习一:大数据概念、数据预处理、网络数据采集

    目录 大数据概念: 1.数据采集过程中会采集哪些类型的数据? 2.非结构化数据采集的特点是什么? 3.请阐述传统的数据采集与大数据采集的区别? ​​​​​​​ ​​​​​​​4.大数据采集的数据源有哪些?针对不同的数据源,我们可以采用哪些不同的方法和工具? 数据

    2024年01月25日
    浏览(54)
  • 编译预处理:#if

    #if expression … #elif … #end expression 是整数常量比较的表达式,例如: defined表达式,例如 defined AAA, 或者 defined(AAA), 如果AAA是一个宏定义,return true,否则,return false; 单个整数,例如:1/10/100/0, 非零为true,零为false; 整数比较,例如:1 == 1为true, 0 == 0为ture, 1 2为false; 单个

    2023年04月14日
    浏览(72)
  • 图像预处理方法

    两个基本的形态学操作是腐 和膨胀。他们 的变体构成了开运算 ,闭运算, 梯度等。 根据卷积核的大小前景的所有像素会腐 掉 变为 0 ,所以前景物体会变小整幅图像的白色区域会减少。 对于去除白噪声很有用 也可以用来断开两个 在一块的物体等。 函数原型: ⚫src: 输入原

    2023年04月11日
    浏览(40)
  • python数据预处理

    输出结果如下: 观察可知,【销量】存在一个缺失值,本例将缺失值所在行进行删除处理 输出结果如下: 输出结果如下: 观察可知,箱线图上下边缘存在异常值,本例通过四分位法对异常值进行处理,即:超出上边缘的异常值让其落在上边缘,低于下边缘的异常值让其落在

    2024年02月13日
    浏览(43)
  • 数据预处理matlab

    1.1 从Excel中获取 使用readtable() 例1: 使用 spreadsheetImportOptions(Name,Value) 初步确定导入信息, 再用 opts.Name=Value 的格式添加。 例2: 先初始化 spreadsheetImportOptions 对象, 再用 opts.Name=Value 的格式逐个添加。 例3: 将导入信息存到变量里, 再使用 spreadsheetImportOptions(Name,Value)

    2024年02月07日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包