在开始模型训练前,一定要对数据处理熟悉!
文章来源地址https://www.toymoban.com/news/detail-719439.html
一、预处理:
1、IEMOCAP语音数据部分
按照人(1F,1M,2F,2M,3F,3M,4F,4M,5F,5M):
ang有语音数量:[147, 82, 67, 70, 92, 148, 205, 122, 78, 92]
exc有语音数量:[63, 80, 96, 114, 48, 103, 154, 84, 82, 217]
hap有语音数量:[69, 66, 70, 47, 80, 55, 31, 34, 77, 66]
neu有语音数量:[171, 213, 135, 227, 130, 190, 76, 182, 221, 163]
sad有语音数量:[78, 116, 113, 84, 172, 133, 62, 81, 132, 113]
混合:
ang有语音数量:1103 exc有语音数量:1041 hap有语音数量:595
neu有语音数量:1708 sad有语音数量:1084 总共5531条
如果是4490条的话,就是去掉了exc的1041条。
在可以看到这个5分类各自的语音数量并不是很均衡。一大多数SER论文是做四分类即,'ang','hap', 'neu', 'sad',把'hap'与'exc'语音合并。那我也做4分类的SER,便于后期与其他论文的模型性能的比较。
2、数据划分
大多数论文采用5折交叉验证或者10折交叉验证。
K折交叉验证: 把数据平均分成k等份,每次实验拿一份做测试,其余用做训练。实验k次求平均值。如5折交叉验证就是把数据平均分成5等份,每次实验拿一份做测试,其余用做训练。实验5次求平均值。
在IEMOCAP上的SER论文实验有speaker independent 与speaker dependent之分 :
(1)speaker dependent(SD):若采用 5 折交叉验证法,将语音情感数据库中的所有数据随机打乱,然后平均成 5 份,逐一选取 1 份作为测试数据,其他 4 份做训练数据,最后将得到的准确率求和取平均。如此重复 5 次5折交叉验证,然后再求和取平均。
(2)speaker independent(SI):将IEMOCAP中逐一选取不同的说话人做测试数据,其他说话人做训练数据,最后将每个人的语音情感识别准确率求和取平均;若采用5倍交叉验证,根据说话人的数量以80%:20%的比例分割数据,80%的数据用于模型训练,剩余的数据用于模型测试。具体就是:IEMOCAP有10个人,1/2/3/4/5/6/7/8-th person做训练集(80%),9/10-th做测试集(20%);1/2/3/4/5/6/9/10-th person做训练集(80%),7/8-th做测试集(20%);1/2/3/4/7/8/9/10-th person做训练集(80%),5/6-th做测试集(20%);1/2/5/6/7/8/9/10-th person做训练集(80%),3/4-th做测试集(20%);3/4/5/6/7/8/9/10-th person做训练集(80%),1/2-th做测试集(20%)。这与按照session做5折交叉验证类似了。
IEMOCAP有5个session:1/2/3/4/5,比较特别,一个session里有两个人,所以如果按照session做5折交叉验证的话就相当于speaker independent了。
按session的5折交叉验证:
fold1:2/3/4/5-th session组成训练集,1-th session为测试集;
fold2:1/3/4/5-th session组成训练集,2-th session为测试集;
fold3:1/2/4/5-th session组成训练集,3-th session为测试集;
fold4:1/2/3/5-th session组成训练集,4-th session为测试集;
fold5:1/2/3/4-th session组成训练集,5-th session为测试集;
本次实验策略采用SI,说话人独立的策略。
3、特征提取
常用的特征:语谱图、MFCC等。语谱图(语音频谱图):有线性频谱图、梅尔频谱图、log-Mel频谱图。
这次我就提取梅尔频谱图:
(1)首先把IEMOCAP的语音统一到相同长度,这里我统一到2秒,即把一条语音切分成2秒一段,重叠1.6秒;不足2秒的语音用0补充。
def cut_wav(wav, seg_length, overlap, rate):
"""波形数据切割"""
seg_len_points = seg_length * rate # 一个segment所包含的采样点数
seg_overlap_points = overlap * rate # segment重叠的采样点数
seg_hop_points = (seg_length - overlap) * rate # segment移动
start = 0 # 开始指针
end = start + seg_len_points # 结尾指针
segs = [] # 存储切分片段的
# 一段语音可被分割的数量
seg_num = int((len(wav) - seg_len_points + seg_hop_points) / seg_hop_points)
# 长度不足一个片段的补零处理
if len(wav) < seg_len_points:
segs.append(np.hstack([wav, np.array([0] * (seg_len_points - len(wav)))]))
# segs.append(wav)
for _ in range(seg_num): # 从头开始切分
segs.append(wav[int(start): int(end)]) # 添加新片段
start += seg_hop_points # 更新起始指针
end = start + seg_len_points # 更新结尾指针
return segs
(2)预加重:
def pre_emphasis(signal): # 定义预加重函数
pre_emphasis = 0.97
emphasized_signal = np.append(signal[0],signal[1:] - pre_emphasis * signal[: -1])
return emphasized_signal # 返回预加重以后的采样数组
(3)生成梅尔语谱图:先librosa.load加载语音;然后调用cut_wav把语音切分成2秒一段,该函数返回一条语音的所有段;循环,对每一个语音段seg执行:预加重,stft变换,np.abs,平方,mel滤波器组,dot,power_to_db操作,就可以得到mel-spectrum;最后生成图像。
def get_spectrogram(root_path, new_path):
emos = ['ang', 'exc', 'hap', 'neu', 'sad']
label_dict = {'ang': 0, 'exc': 1, 'hap': 1, 'neu': 2, 'sad': 3} # 把exc与hap合并
fold_name = ["Session1F", "Session1M", "Session2F", "Session2M", "Session3F",
"Session3M", "Session4F", "Session4M", "Session5F", "Session5M"]
print("数据收集阶段:")
time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
print(time)
for name in fold_name: # 遍历每一折文件夹
for emo in emos: # 遍历每一种情感
files = os.listdir(os.path.join(root_path, name, emo)) # 列出该折中该类情感的文件
for f_name in files: # 针对每一个wav文件#D:\Workspace\FLDNetOnIEMOCAP\IEMOCAP\Session1F\ang\Ses01F_impro01_F012.wav
f_path = os.path.join(root_path, name, emo, f_name) # 获取文件名
print(f_path)
(sig, rate) = librosa.load(f_path, sr=16000)
print(len(sig))
segs = cut_wav(sig, seg_length=2, overlap=1.6, rate=rate) # 切分波形数组为2s长,重叠1.6s片段
for i, seg in enumerate(segs):
y = pre_emphasis(seg) # 预加重
# 对每一段(2秒)segment进行变换
linear = librosa.stft(y=y, n_fft=1024, hop_length=512)
mag = np.abs(linear) # (1+n_fft//2, T) 复数的实部:np.abs(D(f,t))频率的振幅
mag = mag ** 2 # 平方
mel_basis = librosa.filters.mel(sr = rate, n_fft=1024, n_mels=40) # (n_mels, 1+n_fft//2) 梅尔谱矩阵
mel = np.dot(mel_basis, mag) # (n_mels, t) 梅尔谱=梅尔谱矩阵*幅度谱矩阵 mel spectrogram
mel = librosa.power_to_db(mel) # mel-spec
# logmelspec = librosa.amplitude_to_db(melspec) # 转换到对数刻度
plt.figure(figsize=(3, 3)) #
librosa.display.specshow(mel, y_axis='mel', fmax=8000, x_axis='time', sr=rate) # ???
# plt.title('Mel spectrogram')
plt.axis('off') # 关闭坐标轴
before = f_path[: -4] # 前缀D:\Workspace\FLDNetOnIEMOCAP\IEMOCAP\Session1F\ang\Ses01F_impro01_F012
seg_name = before + "-" + str(i) + ".png"
save_path = os.path.join(new_path, name, emo) # 存储路径创建
if not os.path.exists(save_path):
os.makedirs(save_path)
plt.savefig(os.path.join(save_path, seg_name.split('\\')[-1]), bbox_inches='tight', pad_inches=0)
# seg_name.split('\\')[-1] 就是Ses01F_impro01_F012
plt.close()
下图显示,session1F中impro04_F031语音的第四段的梅尔语谱图:Ses01F_impro04_F031-3
最后得到的数据结构:
fold0:训练集:1-8-th person的梅尔语谱图 测试集:9-10-th person的语谱图
fold1:训练集:1-8-th person的梅尔语谱图 测试集:9-10-th person的语谱图
fold2:训练集:1-8-th person的梅尔语谱图 测试集:9-10-th person的语谱图
fold3:训练集:1-8-th person的梅尔语谱图 测试集:9-10-th person的语谱图
fold4:训练集:1-8-th person的梅尔语谱图 测试集:9-10-th person的语谱图文章来源:https://www.toymoban.com/news/detail-719439.html
到了这里,关于【ResNet18】on IEMOCAP—语音情感识别(预处理篇)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!