语音情感识别方法与流程

allin2025-02-19  82


本申请实施例涉及语音情感识别,尤其涉及一种语音情感识别方法。


背景技术:

1、现阶段,可以利用语音情感识别技术类判断说话人的情感状态。语音情感识别技术通常包括单模态语音情感识别技术和双模态语音情感识别技术。

2、双模态语音情感识别技术利用语音和文本两个模态的数据进行多模态的情感识别,以确定说话人的情感状态,然而,该方法在时效性较高的场景中并不适用,例如,在客服和客户的对话场景下,对客户的情感进行实时的情感识别,如果采用语音转文字将音频转化为文本,会导致情感识别的实时性很差,并且语音转文字的结果的准确率会对情感识别的结果产生较大的影响。相比之下,单模态语音识别技术能够直接通过语音情感特征的识别来确定说话人的情感状态,但是其识别准确性较差。


技术实现思路

1、本申请实施例提供了一种语音情感识别方法,以至少解决相关的单模态语音识别技术的识别准确性较差的问题。

2、为了解决上述技术问题,本申请是这样实现的:

3、第一方面,本申请实施例提供了一种语音情感识别方法,包括:对获取的目标语音进行音频分帧处理,得到所述目标语音的至少一个音频帧;提取所述目标语音的语义特征和声学特征,以及提取所述至少一个音频帧的语谱图和梅尔频谱系数;根据所述语义特征、声学特征、所述至少一个音频帧的语谱图和梅尔频谱系数,确定语音情感识别特征;根据所述语音情感识别特征,确定所述目标语音的情感识别结果。

4、第二方面,本申请实施例提供了一种语音情感识别装置,包括:音频分帧模块,用于对获取的目标语音进行音频分帧处理,得到所述目标语音的至少一个音频帧;特征提取模块,用于提取所述目标语音的语义特征和声学特征,以及提取所述至少一个音频帧的语谱图和梅尔频谱系数;特征确定模块,用于根据所述语义特征、声学特征、所述至少一个音频帧的语谱图和梅尔频谱系数,确定语音情感识别特征;情感识别模块,用于根据所述语音情感识别特征,确定所述目标语音的情感识别结果。

5、第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上述第一方面所述的方法的步骤。

6、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如上述第一方面所述的方法的步骤。

7、第五方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如上述第一方面所述的方法的步骤。

8、在本申请实施例中,对获取的目标语音进行音频分帧处理,得到目标语音的至少一个音频帧;提取目标语音的语义特征和声学特征,以及提取至少一个音频帧的语谱图和梅尔频谱系数;根据语义特征、声学特征、至少一个音频帧的语谱图和梅尔频谱系数,确定语音情感识别特征;根据语音情感识别特征,确定目标语音的情感识别结果。这样,通过在目标语音的情感识别过程中引入语义特征,并根据语义特征、声学特征、至少一个音频帧的语谱图和梅尔频谱系数,确定语音情感识别特征,可以更加全面地识别目标语音中的情感信息,提高语音情感识别的准确率。

9、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。



技术特征:

1.一种语音情感识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述提取所述目标语音的语义特征和声学特征,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述语义特征、声学特征、所述至少一个音频帧的语谱图和梅尔频谱系数,确定语音情感识别特征,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述第一频域语音特征、第二频域语音特征、语义特征和声学特征,确定所述语音情感识别特征,包括:

5.根据权利要求4所述的方法,其特征在于,所述权重矩阵包括第一权重矩阵和第二权重矩阵;所述根据所述第一频域语音特征与所述第二频域语音特征中各个帧特征之间的相关性系数,确定权重矩阵,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据所述第一频域语音特征、第二频域语音特征、第一深度语音特征和第二深度语音特征,确定所述语音情感识别特征,包括:

7.根据权利要求4所述的方法,其特征在于,所述根据所述第一频域语音特征、第二频域语音特征、第一深度语音特征和第二深度语音特征,确定所述语音情感识别特征,包括:

8.根据权利要求1所述的方法,其特征在于,所述根据所述语音情感识别特征,确定所述目标语音的情感识别结果,包括:

9.根据权利要求8所述的方法,其特征在于,所述目标分类模型的训练方法,包括:

10.根据权利要求9所述的方法,其特征在于,在所述将训练完成的神经网络模型作为所述目标分类模型之后,还包括:


技术总结
本申请公开一种语音情感识别方法,属于语音情感识别技术领域。该方法包括:对获取的目标语音进行音频分帧处理,得到目标语音的至少一个音频帧;提取目标语音的语义特征和声学特征,以及提取至少一个音频帧的语谱图和梅尔频谱系数;根据语义特征、声学特征、至少一个音频帧的语谱图和梅尔频谱系数,确定语音情感识别特征;根据语音情感识别特征,确定目标语音的情感识别结果。这样,通过在目标语音的情感识别过程中引入语义特征,并根据语义特征、声学特征、至少一个音频帧的语谱图和梅尔频谱系数,确定语音情感识别特征,可以更加全面地识别目标语音中的情感信息,提高语音情感识别的准确率。

技术研发人员:张复琳,徐景成,王劲鹏,胡洪涛,詹育壕,彭成高,叶凯莹
受保护的技术使用者:中移互联网有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-18739.html

最新回复(0)