本公开总体说来涉及数据处理领域，更具体地讲，涉及一种情绪识别方法、装置、存储介质、系统和程序产品。
背景技术：
1、随着人工智能技术的发展，图像识别、语意识别等识别类技术日渐成熟，但对于人类情绪这一复杂内容的准确识别，却仍然较为困难。现有技术通常使用人脸表情等单一数据来识别情绪，仅能够实现喜怒哀乐等基础情绪的识别，而实际中人的情绪是一个复杂的概念，因此仅仅依靠单一数据来识别人实际的复杂情绪，其准确率非常有限。
技术实现思路
1、本公开提供一种情绪识别方法、装置、存储介质、系统和程序产品，用于解决上述问题中的至少一个。
2、根据本公开的一方面，提供一种情绪识别方法，所述情绪识别方法包括：获取目标用户在目标时段的近红外脑成像数据和状态数据，其中，所述近红外脑成像数据包括多个通道的脑成像数据，所述状态数据是除所述近红外脑成像数据以外的用于反映相应用户当前状态的数据；将所述多个通道的脑成像数据按照所对应的脑区进行分组，得到每个脑区的脑成像数据；根据多个脑区的脑成像数据，生成近红外脑成像图谱，其中，所述近红外脑成像图谱用于分区展示所述多个脑区的脑成像数据；将所述近红外脑成像图谱输入近红外特征提取模型，得到近红外特征；对所述状态数据执行特征提取处理，得到状态特征；将所述近红外特征和所述状态特征融合为综合特征；将所述综合特征输入识别模型，得到所述目标用户的情绪识别结果。
3、可选地，所述脑成像数据为时域数据，其中，所述根据多个脑区的脑成像数据，生成近红外脑成像图谱，包括：针对每个脑区，对所述脑区的各个通道的脑成像数据按通道维度进行拟合处理，得到所述脑区的脑成像时域曲线；对所述脑区的各个通道的脑成像数据分别进行傅里叶变换，得到所述脑区的各个通道的脑成像频域数据；对所述脑区的各个通道的脑成像频域数据按通道维度进行拟合处理，得到所述脑区的脑成像频域曲线；根据多个脑区的脑成像时域曲线和脑成像频域曲线，生成所述近红外脑成像图谱。
4、可选地，所述根据多个脑区的脑成像时域曲线和脑成像频域曲线，生成所述近红外脑成像图谱，包括：将多个脑区的脑成像时域曲线和脑成像频域曲线按照预设规则进行拼接处理，得到脑成像拼接图；对所述脑成像拼接图进行预处理和视觉化处理，得到近红外脑成像图谱。
5、可选地，所述状态数据包括不同类型的状态数据，其中，所述对所述状态数据执行特征提取处理，得到状态特征，包括：对每种类型的状态数据执行相应的特征提取处理，得到每种类型的状态数据的特征；将各种类型的状态数据的特征共同作为所述状态特征。
6、可选地，所述状态数据包括以下至少一个：行为数据、生理信号数据，所述行为数据包括以下至少一个：语音数据、面部视频数据，所述生理信号数据包括以下至少一个：心率、呼吸频率、血压，其中，所述对每种类型的状态数据执行相应的特征提取处理，得到每种类型的状态数据的特征，包括以下步骤中的至少一个：对所述语音数据，提取所述语音数据的至少一个语音特征值，作为语音特征，其中，所述至少一个语音特征值包括以下至少一个：峰度、频谱对比度、近似开放熵、重心频率、振幅微小波动、谐波噪声比；对所述面部视频数据，将所述面部视频数据输入面部表情识别模型，得到多个基础情绪指标，作为面部特征，其中，所述基础情绪指标用于反映所述目标用户具备相应的基础情绪的可能性，所述基础情绪包括以下至少一个：高兴、悲伤、愤怒、厌恶、恐惧、诧异、中性；对所述生理信号数据，确定所述生理信号数据的稳定指标，作为生理特征，其中，所述稳定指标用于表示相应的生理信号数据偏离稳定状态的程度。
7、可选地，所述近红外特征提取模型和所述识别模型通过以下步骤训练得到：获取样本用户在样本时段的样本近红外脑成像数据、样本状态数据和样本情绪信息；将所述样本近红外脑成像数据中的多个通道的脑成像数据按照所对应的脑区进行分组，得到每个脑区的样本脑成像数据；根据多个脑区的样本脑成像数据，生成样本近红外脑成像图谱；将所述样本近红外脑成像图谱输入待训练的近红外特征提取模型，得到样本近红外特征；对所述样本状态数据执行所述特征提取处理，得到样本状态特征；将所述样本近红外特征和所述样本状态特征融合为样本综合特征；将所述样本综合特征输入待训练的识别模型，得到所述样本用户的情绪识别结果；根据所述情绪识别结果和所述样本情绪信息，确定损失函数的值；基于所述损失函数的值，调整所述待训练的近红外特征提取模型和所述待训练的识别模型的参数，得到所述近红外特征提取模型和所述识别模型。
8、根据本公开的另一方面，提供一种情绪识别装置，所述情绪识别装置包括：获取单元，被配置为获取目标用户在目标时段的近红外脑成像数据和状态数据，其中，所述近红外脑成像数据包括多个通道的脑成像数据，所述状态数据是除所述近红外脑成像数据以外的用于反映相应用户当前状态的数据；分组单元，被配置为将所述多个通道的脑成像数据按照所对应的脑区进行分组，得到每个脑区的脑成像数据；生成单元，被配置为根据多个脑区的脑成像数据，生成近红外脑成像图谱，其中，所述近红外脑成像图谱用于分区展示所述多个脑区的脑成像数据；第一提取单元，被配置为将所述近红外脑成像图谱输入近红外特征提取模型，得到近红外特征；第二提取单元，被配置为对所述状态数据执行特征提取处理，得到状态特征；融合单元，被配置为将所述近红外特征和所述状态特征融合为综合特征；识别单元，被配置为将所述综合特征输入识别模型，得到所述目标用户的情绪识别结果。
9、可选地，所述脑成像数据为时域数据，所述生成单元还被配置为：针对每个脑区，对所述脑区的各个通道的脑成像数据按通道维度进行拟合处理，得到所述脑区的脑成像时域曲线；对所述脑区的各个通道的脑成像数据分别进行傅里叶变换，得到所述脑区的各个通道的脑成像频域数据；对所述脑区的各个通道的脑成像频域数据按通道维度进行拟合处理，得到所述脑区的脑成像频域曲线；根据多个脑区的脑成像时域曲线和脑成像频域曲线，生成所述近红外脑成像图谱。
10、可选地，所述生成单元还被配置为：将多个脑区的脑成像时域曲线和脑成像频域曲线按照预设规则进行拼接处理，得到脑成像拼接图；对所述脑成像拼接图进行预处理和视觉化处理，得到近红外脑成像图谱。
11、可选地，所述状态数据包括不同类型的状态数据，所述第二提取单元还被配置为：对每种类型的状态数据执行相应的特征提取处理，得到每种类型的状态数据的特征；将各种类型的状态数据的特征共同作为所述状态特征。
12、可选地，所述状态数据包括以下至少一个：行为数据、生理信号数据，所述行为数据包括以下至少一个：语音数据、面部视频数据，所述生理信号数据包括以下至少一个：心率、呼吸频率、血压，所述第二提取单元还被配置为执行以下步骤中的至少一个：对所述语音数据，提取所述语音数据的至少一个语音特征值，作为语音特征，其中，所述至少一个语音特征值包括以下至少一个：峰度、频谱对比度、近似开放熵、重心频率、振幅微小波动、谐波噪声比；对所述面部视频数据，将所述面部视频数据输入面部表情识别模型，得到多个基础情绪指标，作为面部特征，其中，所述基础情绪指标用于反映所述目标用户具备相应的基础情绪的可能性，所述基础情绪包括以下至少一个：高兴、悲伤、愤怒、厌恶、恐惧、诧异、中性；对所述生理信号数据，确定所述生理信号数据的稳定指标，作为生理特征，其中，所述稳定指标用于表示相应的生理信号数据偏离稳定状态的程度。
13、可选地，所述近红外特征提取模型和所述识别模型通过以下步骤训练得到：获取样本用户在样本时段的样本近红外脑成像数据、样本状态数据和样本情绪信息；将所述样本近红外脑成像数据中的多个通道的脑成像数据按照所对应的脑区进行分组，得到每个脑区的样本脑成像数据；根据多个脑区的样本脑成像数据，生成样本近红外脑成像图谱；将所述样本近红外脑成像图谱输入待训练的近红外特征提取模型，得到样本近红外特征；对所述样本状态数据执行所述特征提取处理，得到样本状态特征；将所述样本近红外特征和所述样本状态特征融合为样本综合特征；将所述样本综合特征输入待训练的识别模型，得到所述样本用户的情绪识别结果；根据所述情绪识别结果和所述样本情绪信息，确定损失函数的值；基于所述损失函数的值，调整所述待训练的近红外特征提取模型和所述待训练的识别模型的参数，得到所述近红外特征提取模型和所述识别模型。
14、根据本公开的另一方面，提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的情绪识别方法。
15、根据本公开的另一方面，提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的情绪识别方法。
16、根据本公开的另一方面，提供一种计算机程序产品，包括指令，其中，所述指令在被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的情绪识别方法。
17、根据本公开示例性实施例的情绪识别方法、装置、存储介质、系统和程序产品，通过同时利用近红外脑成像数据和状态数据分别提取特征，并融合得到综合特征，进而使用识别模型来处理综合特征，实现识别目标用户的情绪，能够利用丰富的信息，提升情绪识别的准确性。具体地，情绪是人头脑运作的产物，通过使用能够反映脑部血氧动力学特征的近红外脑成像数据，能够透过人脸表情等表观信息，使用更本质的脑部运作信息为识别依据，有助于保障识别准确性，同时辅以其他状态数据，能够进一步提升情绪识别的准确性。
18、将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。
1.一种情绪识别方法，其特征在于，所述情绪识别方法包括：
2.如权利要求1所述的情绪识别方法，其特征在于，所述脑成像数据为时域数据，其中，所述根据多个脑区的脑成像数据，生成近红外脑成像图谱，包括：
3.如权利要求2所述的情绪识别方法，其特征在于，所述根据多个脑区的脑成像时域曲线和脑成像频域曲线，生成所述近红外脑成像图谱，包括：
4.如权利要求1至3中的任一权利要求所述的情绪识别方法，其特征在于，所述状态数据包括不同类型的状态数据，其中，所述对所述状态数据执行特征提取处理，得到状态特征，包括：
5.如权利要求4所述的情绪识别方法，其特征在于，所述状态数据包括以下至少一个：行为数据、生理信号数据，所述行为数据包括以下至少一个：语音数据、面部视频数据，所述生理信号数据包括以下至少一个：心率、呼吸频率、血压，其中，所述对每种类型的状态数据执行相应的特征提取处理，得到每种类型的状态数据的特征，包括以下步骤中的至少一个：
6.如权利要求1至3中的任一权利要求所述的情绪识别方法，其特征在于，所述近红外特征提取模型和所述识别模型通过以下步骤训练得到：
7.一种情绪识别装置，其特征在于，所述情绪识别装置包括：
8.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至6中的任一权利要求所述的情绪识别方法。
9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其特征在于，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至6中的任一权利要求所述的情绪识别方法。
10.一种计算机程序产品，包括指令，其特征在于，所述指令在被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至6中的任一权利要求所述的情绪识别方法。
