本发明涉及视频识别领域，更具体地说，它涉及一种基于人脸视频的抑郁症识别方法及系统。
背景技术：
1、抑郁症是一种复杂的精神疾病，其症状可能在不同个体中呈现多样性和动态变化。传统的人脸视频识别方法往往侧重于识别单一或有限数量的非言语行为，如人脸视频中反映出的持续的悲伤表情或低落的语调，这可能不足以全面反映抑郁症的多面性。
2、抑郁症患者可能经历情感波动、认知功能下降、动机丧失和决策障碍等多种症状，症状相互交织形成复杂的心理状态。
3、同时抑郁症患者之间的差异极大，即使相似的症状在不同个体身上也可能有截然不同的表现。传统的识别方法可能因未能充分考虑个体差异而导致识别率降低，甚至出现误诊。
技术实现思路
1、本发明提供一种基于人脸视频的抑郁症识别方法及系统，解决相关技术中的技术问题。
2、本发明提供了一种基于人脸视频的抑郁症识别方法，包括以下步骤：
3、s100：综合收集视频、音频、文本及生理信号在内的多源数据，对多源数据进行预处理后得到多模态数据集，用于特征提取和模型训练；
4、s200：利用多模态数据集，通过深度学习架构训练的模型识别出抑郁症相关的情感、行为和生理特征，生成特征向量；
5、s300：通过特征向量，基于收集的多模态数据集和训练好的深度学习模型，对个体连续情感状态的识别，输出连续情感标签以及基于连续情感标签的心理状态评估结果，其中连续情感标签表示个体的情感状态；
6、s400：利用特征向量和心理状态评估结果，结合视频背景信息，输出情境感知结果、动机识别结果以及建立情境感知结果和动机识别结果之间的关联；
7、s500：根据多源数据、特征向量和识别出的动机识别结果，获取个体在社交网络中的位置、影响力分析，以及基于时间序列分析的日常活动模式识别，用于评估生活质量和社交互动的影响；
8、s600：根据步骤s100至步骤s500的输出，基于个体特性的定制化诊断报告，包括抑郁症的诊断结果和治疗建议，以及动态调整的治疗规划，以实现个性化治疗。
9、进一步地，对多源数据的预处理包括：运用信号处理技术，确保视频、音频和生理信号的时间一致性，同时清洗数据，去除无关或异常值；
10、其中，视频帧序列为，音频信号为，生理信号为，则通过计算两两信号之间的时滞来实现同步：
11、
12、
13、其中，是信号的总时间长度，是时滞参数，它表示两个模态信号之间的时间差；
14、是使得内积或最大的值，使用了内积作为相似度度量，反映两个信号在相应时间点上的线性相关性；
15、进一步地，特征向量生成的步骤如下：其中视频帧为，通过cnn提取的特征向量为，语音信号为，通过lstm提取的特征为，生理信号为，提取的特征为；
16、将三种模态的特征向量,和结合成一个多模态融合特征向量，注意力权重向量为，通过注意力权重向量会为每个模态的特征向量分配一个注意力权重；
17、多模态融合特征向量表示为：
18、
19、注意力权重是通过softmax函数计算得出，以确保它们加起来等于1，表示每个模态对最终多模态融合特征向量的贡献程度；
20、注意力权重表示为：
21、
22、其中，是与模态相关的权重向量，模态为、或，用于学习该模态特征的重要性。
23、进一步地，在步骤s200中还构建监督学习模型，以识别抑郁症相关的面部特征、语言模式和生理反应的模式，其中多模态融合特征向量为，抑郁症标签为，则模型训练的目标是最小化损失函数，最小化损失函数表示为：；其中，表示模型参数。
24、进一步地，在个体连续情感状态的识别中集成情感识别模块，利用连续情感标签，捕捉视频中个体的情感状态，其中情感识别模块的生成步骤如下：
25、将个体的情感状态映射到一个二维空间中，其中一个轴代表愉悦度，另一个轴代表唤醒度；
26、设视频帧中某时刻的面部表情特征为，语音特征为，生理信号特征为，则情感识别模型输出的情感状态表示为：
27、
28、其中，是情感识别模型，是模型参数；
29、情感识别模型是基于深度神经网络的回归模型，其目标是最小化预测情感状态与真实情感状态之间的差异；
30、设训练数据集为，则模型训练的目标为：
31、
32、其中，是训练数据集中样本的数量，是第个训练样本在视频模态上的特征向量，是第个训练样本在音频模态上的特征向量，是第个训练样本在生理信号模态上的特征向量，是第个训练样本的真实情感状态，由愉悦度和唤醒度组成，表示欧几里得范数，用来衡量两个情感状态向量之间的距离。
33、进一步地，在步骤s300中还包括自我反思模块，自我反思模块通过情感识别模型的情感识别结果，获取个体的心理状态评估结果，自我反思模块的评估步骤如下：
34、定义一组规则集合，用于从连续情感状态推断出心理状态；
35、规则的形式是：如果，，则；
36、其中，和是阈值参数，用于区分正常情感状态和抑郁倾向；
37、通过遍历规则集合，找到与当前情感状态最匹配的规则，从而得出个体的心理状态，这一过程的形式化为：
38、
39、其中，是指示函数，如果条件成立，则返回1，否则返回0；是指在规则集合中查找那个使的值最大的规则。
40、进一步地，在步骤s400中，情境感知结果的输出步骤如下：
41、利用计算机视觉技术从视频帧中提取环境特征，视频帧为，使用预训练的场景分类模型提取场景特征；
42、建立情境影响模型，以量化环境特征对情感状态的影响，连续情感状态为，则场景特征为，情境影响模型表示为：
43、
44、其中，是情境影响模型，是模型参数，表示元素乘积，为情景影响后的连续情感状态。
45、进一步地，在步骤s400中，动机识别结果的输出步骤如下：
46、识别视频中个体的活动类型，活动类型为，使用聚类算法对活动类型进行分组得到活动类别；
47、基于活动类别和连续情感状态推断个体的内在动机，设个体的内在动机类型集合为，则动机推断过程表示为：
48、
49、其中，是概率估计函数，通过贝叶斯网络实现，参数通过贝叶斯推断进行优化；
50、情境感知和动机识别的模型训练目标是最大化观察到的环境特征、情感状态和活动模式与预测动机之间的匹配度；
51、设训练数据集为，则模型训练的目标为：
52、
53、
54、
55、从视频中识别出个体所处的情境，理解情境对情感状态的影响，并推断出个体的内在动机；
56、其中，表示训练数据集，包含了个样本，每个样本由环境特征、情感状态、活动类别和内在动机组成；为动机识别模型的参数，为情境感知模型的参数，表示个体的内在动机，是情境感知模型，基于环境特征预测情感状态，是动机识别模型，用于计算给定活动类别和情感状态下的动机概率。
57、一种基于人脸视频的抑郁症识别系统，用于执行前述的基于人脸视频的抑郁症识别方法，包括：
58、数据采集与预处理模块：负责收集视频数据、音频数据、文本数据和生理信号数据，并进行预处理，输出预处理后的多模态数据集；
59、特征提取与模型训练模块：利用深度学习架构提取特征，并训练模型以识别抑郁症相关特征，输出抑郁症相关的特征向量，包括情感、行为和生理特征；
60、情感标签与心理状态评估模块：基于特征向量，并进行心理状态评估，输出连续情感标签和心理状态评估结果；
61、情境感知与动机识别模块：分析视频背景信息，识别情境和个体的动机，并建立情境感知结果和动机识别结果之间的关联，输出情境感知结果、动机识别结果及其关联；
62、社交网络分析与日常活动模式识别模块：分析个体在社交网络中的位置、影响力，识别日常活动模式，评估生活质量和社会互动影响，输出社交网络位置、影响力分析，以及日常活动模式识别结果；
63、报告生成与个性化治疗规划模块：整合所有前序模块的输出，生成定制化的诊断报告，再根据定制化的诊断报告输出个性化治疗报告，包含诊断、建议和规划。
64、一种存储介质，存储有非暂时性计算机可读指令，用于执行前述的基于人脸视频的抑郁症识别方法中的一个或多个步骤。
65、本发明的有益效果在于：本发明通过模拟目标对象的认知来识别真实人格的技术方案，旨在克服传统情感识别方法的局限性，提供一个更加全面、个性化和情境敏感的评估方法，对于抑郁症等心理健康状况的识别尤为重要，能够帮助识别那些非言语行为可能无法完全揭示的深层心理状态，从而为更准确的诊断和干预提供支持。
1.一种基于人脸视频的抑郁症识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于人脸视频的抑郁症识别方法，其特征在于，对多源数据的预处理包括：运用信号处理技术，确保视频、音频和生理信号的时间一致性，同时清洗数据，去除无关或异常值；
3.根据权利要求2所述的一种基于人脸视频的抑郁症识别方法，其特征在于，特征向量生成的步骤如下：其中视频帧为，通过cnn提取的特征向量为，语音信号为，通过lstm提取的特征为，生理信号为，提取的特征为；
4.根据权利要求3所述的一种基于人脸视频的抑郁症识别方法，其特征在于，在步骤s200中还构建监督学习模型，以识别抑郁症相关的面部特征、语言模式和生理反应的模式，其中多模态融合特征向量为，抑郁症标签为，则模型训练的目标是最小化损失函数，最小化损失函数表示为：；其中，表示模型参数。
5.根据权利要求1所述的一种基于人脸视频的抑郁症识别方法，其特征在于，在个体连续情感状态的识别中集成情感识别模块，利用连续情感标签，捕捉视频中个体的情感状态，其中情感识别模块的生成步骤如下：
6.根据权利要求1所述的一种基于人脸视频的抑郁症识别方法，其特征在于，在步骤s300中还包括自我反思模块，自我反思模块通过情感识别模型的情感识别结果，获取个体的心理状态评估结果，自我反思模块的评估步骤如下：
7.根据权利要求1所述的一种基于人脸视频的抑郁症识别方法，其特征在于，在步骤s400中，情境感知结果的输出步骤如下：
8.根据权利要求1所述的一种基于人脸视频的抑郁症识别方法，其特征在于，在步骤s400中，动机识别结果的输出步骤如下：
9.一种基于人脸视频的抑郁症识别系统，用于执行如权利要求1-8中任一所述的基于人脸视频的抑郁症识别方法，其特征在于，包括：
10.一种存储介质，其特征在于，存储有非暂时性计算机可读指令，用于执行权利要求1-8中任一所述的基于人脸视频的抑郁症识别方法中的一个或多个步骤。
