本发明涉及智能健康识别,具体涉及一种身心健康状态获取方法、系统、电子设备及计算机可读介质。
背景技术:
1、如今,校园中的学生心理健康问题逐渐凸显,学生群体的心理健康问题愈发成为了新闻热点。该群体数量庞大,且因为心理问题具有较强的隐蔽性,仅靠精力有限的教师难以及时照顾到每一位学生。因此,如何实时、有效地监测学生的情绪状态,预防潜在的心理问题,成为了当前校园管理面临的重要挑战。传统的情绪监测方法,如定期的心理测试和问卷调查等方式,存在数据收集不全、反馈滞后、操作繁琐等缺陷,难以满足现代校园管理的需求。尽管现有技术中已经存在一些情绪监测平台,但仍然存在如下问题:
2、(1)数据收集不全与反馈滞后:现有方案在数据收集方面存在明显不足,无法全面、实时地获取学生的情绪数据。这导致管理人员无法及时了解学生的情绪状态,也无法对潜在的心理问题进行及时干预。同时,由于数据反馈的滞后性,现有方案往往无法有效应对突发情绪事件,增加了校园管理的风险。
3、(2)人力成本高与效率低下:传统的情绪监测方式需要大量的人力资源投入,包括问卷发放、数据收集、整理和分析等。这不仅增加了学校的运营成本,还可能导致工作效率低下。此外,由于人工处理的局限性,现有方案在数据处理和分析方面往往存在误差和偏差,影响了情绪监测的准确性。
4、(3)隐私保护与数据安全风险:在现有方案中,学生的情绪数据往往缺乏有效的隐私保护机制。这可能导致学生的个人信息泄露或被滥用,给学生带来不必要的困扰和风险。同时,由于数据安全措施的不足,现有方案还可能面临数据被篡改或破坏的风险,进一步影响了情绪监测的可靠性和有效性。
技术实现思路
1、本发明旨在一定程度上解决相关技术中的技术问题之一。为此,本发明提供了一种身心健康状态获取方法,实现了对学生身心健康状态实时、准确地监测及反馈。
2、为了达到上述目的,本发明采用如下技术方案:
3、一种身心健康状态获取方法,用于在校园内获取学生的身心健康状态,包括如下步骤:
4、确定捕捉对象,通过面部表情识别模型获取捕捉对象的面部表情识别模型的计算结果,所述计算结果中包括捕捉对象的生理参数和心理参数;
5、基于捕捉对象的面部表情识别模型的计算结果生成捕捉对象的情绪状态信息;
6、基于捕捉对象的坐标信息、课堂参与度、心理健康参考分和情绪状态信息生成学生的身心健康状态并进行反馈。
7、可选的,通过yolov5网络模型确定捕捉对象,所述yolov5网络模型的公式为:
8、y=csp-darknet53(i)
9、yspp=spp(y)
10、ypanet=panet(yspp)
11、
12、class_prob,obj_score=σ(head(ypanet))
13、其中,y为提取的特征,csp-darknet53为yolov5模型的主干网络,i为输入的图像,spp为空间金字塔池化,yspp为空间金字塔池化的计算结果,panet为路径聚合网络,ypanet为路径聚合网络的计算结果,bbox为边界框,σ为sigmoid激活函数,(tx,ty,tw,th)为yolov5模型的调整参数,(cx,cy)为网格单元的左上角,(pw,ph)为预定义锚框的宽度和高度,e为自然对数,class_prob为人头类别的概率,obj_score为属于目标的概率,head为预测头。
14、可选的,所述yolov5网络模型为经过训练的yolov5网络模型,训练所述yolov5网络模型的损失函数为:
15、l1=lclass+lobj+lbbox
16、
17、其中,l1为训练所述yolov5网络模型的损失函数,n为训练样本的数量,lclass为分类损失函数,lobj对象存在损失函数,lbbox边界框回归损失函数,为yolov5网络模型预测的第i个样本的类别概率,为yolov5网络模型预测的第i个样本的对象存在的概率,是对象存在的置信度,为yolov5网络模型预测的边界框调整参数,是对应的真实边界框参数。
18、可选的,确定捕捉对象时,通过mosaic模型进行数据增强,所述mosaic模型的公式为:
19、
20、其中,i为最终生成的mosaic图像,作为yolov5模型输入的图像,ii为原始选取的图像,ii(ri)为从图像ii中裁剪出的区域,ri为对应于图像ii的裁剪区域,i∈{1,2,3,4}。
21、可选的,所述面部表情识别模型的公式为:
22、
23、foutput=mlp(corss-fusion(qimg,klm,vlm))
24、
25、其中,p|(em|i)为输入的图像i下其中一种面部表情em的概率,wem为面部表情em的权重,bem为面部表情em的偏置,em'为不同种面部表情求和,foutput为posterv2算法的特征提取函数,mlp为多层感知机,corss-fusion为交叉融合编码器,softmax为归一化注意力得分,d为规模化因子,qimg为图像i的特征的查询矩阵,从yolov5模型的主干网络提取,klm为地标特征的键矩阵,vlm为地标特征的值矩阵。
26、可选的,获取捕捉对象的面部表情识别模型的计算结果时,根据如下公式对所述面部表情识别模型进行压缩:
27、paramscompressed=layerreduce(paramsoriginal,l)×dimreduce(doriginal,γ)
28、其中,paramsoriginal为所述面部表情识别模型的原始的参数数量,layerreduce为减少层数的函数,dimreduce为降低特征维度的函数,l为减少的层数,doriginal为所述面部表情识别模型的原始的特征的维度,γ为维度减少的比例,paramscompressed为压缩后的所述面部表情识别模型的原始的参数数量。
29、可选的,所述面部表情识别模型为经过训练的面部表情识别模型,训练所述面部表情识别模型的损失函数为:
30、
31、其中,l2为训练所述面部表情识别模型的损失函数,emk是第k个样本的真实表情标签,ik是对应的输入图像,p(emk|ik)为面部表情识别模型预测表情emk对应的输入图像ik的概率。
32、可选的,捕捉对象的生理参数包括攻击性,焦虑,平衡,活力度,压抑度,幸福度,压力,怀疑,自信,自我调节,神经质,消沉;捕捉对象的心理参数包括:攻击,抑郁,压力,神经质,怀疑,焦虑;
33、其中,攻击性概率50%、神经质概率50%对应愤怒;
34、焦虑概率50%、压抑概率50%对应恐惧;
35、自我调节概率50%、平衡概率50%对应中性;
36、压抑概率33.3%、怀疑概率33.3%、消沉概率33.3%对应悲伤;
37、幸福概率50%、自信概率50%对应惊喜;
38、攻击性概率50%、消沉概率50%、对应厌恶;
39、活力度概率25%、幸福概率25%、自信概率25%、自我调节概率25%对应幸福。
40、可选的,根据如下模型生成捕捉对象的情绪状态信息:
41、s=stateanalyzer(fcombined)
42、fcombined=fusion(fface,fvoice,fphysiological,fpsychology)
43、fface=posterv2(i)
44、fvoice=extractvoicefeatures(audio signal)
45、其中,s为情绪状态信息,stateanalyzer为状态分析函数,fcombined为融合特征,fusion为特征融合函数,fface为posterv2算法所识别的面部表情,fvoice为语音特征,extractvoicefeatures为语音特征提取函数,audio signal为语音信号,fphysiological为生理参数,fpsychology为心理参数。
46、可选的,生成捕捉对象的情绪状态信息的模型为经过训练的模型,训练生成捕捉对象的情绪状态信息的模型的损失函数为:
47、l3=loss(s,strue)
48、其中,l3为训练生成捕捉对象的情绪状态信息的模型的损失函数,strue为真实的情绪状态信息;
49、同时,根据如下公式对生成捕捉对象的情绪状态信息的模型进行评估:
50、performance=evaluate(s,sture)
51、其中,performance为生成捕捉对象的情绪状态信息的模型的性能,evaluate为评估函数。
52、可选的,所述身心健康状态包括:
53、学生参与度指标engagement:
54、engagement=α·fface+(1-α)·behavioranalysis
55、其中,α为权重系数,behavioranalysis为行为分析结果;
56、情绪状态指标emotionstate:
57、emotionstate=emotionclassifier(fface)
58、其中,emotionclassifier为分类模型,用以根据posterv2算法所识别的面部表情预测情绪状态;
59、注意力集中度指标attention:
60、attention=physiologicalanalyzer(fphysiological)
61、其中,physiologicalanalyzer为分析模型;
62、学习效率指标efficiency:
63、
64、其中,taskcompletion为任务完成度,timespent为完成任务所花费的时间;
65、综合学习状态指标overalllearningindex:
66、overalllearningindex=ω1·engagement+ω2·emotionstate+ω3·attention+ω4·efficiency
67、其中,ω1、ω2、ω3、ω4为权重系数;
68、学习状态评估learningassessment:
69、learningassessment=thresholdfunction(overalllearningindex)
70、其中,thresholdfunction为阈值函数。
71、可选的,如果捕捉对象的头部发生运动,则获取捕捉对象的头部的三维运动轨迹,而后将三维运动轨迹转换为向量进行追踪。
72、可选的,获取捕捉对象的头部的三维运动轨迹,将三维运动轨迹转换为向量包括如下步骤:
73、根据如下模型进行特征提取和预测:
74、feature=backbonefeature(i)
75、(x',y')=head2d(feature)
76、(δx,δy,δz)=headoffset(feature)
77、(z')=headdepth(feature)
78、(sx,sy,sz)=headsize(feature)
79、(θ)=headangle(feature)
80、其中,feature为特征,(i)为输入的图像,backbonefeature为特征提取网络,head2d用以提取预测的2d框中心点的坐标(x',y'),headoffset用以提取预测的2d框中心点与真实3d投影坐标的偏移量(δx,δy,δz);headdepth用以提取预测的2d框中心点的深度值(z'),headsize用以提取预测的3d框的尺寸(sx,sy,sz),headangle用以提取预测的观测角(θ);
81、根据如下模型进行三维特征构造,形成向量:
82、
83、其中,为所形成的向量。
84、可选的,构造三维特征的模型为经过训练的模型,训练构造三维特征的模型的损失函数为:
85、
86、其中,l4为训练构造三维特征的模型的损失函数,为构造三维特征的模型预测的第i个样本的三维运动特征向量,为第i个样本对应的真实三维运动特征向量。
87、并且,本发明还提供了一种电子设备,包括:
88、一个或多个处理器;
89、存储器,其上存储有一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,所述一个或多个处理器实现前述任意一项所述的身心健康状态获取方法。
90、同时,本发明还提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的身心健康状态获取方法。
91、本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现,但并非是对本发明技术方案的限制。另外,在每个下文和附图中出现的这些特征、要素和组件是具有多个,并且为了表示方便而标记了不同的符号或数字,但均表示相同或相似构造或功能的部件。
1.一种身心健康状态获取方法,用于在校园内获取学生的身心健康状态,其特征在于,所述身心健康状态获取方法包括如下步骤:
2.根据权利要求1所述的身心健康状态获取方法,其特征在于,通过yolov5网络模型确定捕捉对象,所述yolov5网络模型的公式为:
3.根据权利要求2所述的身心健康状态获取方法,其特征在于,所述yolov5网络模型为经过训练的yolov5网络模型,训练所述yolov5网络模型的损失函数为:
4.根据权利要求2所述的身心健康状态获取方法,其特征在于,确定捕捉对象时,通过mosaic模型进行数据增强,所述mosaic模型的公式为:
5.根据权利要求2所述的身心健康状态获取方法,其特征在于,所述面部表情识别模型的公式为:
6.根据权利要求5所述的身心健康状态获取方法,其特征在于,获取捕捉对象的面部表情识别模型的计算结果时,根据如下公式对所述面部表情识别模型进行压缩:
7.根据权利要求5所述的身心健康状态获取方法,其特征在于,所述面部表情识别模型为经过训练的面部表情识别模型,训练所述面部表情识别模型的损失函数为:
8.根据权利要求5所述的身心健康状态获取方法,其特征在于,捕捉对象的生理参数包括攻击性,焦虑,平衡,活力度,压抑度,幸福度,压力,怀疑,自信,自我调节,神经质,消沉;捕捉对象的心理参数包括:攻击,抑郁,压力,神经质,怀疑,焦虑;
9.根据权利要求8所述的身心健康状态获取方法,其特征在于,根据如下模型生成捕捉对象的情绪状态信息:
10.根据权利要求9所述的身心健康状态获取方法,其特征在于,生成捕捉对象的情绪状态信息的模型为经过训练的模型,训练生成捕捉对象的情绪状态信息的模型的损失函数为:
11.根据权利要求9所述的身心健康状态获取方法,其特征在于,所述身心健康状态包括:
12.根据权利要求1至11中任意一项所述的身心健康状态获取方法,其特征在于,如果捕捉对象的头部发生运动,则获取捕捉对象的头部的三维运动轨迹,而后将三维运动轨迹转换为向量进行追踪。
13.根据权利要求12所述的身心健康状态获取方法,其特征在于,获取捕捉对象的头部的三维运动轨迹,将三维运动轨迹转换为向量包括如下步骤:
14.根据权利要求13所述的身心健康状态获取方法,其特征在于,构造三维特征的模型为经过训练的模型,训练构造三维特征的模型的损失函数为:
15.一种电子设备,其特征在于,包括:
16.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至14中任意一项所述的身心健康状态获取方法。
