本发明属于生理信号研究领域，具体是一种基于多模态生理信号的精神疲劳程度检测方法。
背景技术：
1、精神疲劳是一种常见的心理状态，通常表现为注意力下降、反应迟钝、记忆力减退等症状。随着现代社会工作节奏的加快和生活压力的增加，精神疲劳问题愈发严重，对个人的身心健康和工作效率产生了显著的影响。及时有效地检测精神疲劳程度，对于预防相关健康问题和提升工作效率具有重要意义。
2、目前，精神疲劳的检测方法主要分为主观评估和客观检测两大类。主观评估方法主要依赖于个体自我报告和问卷调查，虽然简便易行，但容易受到个体主观因素的影响，可靠性和准确性较差。相比之下，客观检测方法通过检测和分析生理信号来评估精神疲劳程度，具有更高的客观性和可靠性。
3、目前的精神疲劳检测技术主要基于脑电信号。申请号为202310371663.3的文献公开了一种基于脑电信号的精神疲劳程度测试方法，其通过脑电信号的相位幅值耦合来判断精神疲劳程度，可以测量个体是否精神疲劳及其疲劳程度。然而，该方法的结果可能受到脑部运动伪影的影响。
技术实现思路
1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于多模态生理信号的精神疲劳程度检测方法。
2、本发明解决所述技术问题的技术方案是，提供一种基于多模态生理信号的精神疲劳程度检测方法，其特征在于，该方法包括以下步骤：
3、步骤1、双模态数据同步采集：先让受试对象进行闭眼静息，结束后要求受试对象填写卡罗林斯卡嗜睡量表，确认受试对象处于正常状态；接着进行斯滕伯格工作记忆任务，同步采集正常状态下的脑电信号和近红外信号，同步记录受试对象的答题正确率和答题所需反应时间；
4、然后开始精神疲劳诱发实验，每次精神疲劳诱发实验结束后通过卡罗林斯卡嗜睡量表和答题正确率综合判断受试对象是否达到精神疲劳状态；如果没有进入精神疲劳状态，则再次进行精神疲劳诱发实验，直至判断受试对象达到精神疲劳状态；然后要求受试对象填写卡罗林斯卡嗜睡量表，接着进行斯滕伯格工作记忆任务，同步采集精神疲劳状态下的脑电信号和近红外信号，同步记录受试对象答题正确率和答题所需反应时间；
5、然后对受试对象在正常状态和精神疲劳状态下的斯滕伯格工作记忆任务期间的答题正确率和答题所需反应时间以及卡罗林斯卡嗜睡量表的分值，使用样本t检验和多因素方差分析进行统计分析，并将统计分析结果作为判断精神疲劳程度的行为学数据指标；
6、步骤2、分别对步骤1得到的正常状态和精神疲劳状态下的脑电信号依次进行预处理、时频分析和基于trca的脑电信号最优ersp任务相关成分提取，得到正常状态和精神疲劳状态下的脑电信号最优ersp任务相关成分；然后计算正常状态和精神疲劳状态下的脑电信号最优ersp任务相关成分的幅值的平均值，再使用多因素方差分析对平均值进行统计分析，并将统计分析结果作为判断精神疲劳程度的脑电数据指标；
7、分别对步骤1得到的正常状态和精神疲劳状态下的近红外信号依次进行预处理、hbo浓度变化分析和基于trca的近红外信号最优hbo任务相关成分提取，得到正常状态和精神疲劳状态下的近红外信号最优hbo任务相关成分；然后计算正常状态和精神疲劳状态下的近红外信号最优hbo任务相关成分的幅值的平均值，再使用多因素方差分析对平均值进行统计分析，并将统计分析结果作为判断精神疲劳程度的近红外数据指标；
8、步骤3、神经血管耦合分析：将步骤2得到的正常状态和精神疲劳状态下的脑电信号最优ersp任务相关成分与血流动力学响应函数进行卷积，然后通过计算卷积后的信号与步骤2得到的正常状态和精神疲劳状态下的近红外信号最优hbo任务相关成分之间的时变皮尔逊相关系数，来分析脑电信号和近红外信号之间的神经血管耦合关系；
9、计算正常状态和精神疲劳状态下的脑电信号和近红外信号的神经血管耦合的平均值，再使用多因素方差分析对平均值进行统计分析，并将统计分析结果作为判断精神疲劳程度的神经血管耦合数据指标；
10、步骤4、综合精神疲劳程度评价：将步骤1得到的行为学数据指标、步骤2得到的脑电数据指标和近红外数据指标以及步骤3得到的神经血管耦合数据指标，按照各自的重要性进行权重分配，评估受试对象的精神疲劳程度。
11、与现有技术相比，本发明的有益效果在于：
12、(1)本发明首先同步采集正常状态和精神疲劳状态下的脑电信号和近红外信号，并得到行为学数据指标；再根据脑电信号得到脑电信号最优ersp任务相关成分和脑电数据指标，根据近红外信号得到近红外信号最优hbo任务相关成分和近红外数据指标；然后将脑电信号最优ersp任务相关成分与血流动力学响应函数进行卷积，通过卷积结果与近红外信号最优hbo任务相关成分之间的时变皮尔逊相关系数，来分析脑电信号和近红外信号之间的神经血管耦合关系，并得到神经血管耦合数据指标；最后综合行为学数据指标、脑电数据指标、近红外数据指标和神经血管耦合数据指标，并按照各自的重要性进行权重分配，评估受试对象的精神疲劳程度。
13、(2)本发明使用trca算法对脑电信号和近红外信号进行任务相关成分提取，抑制背景噪声和任务无关的信号，提高了信号的信噪比，减少误差，提高疲劳检测系统的可靠性。
14、(3)本发明增加了近红外信号的同步采集，弥补了脑电信号空间分辨率差以及易受肌肉电活动和外部电磁干扰影响的缺点，实现了同时采集脑电信号和近红外信号，进而同时获取大脑的神经活动和血流动力学信息，提供更全面的脑功能状态分析，从不同的生理过程捕捉疲劳的信号，弥补单一信号源的局限性，实现了综合性信息获取，提高测量稳定性和可靠性。
15、(4)本发明采用脑电信号的和近红外信号的神经血管耦合分析，从不同的生理过程对疲劳状况进行解释，从而更全面和准确地评估个体的精神疲劳状态，减小系统误差。
16、(5)本发明结合脑电信号特征、近红外信号特征、神经血管耦合特征以及行为学数据多维数据，通过加权，确保不同维度指标在综合评价中的合理权重分配，综合、全面个体的精神疲劳状态及程度，提高了判别结果的鲁棒性。
1.一种基于多模态生理信号的精神疲劳程度检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤2中，脑电信号的预处理包括依次进行的通道定位、去除无用电极、重参考、滤波、去伪迹、去除低频漂移和高频噪声、降采样、分段以及基线基线校正。
3.根据权利要求2所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤2中，脑电信号去伪迹具体是：在matlab中，通过eeglab工具包对采集的脑电信号的数据进行处理；再通过eeglab工具包中的icalabel插件对经过处理后的脑电信号进行独立成分分析自动去除部分眼动、心脏和肌肉伪影，随后对icalabel提供的脑电地形图进行目视检查，根据经验来手动去除剩余的眼动、心脏和肌肉伪影。
4.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，优选地，步骤2中，脑电信号的时频分析具体是：
5.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤2中，基于trca的脑电信号最优ersp任务相关成分提取具体是：
6.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤2中，近红外信号的预处理具体是：使用nirslab工具箱进行处理，首先对每个通道的光密度信号进行预处理；再根据改进的比尔-郎伯定律将近红外信号从原始光强转换为氧合血红蛋白hbo和脱氧血红蛋白hbr的浓度变化，得到正常状态和精神疲劳状态下的近红外hbo信号；预处理包括：通过样条插值去除掉与任务无关的运动伪迹、滤波、去除软件辨别的数据质量差的通道、基线校正。
7.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤2中，hbo浓度变化分析具体是：提取受试对象在正常状态和精神疲劳状态下hbo浓度变化的峰值、达峰时间以及半高宽三个特征，分析在正常状态和精神疲劳状态下受试对象hbo浓度的变化。
8.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤3中，为分析不同时期的神经血管耦合随时间的变化情况，构建时变皮尔逊相关系数，计算2s数据窗和1s步长的神经血管耦合，以分析正常状态和精神疲劳状态下的神经血管耦合程度的变化情况。
9.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤3中，血流动力学响应函数是由两个伽马函数线性组合成的统计参数映射生成的特定时间序列形状：
10.根据权利要求1所述的基于多模态生理信号的精神疲劳程度检测方法，其特征在于，步骤4中，四个指标的权重范围如下：
