本发明涉及ai视觉领域、视频监控以及临床医学等多个领域，尤其是一种基于多模态信息ai识别技术的婴儿癫痫性痉挛综合征的辅助检测系统、装置和方法。
背景技术：
1、婴儿癫痫性痉挛综合征是从婴儿痉挛症衍生出的新术语，据估计，婴儿癫痫性痉挛综合征的发病率为30/10万活产婴儿。基于人群的队列研究表明，婴儿癫痫性痉挛综合征占婴幼儿起病癫痫的10％，且发病率近几十年来无明显变化。婴儿癫痫性痉挛综合征的预后与诊断、治疗时间及治疗方法有着密切联系，未接受及时有效治疗会导致患儿严重的发育停滞和倒退。早诊断和早治疗能够避免病情的进展，极大改善患儿未来的生活质量。
2、由于婴儿癫痫性痉挛综合征的患儿发育受累可能不明显，或者脑电图不存在典型的高度失律，这使传统高度依赖脑电图的诊断模式无法很好地适用于该病症的诊断。目前，婴儿癫痫性痉挛综合征的诊断强调癫痫性痉挛作为诊断的必备性标准，主要表现为短暂（每次一般持续＜3秒）的轴肌强直性收缩，可以是屈肌、伸肌或混合性的收缩。这种诊断方法需要在监护人的监督下通过摄像头长时间监控被测婴儿的肢体动作，同时采集被测婴儿的脑电、心率、呼吸率、血压和血氧饱和度等生理参数，当监护人观察到被测婴儿可能出现癫痫症状时按下按钮对发作时间进行标记，之后医生根据标记时间来调取视频和生理参数来进行病情诊断。但是，由于监护人本身专业性不足，观察症状时可能出现标记遗漏，从而导致诊断数据的不完整，对病情的准确诊断可能造成较大影响。
技术实现思路
1、本发明提出了一种婴儿癫痫性痉挛综合征的辅助检测系统、装置和方法，结合现有的生理参数监测和视频地图记录，通过多模态的判断对婴儿癫痫性痉挛综合征被测婴儿所表现的初期症状或疑似初期症状进行报警，并通过所记录的数据辅助医生对婴儿癫痫性痉挛综合征进行诊断，解决了现有技术中在监护观察阶段存在的需要大量人力介入、发出警报不准确、数据记录缺失等诸多问题。
2、本发明采用的技术方案是：
3、一种婴儿癫痫性痉挛综合征的辅助检测系统，包括：
4、数据采集模块，包括脑电信号的采集、动作数据的采集和生理参数的采集；
5、数据处理模块，包括对脑电信号的预处理和对动作数据的预处理；
6、深度学习模块，包括根据脑电图识别依据、动作识别依据和生理参数识别依据，分别建立针对脑电信号、动作数据和生理参数的深度学习模型，将预处理后的脑电信号和动作数据以及采集的生理参数分别导入对应的脑电信号学习模型、动作数据学习模型和生理参数学习模型中，在经过深度学习后输出脑电信号的识别结果、动作数据的识别结果和生理参数的识别结果；
7、综合识别分析模块，用于根据多模态信息融合识别规则，将上述脑电信号的识别结果、动作数据的识别结果及生理参数的识别结果进行综合识别分析并得出综合识别分析结果，所述的综合识别分析结果共有高度疑似 (highly suspected)、疑似 (suspected)、可能排除 (likely ruled out)、基本排除 (mostly ruled out)四类；
8、结果输出与储存模块，用于将测得的脑电信号、动作数据以及生理参数储存，并将综合识别分析的结果输出至接收终端，所述综合识别分析结果为高度疑似或疑似时，接收终端将接收到警报信号。
9、所述生理参数包含心率、呼吸率、血压和血氧饱和度。
10、所述脑电信号的预处理包括脑电信号的滤波、脑电信号的特征提取和脑电图评估；
11、所述脑电信号的滤波的实现方式为：采用使用公开的人类正常脑电训练数据集对轻量级的cnns模型训练，进而实现正常脑电信号和非脑电信号的识别分类提取；
12、所述脑电信号的特征提取的具体实现方式为：利用功率谱密度评估正常脑电信号中不同频率分量的功率分布，提取δ频带和θ频带慢波波段数据、尖波数据和棘波数据；
13、所述脑电图评估的实现方式为：通过rnn数据分类模型对提取特征后且时长为10s的脑电波数据进行实时分类，实现正常脑电图和异常脑电图的数据区分。
14、所述动作信号的预处理包括肢体动作识别与头部动作识别；
15、所述肢体动作识别的具体实现方式为：通过openpose模型获得人体18个关键点空间坐标，再通过目标动作关键点预测模型的预测结果与实际关键点位置对比实现人体抱球样动作、伸展样动作、缩腿和伸腿动作等待测动作的动作识别分类；
16、所述头部动作识别的具体实现方式为：使用dlib模型进行人脸检测和关键点提取，通过pnp算法实现各项人脸姿态参数的计算，根据姿态参数的变化情况获得头部动作识别结果。
17、所述脑电信号的识别依据为：
18、当脑电图出现背景高度节律紊乱消失、高波幅慢波符合快波活动1-2秒或棘慢波爆发和随后脑电低平期2-5秒，高峰节律紊乱消失高波幅慢波持续1-2秒和随后出现1-10秒的脑电低平期这两种现象，被测婴儿的脑电信号将被归类为典型痉挛发作期脑电图；
19、当脑电图出现高幅尖波、慢波或棘波或棘慢波，和无背景高度节律紊乱消失、 无跟随脑电低平期、低平期小于1秒或者大于10秒这三种现象中的任意一种时，被测婴儿的脑电信号将被归类为非典型痉挛发作期脑电图；
20、若脑电图未出现上述现象，被测婴儿的脑电信号将被归类为非痉挛发作期脑电图。
21、所述动作识别依据为：
22、当动作数据中同时出现抱球样动作、伸展样动作、缩腿、伸腿动作、点头、点下颌、仰头中的至少一项，且每次持续1-10秒，发作间隔1-10秒，1分钟内发作大于3次的动作时，被测婴儿的动作数据将被归类为典型痉挛发作动作；
23、当动作数据中出现出现抱球样动作、伸展样动作、缩腿、伸腿动作、点头、点下颌、仰头中的至少一项，但持续时间、发作间隔、每分钟发作次数均不符合典型痉挛发作动作的标准时，被测婴儿的动作数据将被归类为非典型痉挛发作动作；
24、当动作数据中未出现抱球样动作、伸展样动作、缩腿、伸腿动作、点头、点下颌、仰头中的任意一项，被测婴儿的动作数据将被归类为非痉挛发作动作。
25、所述生理参数识别依据为：
26、当生理参数数据出现较基础心率升高20% 、较基础心率升高20% 、氧饱和度低于92%及较基础呼吸率降低20%等状况时，被测婴儿的生理参数将被归类为典型变化；
27、当生理参数数据出现典型变化中的一至三项特征时被测婴儿的生理参数将被归类为非典型变化；
28、当生理参数数据不存在典型变化中的任意一项特征时，被测婴儿的生理参数基本无变化。
29、一种婴儿癫痫性痉挛综合征的辅助检测装置，其结构包括：
30、脑电信号采集装置，包括脑电信号采集仪和脑电帽，用于采集提取被测婴儿的脑电信号；
31、蓝牙手环，用于采集被测婴儿的生理参数；
32、深度摄像头，用于采集被测婴儿的动作数据；
33、主控计算机，包含用于数据处理模块、深度学习模块、综合识别分析模块、结果输出与储存模块的上位机软件；
34、接收终端，与所述主控计算机通过无线网络连接，包含用于监控被测婴儿的状态和接收主控计算机发出的综合识别分析结果及警报的app。
35、一种婴儿癫痫性痉挛综合征的辅助检测方法，所述方法包括以下步骤：
36、采集被测婴儿的脑电信号、采集被测婴儿的生理参数、采集录制包含被测婴儿动作数据的视频数据；
37、将脑电信号和动作数据进行预处理；
38、将经过预处理的脑电信号、动作数据和采集的生理按时通过各项识别依据构建的模型进行深度学习分析，获得各项识别结果；
39、根据多模态信息融合识别规则将训练获得的识别结果进行综合分析；
40、将各项采集的数据储存记录，并输出综合分析得出的结果至接收终端，当综合分析的结果为高度疑似或疑似时，接收终端将接收到警报信号。
41、本发明的有益效果是：本发明通过ai深度学习对被测婴儿的观测数据进行识别检测以及对初期疑似症状的自动报警，极大地解放了监护人的人力，提高了作为临床诊断的重要依据的数据的灵敏性和准确性，具有重要的临床应用价值。
1.一种婴儿癫痫性痉挛综合征的辅助检测系统，其特征在于，包括：
2.根据权利要求1所述的婴儿癫痫性痉挛综合征的辅助检测系统，其特征在于：所述生理参数包含心率、呼吸率、血压和血氧饱和度。
3.根据权利要求1所述的婴儿癫痫性痉挛综合征的辅助检测系统，其特征在于：
4.根据权利要求1所述的婴儿癫痫性痉挛综合征的辅助检测系统，其特征在于：
5.根据权利要求1或3所述的婴儿癫痫性痉挛综合征的辅助检测系统，其特征在于，所述脑电信号的识别依据为：
6.根据权利要求1或4所述的婴儿癫痫性痉挛综合征的辅助检测系统，其特征在于，所述动作识别依据为：
7.根据权利要求1所述的婴儿癫痫性痉挛综合征的辅助检测系统，其特征在于，所述生理参数识别依据为：
8.一种婴儿癫痫性痉挛综合征的辅助检测装置，其特征为，其结构包括：
9.一种婴儿癫痫性痉挛综合征的辅助检测方法，其特征在于，所述方法包括以下步骤：
