1.本发明是针对脑卒中人群设计了一种基于沉浸式虚拟现实的个性化康复训练系统与方法，系统包括个性化康复训练系统、个性化模型建立单元、相机、3d头部模型库、vr训练场景、脑电帽、htc vive pro头显、eeg解码单元。在建立通用人物模型及场景基础上，导入使用者的头部模型，用于构建训练场景中人物的头部模型，最终构成了一个自己，从而构成了个性化的训练系统，达到“所见即自己、所想即所得”的目的，以降低治疗的枯燥感以及提高训练效果。
背景技术：2.目前的康复训练治疗有物理治疗、心理治疗、中医治疗等，这些治疗有助于患者的康复，但是最终效果不理想，主要是患者需要投入大量的时间费用以及承受枯燥的治疗过程。尤其对于患有偏瘫脑卒中人群，上下肢的障碍会影响他们的正常生活，也会造成心理的抑郁。因此，开发一种基于沉浸式虚拟现实的个性化康复训练系统与方法，给与患者更高的沉浸式治疗体验，同时科学的辅助治疗有助于提高他们康复治疗的效果。但现有的治疗过程通常非常枯燥，体验不佳，训练效果并不理想，这成为亟待了解决的技术问题。
技术实现要素：3.为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于沉浸式虚拟现实的个性化康复训练系统及方法，其基本实现原理是个性化模型建立单元根据相机所拍摄的使用者照片，载入3d头部模型库生成对应的头部模型，将vr训练场景中通用人物头部模型显示为使用者的头部模型，构成了使用者“自己”，最终建立了个性化训练系统。使用者是注视界面的“自己”进行运动想象，eeg解码单元解码使用者的脑电信号，分析使用者的意图，训练界面反馈结果，增强了使用者沉浸式训练的体验。
4.为达到上述发明创造目的，本发明的发明构思为：
5.设计本发明系统考虑到现有的虚拟现实康复训练系统中引导人物是别人，而不是使用者本人，因此在建立通用的训练场景基础上，让使用者所看是自己，形成个性化训练系统。本系统设计基于脑机接口技术，通过搭建人的大脑与计算机或其他电子设备的交流通道，实现人和外部环境的通讯。使用者注视训练界面中的“自己”上肢运动，再通过大脑想象完成自己的手部运动。其中运动想象(mi)是指人在想象自己的上肢或者下肢运动，大脑会产生特定的eeg信号，通过脑电帽采集脑电信号，再经过处理系统，解码分析脑电信号来判断人的意图，虚拟现实界面提供想象反馈，达到“所见即自己、所想即所得”的目的，即实现辅助使用者上肢训练。
6.根据上述发明构思，本发明采用如下技术方案：
7.一种基于沉浸式虚拟现实的个性化康复训练系统，包括个性化康复训练系统、3d头部模型库、脑电帽、htc vive pro头显和eeg解码单元，所述脑电帽采用无线方式连接系统，用于采集脑电信号；所述eeg解码单元用于解码脑电信号；所述htc vive pro头显通过
有线方式连接系统，用于显示个性化训练界面；所述个性化康复训练系统包含个性化模型建立单元和vr训练场景，所述个性化模型建立单元用于构成个性化训练模型，所述vr训练场景用于训练以及反馈解码结果；利用相机拍摄使用者正脸照片，所述相机采用有线方式连接系统；所述3d头部模型库根据人脸图片建立头部模型。
8.优选地，所述个性化模型建立单元包括建立头部模型和建立个性化界面两部分：
9.其中建立头部模型：
10.1)利用相机拍摄若干张照片；
11.2)利用训练系统加载照片，选取出高像素图片；
12.3)将照片载入3d人脸建模系统；
13.4)根据系统图例提示，依次获取脸部特征点，开始建模；
14.5)以.fbx或.max格式保存模型；
15.建立个性化界面：
16.a.系统检测到模型生成；
17.b.将使用者的头部模型构建在训练界面中人物头部模型上；
18.c.使用者注视界面中的“自己”进行运动想象。
19.优选地，使用者佩戴htc vive pro头显，头显呈现上肢运动想象个性化训练界面，同时提供声音提示以及允许使用者在一定区域内进行活动；界面中人物会引导使用者进行左右手运动想象，每隔固定时间，就会反馈训练结果；对于抓球训练场景，想象正确，对应的左右手会抓取球，否则没有任何动态动作；对于搬运训练场景，想象正确，对应的左右手会搬运盒子，否则也没有任何动态动作；两个训练场景都有分数统计区块，分数越高，表示训练效果越好。
20.优选地，所述脑电帽采用无线方式连接系统，用于采集脑电信号；所述vr训练界面包含引导人物、训练动作和训练场景；所述相机通过有线方式连接系统，用于拍摄；所述htcvive pro头显提供沉浸式的训练环境，显示个性化训练界面。
21.一种基于沉浸式虚拟现实的个性化康复训练方法，采用本发明基于沉浸式虚拟现实的个性化康复训练系统进行操作，操作步骤如下：
22.(1)打开个性化康复训练系统中的个性化模型建立界面；
23.(2)打开相机的摄像头，点击拍摄按钮；
24.(3)当界面出现拍摄结束提示时，点击加载图片按钮；
25.(4)当图片显示加载成功时，点击建立头部模型按钮；
26.(5)当建模界面显示结束时，点击检测模型按钮；
27.(6)当检测模型生成成功时，点击建立个性化界面按钮；
28.(7)使用者佩戴脑电帽和htc vive pro头显，注视界面中的“自己”开始运动想象；
29.(8)对采集的脑电信号进行处理，eeg解码单元通过csp算法解码，根据解码结果使用 tcp/ip通信协议发送给训练界面，训练界面提供反馈结果。
30.优选地，在所述步骤(2)中，开启摄像头后，界面会显示拍摄区域，使用者根据实际位置调整自身位置，保证正脸在显示区域内；点击开始拍摄按钮，相机会拍摄若干张使用者的正脸照片。
31.优选地，在所述步骤(3)中，系统会从若干张正脸图片加载出高像素的人脸图片。
32.优选地，在所述步骤(4)中，点击开始建立头部模型，建模的过程如下：
33.(4-1)加载高像素的照片；
34.(4-2)将图片载入3d头部模型系统；
35.(4-3)根据系统图例提示，依次获取脸部特征点，存储脸部信息；
36.(4-4)将信息传入系统，开始建模；
37.(4-5)以.fbx或.max格式保存模型。
38.优选地，在所述步骤(5)中，点击检测模型按钮，用于检测制作模型情况。
39.优选地，在所述步骤(6)中，当检测到模型生成成功时，打开对应的vr训练场景，点击开始建立个性化训练界面按钮，使用者的头部模型显示在界面的通用人物头部模型上，最终构成了一个自己，就形成了个性化训练模型。
40.优选地，在所述步骤(7)中，htc vive pro头显提供一个沉浸式的训练环境，显示个性化训练系统，同时使用者注视“自己”进行运动想象，以提高训练环境的真实性。
41.优选地，在所述步骤(8)中，对采集的脑电信号进行处理，使用csp算法对信号进行特征提取，将解码结果转换为对应的控制指令，通过tcp/ip通信协议传送给训练界面，以实时反馈使用者的训练结果。
42.本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
43.1.本发明系统使用时，使用者是通过注视着场景中的“自己”来进行运动想象，构成属于自己的训练系统，以提高训练系统真实性；简化人物模型的设计，只考虑设计男性和女性共两个模型对应的康复动作；
44.2.本发明实现人性化地训练过程，使用者佩戴htc vive pro设备，可以在一定范围内进行活动，场景不会随着使用者的走动而变化。
附图说明
45.图1是本发明的系统流程图。
46.图2是本发明的实验流程图。
47.图3是本发明的个性化训练界面制作流程。
48.图4是本发明的上肢运动想象反馈界面。
具体实施方式
49.以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
50.实施例一：
51.在本实施例中，参见图1，一种基于沉浸式虚拟现实的个性化康复训练系统，包括个性化康复训练系统1、3d头部模型库4、脑电帽6、htc vive pro头显7和eeg解码单元8；所述脑电帽6采用无线方式连接系统，用于采集脑电信号；所述eeg解码单元8用于解码脑电信号；所述htc vive pro头显7通过有线方式连接系统，用于显示个性化训练界面；所述个性化康复训练系统包含个性化模型建立单元2和vr训练场景5，所述个性化模型建立单元2用于构成个性化训练模型，所述vr训练场景5用于训练以及反馈解码结果；利用相机3 拍摄使用者正脸照片，所述相机3采用有线方式连接系统；所述3d头部模型库4根据人脸图片建立
头部模型。
52.使用基于沉浸式虚拟现实的个性化康复训练系统使，使用者是通过注视着场景中的“自己”来进行运动想象，构成属于自己的训练系统，以提高训练系统真实性。
53.实施例二：
54.本实施例与实施例一基本相同，特别之处在于：
55.在本实施例中，所述个性化模型建立单元2包括建立头部模型和建立个性化界面两部分：
56.其中建立头部模型：
57.1)利用相机拍摄若干张照片；
58.2)利用训练系统加载照片，选取出高像素图片；
59.3)将照片载入3d人脸建模系统；
60.4)根据系统图例提示，依次获取脸部特征点，开始建模；
61.5)以.fbx或.max格式保存模型；
62.建立个性化界面：
63.a.系统检测到模型生成；
64.b.将使用者的头部模型构建在训练界面中人物头部模型上；
65.c.使用者注视界面中的“自己”进行运动想象。
66.在本实施例中，使用者佩戴htc vive pro头显7，头显呈现上肢运动想象个性化训练界面，同时提供声音提示以及允许使用者在一定区域内进行活动；界面中人物会引导使用者进行左右手运动想象，每隔固定时间，就会反馈训练结果；对于抓球训练场景，想象正确，对应的左右手会抓取球，否则没有任何动态动作；对于搬运训练场景，想象正确，对应的左右手会搬运盒子，否则也没有任何动态动作；两个训练场景都有分数统计区块，分数越高，表示训练效果越好。
67.在本实施例中，所述脑电帽6采用无线方式连接系统，用于采集脑电信号；所述vr训练界面包含引导人物、训练动作和训练场景；所述相机通过有线方式连接系统，用于拍摄；所述htc vive pro头显提供沉浸式的训练环境，显示个性化训练界面。
68.本实施例基于沉浸式虚拟现实的个性化康复训练系统，其基本实现原理是个性化模型建立单元根据相机所拍摄的使用者照片，载入3d头部模型库生成对应的头部模型，将vr训练场景中通用人物头部模型显示为使用者的头部模型，构成了使用者“自己”，最终建立了个性化训练系统。使用者是注视界面的“自己”进行运动想象，eeg解码单元解码使用者的脑电信号，分析使用者的意图，训练界面反馈结果，增强了使用者沉浸式训练的体验。
69.实施例三：
70.本实施例与上述实施例基本相同，特别之处在于：
71.在本实施例中，一种基于沉浸式虚拟现实的个性化康复训练方法，采用上述实施例基于沉浸式虚拟现实的个性化康复训练系统进行操作，操作步骤如下：
72.(1)打开个性化康复训练系统中的个性化模型建立界面；
73.(2)打开相机的摄像头，点击拍摄按钮；
74.(3)当界面出现拍摄结束提示时，点击加载图片按钮；
75.(4)当图片显示加载成功时，点击建立头部模型按钮；
76.(5)当建模界面显示结束时，点击检测模型按钮；
77.(6)当检测模型生成成功时，点击建立个性化界面按钮；
78.(7)使用者佩戴脑电帽和htc vive pro头显，注视界面中的“自己”开始运动想象；
79.(8)对采集的脑电信号进行处理，eeg解码单元通过csp算法解码，根据解码结果使用 tcp/ip通信协议发送给训练界面，训练界面提供反馈结果。
80.在本实施例中，使用者是通过注视着场景中的“自己”来进行运动想象，构成属于自己的训练系统，以提高训练系统真实性；实现人性化地训练过程，使用者佩戴htc vive pro 设备，可以在一定范围内进行活动，场景不会随着使用者的走动而变化。
81.实施例四：
82.本实施例与上述实施例基本相同，特别之处在于：
83.在本实施例中，在所述步骤(2)中，开启摄像头后，界面会显示拍摄区域，使用者根据实际位置调整自身位置，保证正脸在显示区域内；点击开始拍摄按钮，相机会拍摄若干张使用者的正脸照片。
84.在本实施例中，在所述步骤(4)中，点击开始建立头部模型，建模的过程如下：
85.(4-1)加载高像素的照片；
86.(4-2)将图片载入3d头部模型系统；
87.(4-3)根据系统图例提示，依次获取脸部特征点，存储脸部信息；
88.(4-4)将信息传入系统，开始建模；
89.(4-5)以.fbx或.max格式保存模型。
90.在本实施例中，在所述步骤(6)中，当检测到模型生成成功时，打开对应的vr训练场景，点击开始建立个性化训练界面按钮，使用者的头部模型显示在界面的通用人物头部模型上，最终构成了一个自己，就形成了个性化训练模型。
91.在本实施例中，在所述步骤(8)中，对采集的脑电信号进行处理，使用csp算法对信号进行特征提取，将解码结果转换为对应的控制指令，通过tcp/ip通信协议传送给训练界面，以实时反馈使用者的训练结果。
92.在本实施例中，打开并运行个性化康复训练系统，点击进入个性化模型建立单元，用于构建个性化模型，依次点击拍摄按钮，使用相机拍摄使用者若干张正脸照片，点击加载图片按钮，用于获取高像素的人脸图片，点击建立头部模型按钮，将图片载入3d头部模型库，用于制作头部模型，点击检测模型按钮，用于检验模型制作情况，打开对应的vr训练场景，最后点击建立个性化界面按钮，将使用者的头部模型构建在vr训练场景引导人物的头部模型上，最终构成了一个自己，就形成了个性化训练模型；使用者佩戴脑电帽和htc vive pro 头显，根据系统提示注视头显中的“自己”开始运动想象，脑电帽采集使用者此时的脑电信号，eeg解码单元用于解码采集的脑电信号，将结果转换为对应的控制指令发送给训练界面，训练界面根据指令进行实时的视觉反馈。
93.实施例五：
94.本实施例与上述实施例基本相同，特别之处在于：
95.在本实施例中，如图1所示，基于沉浸式虚拟现实的个性化康复训练系统结构框图，包括个性化康复训练系统1、个性化模型建立单元2、相机3、3d头部模型库4、vr训练场景 5、脑电帽6、htc vive pro头显7、eeg解码单元8。所述脑电帽6采用无线方式连接系统，使用
博睿康24导联干电极帽，使用者头皮无需打脑电膏，直接佩戴脑电帽6，即可采集脑电信号；所述htc vive pro头显7通过有线方式连接系统，用于显示个性化训练界面；所述个性化康复训练系统1包含个性化模型建立单元2；所述个性化模型单元2用于构建个性化模型；所述3d头部模型库4用于建立头部模型；所述相机3通过有线方式连接系统，用于拍摄使用者正脸照片；所述eeg解码单元8解码采集的脑电信号，将结果转换成对应指令发送给训练界面，界面实时反馈想象结果。
96.如图2所示，一种基于沉浸式虚拟现实的个性化康复训练系统实验流程：首先打开个性化康复训练系统中的个性化模型建立单元2，依次点击拍摄按钮，拍摄若干张使用者正脸照片，点击加载图片按钮，获取高像素的人脸图片，点击建立头部模型按钮，3d头部模型库 4载入图片制作头部模型，点击检测模型按钮，显示成功建立模型，最后点击建立个性化界面按钮，让使用者的头部模型构建在vr训练场景中，接着使用者佩戴脑电帽6和htc vivepro头显7，打开vr训练场景5，注视界面中的“自己”开始运动想象，脑电帽6采集使用者此时的脑电信号，eeg解码单元8进行解码，将结果转换为对应控制指令发送给训练界面，训练界面反馈结果。
97.如图3所示，一种基于沉浸式虚拟现实的个性化康复训练方法的个性化训练界面制作流程。在康复训练系统中，选择第三人称视角呈现整个画面，vr界面包含人物模型、引导动作和虚拟场景，构成通用训练系统步骤如下：
98.a.在3ds max中制作好男性和女性的人物模型以及场景中涉及到的物品模型，接着为人物模型制作搬运和抓球的关键帧动画，
99.b.以.fbx格式保存并导入unity3d，选择合适的训练背景，调整模型位置，从而构成一个通用的训练系统。
100.构成个性化系统步骤如下：
101.1)使用相机拍摄若干张使用者正面照，加载系统选取出高像素的人物图片；
102.2)开始建立头部模型，进入3d头部模型库；
103.3)在模块案例提示下，逐步获取图片中脸部特征点；
104.4)建模结束，以指定格式保存；
105.5)当界面检测到生成的模型，点击开始建立个性化训练界面；
106.6)使用者在系统语音提示下，注视界面中的“自己”开始左右手运动想象，以达到个性化训练目的。
107.如图4所示，插图(1)为个性化康复训练系统的按钮控制区，插图(2)为vr训练场景现实图像区。一种基于沉浸式虚拟现实的个性化康复训练方法反馈界面。使用者佩戴htcvive pro头显7，头显呈现个性化训练界面，同时提供优质的声音提示以及允许使用者在一定区域内进行活动。界面中人物会引导使用者进行左手还是右手运动想象，每隔一定时间，就会反馈训练结果。对于抓球训练场景，想象正确，对应的左手或右手会抓取球，否则没有任何动态动作。对于搬运训练场景，想象正确，对应的左手或右手会搬运盒子，否则也没有任何动态动作。两个训练场景都有分数统计区块，分数越高，表示训练效果越好。
108.上述实施例在建立通用人物模型及场景基础上，导入使用者的头部模型，用于构建训练场景中人物的头部模型，最终构成了一个自己，从而构成了个性化的训练系统，达到“所见即自己、所想即所得”的目的，以降低治疗的枯燥感以及提高训练效果。
109.上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。
技术特征：1.一种基于沉浸式虚拟现实的个性化康复训练系统，包括个性化康复训练系统(1)、3d头部模型库(4)、脑电帽(6)、htc vive pro头显(7)和eeg解码单元(8)，其特征在于：所述脑电帽(6)采用无线方式连接系统，用于采集脑电信号；所述eeg解码单元(8)用于解码脑电信号；所述htc vive pro头显(7)通过有线方式连接系统，用于显示个性化训练界面；所述个性化康复训练系统包含个性化模型建立单元(2)和vr训练场景(5)，所述个性化模型建立单元(2)用于构成个性化训练模型，所述vr训练场景(5)用于训练以及反馈解码结果；利用相机(3)拍摄使用者正脸照片，所述相机(3)采用有线方式连接系统；所述3d头部模型库(4)根据人脸图片建立头部模型。2.根据权利要求1所述基于沉浸式虚拟现实的个性化康复训练系统，其特征在于：所述个性化模型建立单元(2)包括建立头部模型和建立个性化界面两部分：其中建立头部模型：1)利用相机拍摄若干张照片；2)利用训练系统加载照片，选取出高像素图片；3)将照片载入3d人脸建模系统；4)根据系统图例提示，依次获取脸部特征点，开始建模；5)以.fbx或.max格式保存模型；建立个性化界面：a.系统检测到模型生成；b.将使用者的头部模型构建在训练界面中人物头部模型上；c.使用者注视界面中的“自己”进行运动想象。3.根据权利要求1所述基于沉浸式虚拟现实的个性化康复训练系统，其特征在于：使用者佩戴htc vive pro头显(7)，头显呈现上肢运动想象个性化训练界面，同时提供声音提示以及允许使用者在一定区域内进行活动；界面中人物会引导使用者进行左右手运动想象，每隔固定时间，就会反馈训练结果；对于抓球训练场景，想象正确，对应的左右手会抓取球，否则没有任何动态动作；对于搬运训练场景，想象正确，对应的左右手会搬运盒子，否则也没有任何动态动作；两个训练场景都有分数统计区块，分数越高，表示训练效果越好。4.根据权利要求1所述基于沉浸式虚拟现实的个性化康复训练系统，其特征在于：所述脑电帽(6)采用无线方式连接系统，用于采集脑电信号；所述vr训练界面包含引导人物、训练动作和训练场景；所述相机通过有线方式连接系统，用于拍摄；所述htc vive pro头显提供沉浸式的训练环境，显示个性化训练界面。5.一种基于沉浸式虚拟现实的个性化康复训练方法，采用权利要求1所述基于沉浸式虚拟现实的个性化康复训练系统进行操作，其特征在于操作步骤如下：(1)打开个性化康复训练系统中的个性化模型建立界面；(2)打开相机的摄像头，点击拍摄按钮；(3)当界面出现拍摄结束提示时，点击加载图片按钮；(4)当图片显示加载成功时，点击建立头部模型按钮；(5)当建模界面显示结束时，点击检测模型按钮；(6)当检测模型生成成功时，点击建立个性化界面按钮；(7)使用者佩戴脑电帽和htc vive pro头显，注视界面中的“自己”开始运动想象；
(8)对采集的脑电信号进行处理，eeg解码单元通过csp算法解码，根据解码结果使用tcp/ip通信协议发送给训练界面，训练界面提供反馈结果。6.根据权利要求5所述基于沉浸式虚拟现实的个性化康复训练方法，其特征在于：在所述步骤(2)中，开启摄像头后，界面会显示拍摄区域，使用者根据实际位置调整自身位置，保证正脸在显示区域内；点击开始拍摄按钮，相机会拍摄若干张使用者的正脸照片。7.根据权利要求5所述基于沉浸式虚拟现实的个性化康复训练方法，其特征在于：在所述步骤(4)中，点击开始建立头部模型，建模的过程如下：(4-1)加载高像素的照片；(4-2)将图片载入3d头部模型系统；(4-3)根据系统图例提示，依次获取脸部特征点，存储脸部信息；(4-4)将信息传入系统，开始建模；(4-5)以.fbx或.max格式保存模型。8.根据权利要求5所述基于沉浸式虚拟现实的个性化康复训练方法，其特征在于：在所述步骤(6)中，当检测到模型生成成功时，打开对应的vr训练场景，点击开始建立个性化训练界面按钮，使用者的头部模型显示在界面的通用人物头部模型上，最终构成了一个自己，就形成了个性化训练模型。9.根据权利要求5所述基于沉浸式虚拟现实的个性化康复训练方法，其特征在于：在所述步骤(8)中，对采集的脑电信号进行处理，使用csp算法对信号进行特征提取，将解码结果转换为对应的控制指令，通过tcp/ip通信协议传送给训练界面，以实时反馈使用者的训练结果。
技术总结本发明公开了一种基于沉浸式虚拟现实的个性化康复训练系统与方法。本发明系统包括个性化康复训练系统、相机、3D头部模型库、脑电帽、HTC Vive Pro头显、EEG解码单元。运行个性化康复训练系统，构建个性化模型，使用相机拍摄使用者照片，获取人脸图片，将图片载入3D头部模型库，检验模型制作情况，打开对应的VR训练场景，将使用者的头部模型构建在VR训练场景引导人物的头部模型上，最终构成了一个自己，就形成了个性化训练模型；使用者根据系统提示注视头显中的“自己”开始运动想象，脑电帽采集脑电信号，EEG解码单元解码脑电信号，将结果转换为对应的控制指令发送给训练界面，训练界面根据指令进行实时视觉反馈，本发明给与患者更高的沉浸式治疗体验。高的沉浸式治疗体验。高的沉浸式治疗体验。
技术研发人员：杨帮华 徐梦蝶 黄逸灵 陈文华
受保护的技术使用者：上海韶脑传感技术有限公司
技术研发日：2022.01.21
技术公布日：2022/7/5
