1.本发明涉及虚拟现实技术的技术领域，特别是涉及一种虚拟现实 学习课堂的三维手势识别算法。
背景技术：2.虚拟现实关键技术不断突破，沉浸式虚拟现实技术愈发成熟，带 动教育创新，注入了新的活力，国家层面也开始鼓励将沉浸式虚拟现 实技术应用于教学。虚拟现实学习课堂是利用电脑模拟产生一个三度 空间的虚拟世界，整合各类媒体资源，提供学习者关于视觉、听觉、 触觉等感官的模拟，让学习者有身临其境的感觉，具有多感官通道刺 激的独特优势，可以没有限制、即时性地观察三维空间内的事物，通 过头盔等硬件设备来感知动作并且进行交互，延伸学习范围，可以更 大程度上提升学习者的参与度和动机。
3.在虚拟现实学习课堂中，3d手势识别必不可少。对于沉浸式的 虚拟现实3d场景，3d手势交互能够通过各种交互行为刺激用户的视 觉、触觉、听觉等感知系统，从而建立全方位的感官体验。虽然在虚 拟现实学习课堂的vr环境交互中，3d手势识别的功能性更强大，但 相比于语音和文字,因为要对多台摄像机采集的手势图像进行跟踪和 处理，实现过程更为复杂，对图像识别技术的依赖程度更高，手势特 征提取的复杂度随着vr交互的需求度攀升。
4.近年来在手势识别方面的研究主要基于视觉和基于传感的方法， 大部分基于从单一的深度图像对三维手部姿态进行实时估计，3d手 势识别性弱，无法达到虚拟现实学习课堂的需求。因此，考虑到虚拟 现实学习课堂vr三维手势的适应度、vr交互的复杂性及今后vr应 用环境的扩展，采用基于视觉的方法，在随机森林算法和机器学习算 法的基础上，提出了一种新的适用于虚拟现实学习课堂的三维手势识 别算法。
5.近年来在手势识别方面的研究有通过摄像机获取颜色和深度信 息；有提出基于潜回归森林的无监督学习方法，从单一的深度图像对 三维手部姿态进行实时估计；或是通过手套捕获手指关节的三维旋转 数据，采用卷积神经网络进行手势实时识别。基于视觉和传感器的方 法对舒适性和自然度有较大影响且成本较高。而在手势识别算法中， 神经网络方法虽然能够取得很好的效果，但是需要有大量的数据样 本，训练时间很长。
6.现有的技术，在手势识别算法中如基于视觉和传感器的方法，对 舒适性和自然度有较大影响且成本较高；而神经网络方法虽然能够取 得很好的效果，但是需要有大量的数据样本，训练时间很长。
技术实现要素：7.为解决上述技术问题，本发明提供一种在不需要大量数据样本和 手势类型较多的情况下，也能取到较好的效果，适合实时手势识别， 满足不同环境下的vr三维手势交互的一种虚拟现实学习课堂的三维 手势识别算法。
8.本发明的一种虚拟现实学习课堂的三维手势识别算法，步骤如 下：
9.s1、在数据源内，由摄像机随机获取三维手势样本，之后将三维 手势样本进行初始化与矩阵化；
10.s2、依据手势图像降噪预处理算法，采取中值滤波算法降噪；
11.s3、采用二值化手势图像形态学处理，获取更加完整的手势；
12.s4、采用随机森林算法对样本特征进行降维和重要度排名，之后 选择重要度高的特征，对原始数据样本优化，剔除重要度低的特征；
13.s5、采用xgboost算法建立最优决策树，利用多种识别算法对参 数优化，设置准确度阈值；
14.s6、在达到准确度阈值时，输出三维手势识别的结果，未达到准 确度阈值的再重复采用xgboost算法建立最优决策树，利用多种识别 算法对参数优化，设置准确度阈值，
15.本发明的一种虚拟现实学习课堂的三维手势识别算法，手势图像 降噪预处理算法，手势图像中值滤波算法降噪，采用中值滤波技术滤 除噪点，并同时保留图像边缘信息，避免手势图像边缘轮廓的模糊， 将样本内像素点按照一定的顺序排列，升降序都可以，噪声点的排列 位置大概率是靠近两端位置，当像素点个数为偶数时，取样本中间两 位像素点的平均值作为中心像素；当像素点个数为奇数时，取样本中 间位置像素作为中心像素点的值，定义手势图像为f(u,v),二维样本 为h，利用算法对手势图像f(u,v)进行中值滤波后，得到的图像为：
16.u v＝hed
uv∈n
f u v
17.其中，f(u,v)为手势图像,h为二维样本，n为计算机样本m覆盖 的图像像素点位置取值的范围，hed为样本内像素的中位数运算。
18.本发明的一种虚拟现实学习课堂的三维手势识别算法，二值化手 势图像形态学处理包括腐蚀算法，腐蚀算法是求手势样本图像区域最 小值，并将该值作为指定像素点的值，假定一个待处理的样本区域为 x，y为结构元素，样本区域x与结构元素y卷积运算后，得出局部 最小值，结构元素y对目标区城x的腐蚀记为当结构元素y 的中心原点在腐蚀后的区城中平移时，结构元素y始终完全包含于目 标区城x中，腐蚀运算可以将图像边界点消除，可以将边界向内部压 缩，使部分区域缩小，因此可以用来消除微小的噪声干扰点，腐蚀运 算算法为：
[0019][0020]
其中，x为样本区域，y为结构元素，为结构元素y对目标 区城x的腐蚀。
[0021]
本发明的一种虚拟现实学习课堂的三维手势识别算法，还包括膨 胀算法，膨胀算法是手势样本图像区域最大值,并将该值作为指定像 素点的值，假定一个待处理目标区域为x，y为结构元素，样本区域 x与结构元素y卷积运算后，得出局部最大值，结构元素y对目标区 城x的膨胀记为当结构元素y的中心原点在膨胀后的区域中 平移时，结构元素y始终与目标区域x的交集非空，膨胀运算可以使 图像中的白色高亮区域扩大，可以对白色区域中微小的黒暗噪点进行 吞噬，因此可以消除白色区域中黑暗噪点，膨胀运算算法为：
[0022][0023]
其中，x为样本区域，y为结构元素，为结构元素y对目标 区城x的膨胀。
[0024]
本发明的一种虚拟现实学习课堂的三维手势识别算法，还包括开 运算，开运算是先对手势样本图像进行腐蚀，再对图像进行膨胀操作 使用结构元素y对目标区城x进行开运算操作，可记作开运 算在手势样本图像处理中将目标区域的细小连接线切断，使物体不再 粘连，并保证在保证物体面积不变的情况下，平滑较大物体的边界， 以达到有效去除小型高亮噪声区城的目的，开运算算法为：
[0025][0026]
其中，x为样本区域，y为结构元素，为结构元素y对目标 区城x的开运算。
[0027]
本发明的一种虚拟现实学习课堂的三维手势识别算法，还包括闭 运算，闭运算是先对手势样本图像进行膨胀操作，再对图像进行腐蚀 操作，使用结构元素y对目标区域x进行闭运算操作，可记作x
·
y， 闭运算在手势样本图像处理中较为有效去除小型黑色空洞区城，消除 白色高亮区城中黑暗孤立点，将目标区域的边缘轮廓上的凹陷部分进 行填补，使轮廓更加平滑。闭运算算法为：
[0028][0029]
其中，x为样本区域，y为结构元素，x
·
y为结构元素y对目标 区城x的闭运算。
[0030]
本发明的一种虚拟现实学习课堂的三维手势识别算法，三维手势 识别算法包括随机森林算法，随机森林算法有效地对重要特征进行挖 掘，对样本特征进行降维和重要度排名，选择重要度高的特征对原始 手势数据样本进行优化，根据特征优化结果，剔除重要度低的特征， 更新原始数据样本，
[0031]
设随机森林有很多决策树，设两特征向量u,v，边缘函数为：
[0032][0033]
其中，为构成随机森林的k棵决策树，u为特征向量，v和j分 别表示模型判断正确和错误的向量，i(
·
)为转换函数，avk(
·
)为均 值计算，mod(u,v)越大，特征提取效果越好。
[0034]
本发明的一种虚拟现实学习课堂的三维手势识别算法，还包括 xgboost算法，xgboost算法在决策树的基础上采用集成策略，利用 梯度提升算法不断减小前面生成的决策树的损失，并产生新树构成模 型，确保最终决策的可靠性，xgboost在代价函数加入了正则化项， 同时能够支持基于特征粒度的并行以及若干方面的优化，在实际工程 应用上的速度和准确率提高很多，因此，本发明采用xgboost算法对 手势识别特征进行训练，建立最优决策树，利用多种识别算法对 xgboost参数进行优化，设置准确度阈值，若达到准确度的阈值，则 输出三维手势识别的结果，若没有达到准确度阈值，则重新采用 xgboost算法建立最优决策树,优化参赛，再一次根据阈值的准确度 来判定，
[0035][0036]
其中，每棵树所占权重为，y为叶子节点，第y个叶子的最优 值为，γ和λ为复杂度参数，m为特征向量，γ决定xgboost树是 否继续分叉，λ决定正则化的权重，mod指的是目标函数的最优解。
附图说明
[0037]
图1是本发明的算法流程图；
具体实施方式
[0038]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细 描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0039]
如图1所示，本发明的一种虚拟现实学习课堂的三维手势识别算 法，步骤如下：
[0040]
s1、在数据源内，由摄像机随机获取三维手势样本，之后将三维 手势样本进行初始化与矩阵化
[0041]
s2、依据手势图像降噪预处理算法，采用中值滤波技术滤除噪点， 并同时保留图像边缘信息，避免手势图像边缘轮廓的模糊，将样本内 像素点按照一定的顺序排列，升降序都可以，噪声点的排列位置大概 率是靠近两端位置，当像素点个数为偶数时，取样本中间两位像素点 的平均值作为中心像素；当像素点个数为奇数时，取样本中间位置像 素作为中心像素点的值，定义手势图像为f(u,v),二维样本为h，利 用算法对手势图像f(u,v)进行中值滤波后，得到的图像为：
[0042]
g(u,v)＝hed
(u,v)∈n
f(u,v)
[0043]
其中，f(u,v)为手势图像,h为二维样本，n为计算机样本m覆盖的 图像像素点位置取值的范围，hed为样本内像素的中位数运算；
[0044]
s3、采用二值化手势图像形态学处理，包括腐蚀算法，腐蚀算法 是求手势样本图像区域最小值，并将该值作为指定像素点的值，假定 一个待处理的样本区域为x，y为结构元素，样本区域x与结构元素y 卷积运算后，得出局部最小值，结构元素y对目标区城x的腐蚀记为 当结构元素y的中心原点在腐蚀后的区城中平移时，结构元素y 始终完全包含于目标区城x中，腐蚀运算可以将图像边界点消除，可 以将边界向内部压缩，使部分区域缩小，因此可以用来消除微小的噪 声干扰点，腐蚀运算算法为：
[0045][0046]
其中，x为样本区域，y为结构元素，为结构元素y对目标区 城x的腐蚀；
[0047]
还包括膨胀算法，膨胀算法是手势样本图像区域最大值,并将该 值作为指定像素点的值，假定一个待处理目标区域为x，y为结构元素， 样本区域x与结构元素y卷积运算后，得出局部最大值，结构元素y对 目标区城x的膨胀记为当结构元素y的中心原点在膨胀后的区 域中平移时，结构元素y始终与目标区域x的交集非空，膨胀运算可以 使图像中的白色高亮区域扩大，可以对白色区域中微小的黒暗噪点进 行吞噬，因此可以消除白色区域中黑暗噪点，膨胀运算算法为：
[0048][0049]
其中，x为样本区域，y为结构元素，为结构元素y对目标区 城x的膨胀；
[0050]
还包括开运算，先对手势样本图像进行腐蚀，再对图像进行膨胀 操作使用结构元素y对目标区城x进行开运算操作，可记作开 运算在手势样本图像处理中将目标区域的细小连接线切断，使物体不 再粘连，并保证在保证物体面积不变的情况下，平滑较大
物体的边界， 以达到有效去除小型高亮噪声区城的目的，开运算算法为：
[0051][0052]
其中，x为样本区域，y为结构元素，为结构元素y对目标区 城x的开运算；
[0053]
还包括闭运算，先对手势样本图像进行膨胀操作，再对图像进行 腐蚀操作，使用结构元素y对目标区域x进行闭运算操作，可记作 x
·
y，闭运算在手势样本图像处理中较为有效去除小型黑色空洞区 城，消除白色高亮区城中黑暗孤立点，将目标区域的边缘轮廓上的凹 陷部分进行填补，使轮廓更加平滑，闭运算算法为：
[0054][0055]
其中，x为样本区域，y为结构元素，x
·
y为结构元素y对目标区 城x的闭运算；
[0056]
s4；采用随机森林算法，设随机森林有很多决策树，设两特征 向量u,v，边缘函数为：
[0057][0058]
其中，为构成随机森林的k棵决策树，u为特征向量，v和j分 别表示模型判断正确和错误的向量，i(
·
)为转换函数，avk(
·
)为均 值计算，mod(u,v)越大，特征提取效果越好对样本特征进行降维和重 要度排名，之后选择重要度高的特征，对原始数据样本优化，剔除重 要度低的特征；
[0059]
s5、采用xgboost算法在决策树的基础上采用集成策略，利用梯 度提升算法不断减小前面生成的决策树的损失，并产生新树构成模 型，确保最终决策的可靠性，xgboost在代价函数加入了正则化项， 同时能够支持基于特征粒度的并行以及若干方面的优化，在实际工程 应用上的速度和准确率提高很多，因此，本发明采用xgboost算法对 手势识别特征进行训练，建立最优决策树，利用多种识别算法对 xgboost参数进行优化，设置准确度阈值，若达到准确度的阈值，则 输出三维手势识别的结果，若没有达到准确度阈值，则重新采用 xgboost算法建立最优决策树,优化参赛，再一次根据阈值的准确度来 判定，
[0060]
还包括xgboost算法，xgboost算法在决策树的基础上采用集成策 略，利用梯度提升算法不断减小前面生成的决策树的损失，并产生新 树构成模型，确保最终决策的可靠性，xgboost在代价函数加入了正 则化项，同时能够支持基于特征粒度的并行以及若干方面的优化，在 实际工程应用上的速度和准确率提高很多，因此，本发明采用xgboost 算法对手势识别特征进行训练，建立最优决策树，利用多种识别算法 对xgboost参数进行优化，设置准确度阈值，若达到准确度的阈值， 则输出三维手势识别的结果，若没有达到准确度阈值，则重新采用 xgboost算法建立最优决策树,优化参赛，再一次根据阈值的准确度来 判定，
[0061][0062]
其中，每棵树所占权重为，y为叶子节点，第y个叶子的最优值 为，γ和λ为复杂度参数，m为特征向量，γ决定xgboost树是否继 续分叉，λ决定正则化的权重，mod指的是目标函数的最优解
[0063]
建立最优决策树，利用多种识别算法对参数优化，设置准确度阈 值；
[0064]
s6、在达到准确度阈值时，输出三维手势识别的结果，未达到准 确度阈值的再重复采用xgboost算法建立最优决策树，利用多种识别 算法对参数优化，设置准确度阈值。
[0065]
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出 若干改进和变型，这些改进和变型也应视为本发明的保护范围。
技术特征：1.一种虚拟现实学习课堂的三维手势识别算法，其特征在于，步骤如下：s1、在数据源内，由摄像机随机获取三维手势样本，之后将三维手势样本进行初始化与矩阵化；s2、依据手势图像降噪预处理算法，采取中值滤波算法降噪；s3、采用二值化手势图像形态学处理，获取更加完整的手势；s4、采用随机森林算法对样本特征进行降维和重要度排名，之后选择重要度高的特征，对原始数据样本优化，剔除重要度低的特征；s5、采用xgboost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值；s6、在达到准确度阈值时，输出三维手势识别的结果，未达到准确度阈值的再重复采用xgboost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值。2.如权利要求1的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，手势图像降噪预处理算法，手势图像中值滤波算法降噪，采用中值滤波技术滤除噪点，并同时保留图像边缘信息，避免手势图像边缘轮廓的模糊，将样本内像素点按照一定的顺序排列，升降序都可以，噪声点的排列位置大概率是靠近两端位置，当像素点个数为偶数时，取样本中间两位像素点的平均值作为中心像素；当像素点个数为奇数时，取样本中间位置像素作为中心像素点的值，定义手势图像为f(u,v),二维样本为h，利用算法对手势图像f(u,v)进行中值滤波后，得到的图像为：g(u,v)＝hed
(u,v)∈n
f(u,v)其中，f(u,v)为手势图像,h为二维样本，n为计算机样本m覆盖的图像像素点位置取值的范围，hed为样本内像素的中位数运算。3.如权利要求2的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，二值化手势图像形态学处理包括腐蚀算法，腐蚀算法是求手势样本图像区域最小值，并将该值作为指定像素点的值，假定一个待处理的样本区域为x，y为结构元素，样本区域x与结构元素y卷积运算后，得出局部最小值，结构元素y对目标区城x的腐蚀记为当结构元素y的中心原点在腐蚀后的区城中平移时，结构元素y始终完全包含于目标区城x中，腐蚀运算可以将图像边界点消除，可以将边界向内部压缩，使部分区域缩小，因此可以用来消除微小的噪声干扰点，腐蚀运算算法为：其中，x为样本区域，y为结构元素，为结构元素y对目标区城x的腐蚀。4.如权利要求3的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，还包括膨胀算法，膨胀算法是手势样本图像区域最大值,并将该值作为指定像素点的值，假定一个待处理目标区域为x，y为结构元素，样本区域x与结构元素y卷积运算后，得出局部最大值，结构元素y对目标区城x的膨胀记为当结构元素y的中心原点在膨胀后的区域中平移时，结构元素y始终与目标区域x的交集非空，膨胀运算可以使图像中的白色高亮区域扩大，可以对白色区域中微小的黒暗噪点进行吞噬，因此可以消除白色区域中黑暗噪点，膨胀运算算法为：
其中，x为样本区域，y为结构元素，为结构元素y对目标区城x的膨胀。5.如权利要求4的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，还包括开运算，开运算是先对手势样本图像进行腐蚀，再对图像进行膨胀操作使用结构元素y对目标区城x进行开运算操作，可记作开运算在手势样本图像处理中将目标区域的细小连接线切断，使物体不再粘连，并保证在保证物体面积不变的情况下，平滑较大物体的边界，以达到有效去除小型高亮噪声区城的目的，开运算算法为：其中，x为样本区域，y为结构元素，为结构元素y对目标区城x的开运算。6.如权利要求5的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，还包括闭运算，闭运算是先对手势样本图像进行膨胀操作，再对图像进行腐蚀操作，使用结构元素y对目标区域x进行闭运算操作，可记作闭运算在手势样本图像处理中较为有效去除小型黑色空洞区城，消除白色高亮区城中黑暗孤立点，将目标区域的边缘轮廓上的凹陷部分进行填补，使轮廓更加平滑，闭运算算法为：其中，x为样本区域，y为结构元素，为结构元素y对目标区城x的闭运算。7.如权利要求6的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，三维手势识别算法包括随机森林算法，随机森林算法有效地对重要特征进行挖掘，对样本特征进行降维和重要度排名，选择重要度高的特征对原始手势数据样本进行优化，根据特征优化结果，剔除重要度低的特征，更新原始数据样本，设随机森林有很多决策树，设两特征向量u,v，边缘函数为：其中，为构成随机森林的k棵决策树，u为特征向量，v和j分别表示模型判断正确和错误的向量，i(
·
)为转换函数，av
k
(
·
)为均值计算，mod(u,v)越大，特征提取效果越好。8.如权利要求7的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，还包括xgboost算法，xgboost算法在决策树的基础上采用集成策略，利用梯度提升算法不断减小前面生成的决策树的损失，并产生新树构成模型，确保最终决策的可靠性，xgboost在代价函数加入了正则化项，同时能够支持基于特征粒度的并行以及若干方面的优化，在实际工程应用上的速度和准确率提高很多，因此，本发明采用xgboost算法对手势识别特征进行训练，建立最优决策树，利用多种识别算法对xgboost参数进行优化，设置准确度阈值，若达到准确度的阈值，则输出三维手势识别的结果，若没有达到准确度阈值，则重新采用xgboost算法建立最优决策树,优化参赛，再一次根据阈值的准确度来判定，其中，每棵树所占权重为，y为叶子节点，第y个叶子的最优值为，γ和λ为复杂度参数，m为特征向量，γ决定xgboost树是否继续分叉，λ决定正则化的权重，mod指的是目标函数的
最优解。
技术总结本发明涉及虚拟现实技术的技术领域，特别是涉及一种虚拟现实学习课堂的三维手势识别算法，其在不需要大量数据样本和手势类型较多的情况下，也能取到较好的效果，适合实时手势识别，满足不同环境下的VR三维手势交互；在数据源内，由摄像机随机获取三维手势，之后将三维手势样本进行初始化与矩阵化，然后依据手势图像降噪预处理算法，之后选择重要度高的特征，对原始数据样本优化，剔除重要度低的特征，之后采用XGBoost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值，在达到准确度阈值时，输出三维手势识别的结果，未达到准确度阈值的再重复采用XGBoost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值。置准确度阈值。置准确度阈值。
技术研发人员：许倩倩 边晓鋆
受保护的技术使用者：杭州市电子信息职业学校 许倩倩
技术研发日：2022.03.16
技术公布日：2022/7/5
