1.本发明涉及智能轮椅交互的领域，且更为具体地，涉及一种智能轮椅的手指手势交互系统及其交互方法。
背景技术：2.现有的电动轮椅大多采用摇杆控制方式,无法远距离控制,交互方式不够直观与便捷,轮椅车的控制方式也缺乏智能化,无法满足随着科技发展而增长的用户需求。
3.目前，也有些将手势识别技术应用在助行器械的指令识别控制中，但是在手势识别过程中,大多都是基于单一的传感器进行手势的识别，这样获取的信息较少,识别的结果易受多种因素的干扰。因此，为了更准确地对手势动作类型的交互指令进行识别判断，期望一种智能轮椅的手指手势交互系统。
技术实现要素：4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种智能轮椅的手指手势交互系统及其交互方法，其采用包含一维卷积层和全连接层的编码器和卷积神经网络对加速度信号和角度信号以及肌电信号进行高维特征提取，并基于高斯密度图和高斯响应性分布将所述加速度特征向量、所述角度特征向量和所述肌电特征图进行融合，以在所述肌电特征图的特征分布的基础上，获得所述反应加速度特征和所述角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。这样，可以更准确地对手势动作类型的交互指令进行识别判断，进而使得对于智能轮椅的控制效果更好。
5.根据本技术的一个方面，提供了一种智能轮椅的手指手势交互系统，其包括：
6.运动数据获取单元，用于通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息；
7.运动特征编码单元，用于将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量；
8.肌电数据获取单元，用于获取所述手势动作期间的肌电信号的图像；
9.空间编码单元，用于将所述肌电信号输入卷积神经网络以获得肌电特征图；
10.高斯密度图单元，用于基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；
11.高斯响应单元，用于计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关；
12.手势动作识别单元，用于将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果；以及
13.交互单元，用于基于所述分类结果，生成交互指令。
14.在上述智能轮椅的手指手势交互系统中，所述运动特征编码单元，包括：全连接编码子单元，用于使用所述编码器的全连接层分别对所述加速度向量和所述角度向量进行全连接编码以提取出所述加速度向量和所述角度向量中各个位置的特征值的高维隐含特征；一维卷积编码子单元，用于使用所述编码器的一维卷积层分别对所述加速度向量和所述角度向量进行一维卷积编码以提取出所述加速度向量和所述角度向量中各个位置的特征值之间的关联的高维关联隐含特征；以及，概率化编码子单元，用于使用所述编码器的最后一层以sigmoid激活函数对上一层的输入进行激活以获得加速度特征向量和所述角度特征向量，其中，所述加速度特征向量和所述角度特征向量中各个位置的特征值在0到1的概率区间内。
15.在上述智能轮椅的手指手势交互系统中，所述空间编码单元，进一步用于：使用所述卷积神经网络以如下公式对所述肌电信号的图像进行显式空间编码以获得肌电特征图；所述公式为：
16.fi＝active(ni×fi-1
+bi)
17.其中，f
i-1
为第i层卷积神经网络的输入，fi为第i层卷积神经网络的输出，ni为第i层卷积神经网络的过滤器，且bi为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。
18.在上述智能轮椅的手指手势交互系统中，所述卷积神经网络的最后一层的active函数为sigmoid函数以使得所述肌电特征图中各个位置的特征值在 0到1的概率空间内。
19.在上述智能轮椅的手指手势交互系统中，所述高斯响应单元，进一步用于：以如下公式计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量；所述公式为：
[0020][0021][0022]
也就是，xi是对所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目。
[0023]
在上述智能轮椅的手指手势交互系统中，所述手势动作识别单元，进一步用于：将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于不同手势动作类型标签的概率值；以及，将概率值最大的手势动作类型标签作为所述分类结果。
[0024]
根据本技术的另一方面，一种智能轮椅的手指手势交互系统的交互方法，其包括：
[0025]
通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息；
[0026]
将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向
量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量；
[0027]
获取所述手势动作期间的肌电信号的图像；
[0028]
将所述肌电信号输入卷积神经网络以获得肌电特征图；
[0029]
基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；
[0030]
计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关；
[0031]
将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果；以及
[0032]
基于所述分类结果，生成交互指令。
[0033]
在上述智能轮椅的手指手势交互系统的交互方法中，将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量，包括：使用所述编码器的全连接层分别对所述加速度向量和所述角度向量进行全连接编码以提取出所述加速度向量和所述角度向量中各个位置的特征值的高维隐含特征；使用所述编码器的一维卷积层分别对所述加速度向量和所述角度向量进行一维卷积编码以提取出所述加速度向量和所述角度向量中各个位置的特征值之间的关联的高维关联隐含特征；以及，使用所述编码器的最后一层以sigmoid激活函数对上一层的输入进行激活以获得加速度特征向量和所述角度特征向量，其中，所述加速度特征向量和所述角度特征向量中各个位置的特征值在0到1的概率区间内。
[0034]
在上述智能轮椅的手指手势交互系统的交互方法中，将所述肌电信号输入卷积神经网络以获得肌电特征图，包括：使用所述卷积神经网络以如下公式对所述肌电信号的图像进行显式空间编码以获得肌电特征图；
[0035]
所述公式为：
[0036]fi
＝active(ni×fi-1
+bi)
[0037]
其中，f
i-1
为第i层卷积神经网络的输入，fi为第i层卷积神经网络的输出，ni为第i层卷积神经网络的过滤器，且bi为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。
[0038]
在上述智能轮椅的手指手势交互系统的交互方法中，所述卷积神经网络的最后一层的active函数为sigmoid函数以使得所述肌电特征图中各个位置的特征值在0到1的概率空间内。
[0039]
在上述智能轮椅的手指手势交互系统的交互方法中，计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，包括：以如下公式计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量；所述公式为：
[0040][0041][0042]
也就是，xi是对所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目。
[0043]
在上述智能轮椅的手指手势交互系统的交互方法中，将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果，包括：将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于不同手势动作类型标签的概率值；以及，将概率值最大的手势动作类型标签作为所述分类结果。
[0044]
与现有技术相比，本技术提供的智能轮椅的手指手势交互系统及其交互方法，其采用包含一维卷积层和全连接层的编码器和卷积神经网络对加速度信号和角度信号以及肌电信号进行高维特征提取，并基于高斯密度图和高斯响应性分布将所述加速度特征向量、所述角度特征向量和所述肌电特征图进行融合，以在所述肌电特征图的特征分布的基础上，获得所述反应加速度特征和所述角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。这样，可以更准确地对手势动作类型的交互指令进行识别判断，进而使得对于智能轮椅的控制效果更好。
附图说明
[0045]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0046]
图1为根据本技术实施例的智能轮椅的手指手势交互系统的应用场景图。
[0047]
图2为根据本技术实施例的智能轮椅的手指手势交互系统的框图。
[0048]
图3为根据本技术实施例的智能轮椅的手指手势交互系统中运动特征编码单元的框图。
[0049]
图4为根据本技术实施例的智能轮椅的手指手势交互系统的交互方法的流程图。
[0050]
图5为根据本技术实施例的智能轮椅的手指手势交互系统的交互方法的架构示意图。
具体实施方式
[0051]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0052]
场景概述
[0053]
如前所述，我国人口老龄化问题日益严重,同时,由意外事故所造成的运动功能障碍患者的数量也在逐年增加,人们对于助行器械的需求也随之增长。而现有的电动轮椅大
多采用摇杆控制方式,无法远距离控制,交互方式不够直观与便捷,轮椅车的控制方式也缺乏智能化,无法满足随着科技发展而增长的用户需求。
[0054]
目前，也有些将手势识别技术应用在助行器械的指令识别控制中，但是在手势识别过程中,大多都是基于单一的传感器进行手势的识别，这样获取的信息较少,识别的结果易受多种因素的干扰。因此，为了更准确地对手势动作类型的交互指令进行识别判断，期望一种智能轮椅的手指手势交互系统。
[0055]
基于此，在本技术的技术方案中，期望采用基于肌电信号与惯性传感器信号的多源信息融合手势识别系统来提高识别精确度。
[0056]
应可以理解，在多传感器系统中，不同种类的信息采集设备所获取的数据类型不尽相同，传感器信息的类别可以是电压信号、电流信号以及数字信号，并且多传感器信息可能是互相矛盾和冲突。信息融合技术合理利用了多源传感器信息特性，该技术可以根据各传感器信息对手势识别结果的影响程度，调整各传感器对于系统输出结果的判决权值，从而对系统结果进行优化，使得信息融合系统的识别性能相较于基于单一传感器的识别系统更为优秀。
[0057]
在本技术的技术方案中，选用肌电信号、加速度信号以及角度信号进行传感器数据融合，三种信号分为两类，肌电信号属于生物电信号，加速度与角度信号属于惯性传感器信号，这两类信号互相不同质，其中肌电信号信号不仅能反映运动关节的活动强度和活动伸屈状态，还能实时反映手势动作完成过程中手指、手腕或手臂等部位运动产生的手部姿态、当前手部方向、施力强度等运动信息，可以有效表征由相应肌群支配产生的各种动作和行为模式，在判断精确手势动作方面拥有优势。
[0058]
加速度与角度信号属于惯性传感器类别，实验通过将惯性传感器安装在手臂上，使用算法将惯性传感器数据转换为直观的姿态角等信息，从而得出手部运动时的姿态与动作幅度。
[0059]
具体地，在本技术的技术方案中，首先获取手势动作期间内的一系列时间点的加速度信号和角度信号，得到加速度向量和角度向量，并输入包含一维卷积层和全连接层的编码器，且该编码器的最后一层以sigmoid激活函数激活，得到加速度特征向量和角度特征向量。
[0060]
获取所述手势动作期间的肌电信号，表示为横轴为时间的肌电图，并输入卷积神经网络以得到肌电特征图，该卷积神经网络的最后一层也以 sigmoid激活函数激活。
[0061]
要对加速度特征向量、角度特征向量和肌电特征图进行融合，基于高斯密度图通常作为卷积神经网络的学习目标，首先基于加速度特征向量、角度特征向量构造高斯密度图x表示合成后的高斯向量，μi表示加速度特征向量和角度特征向量的每个位置的特征值的均值，且σi表示加速度特征向量和角度特征向量的每个位置的特征值的方差。
[0062]
然后，由于加速度特征和角度特征在高维特征空间中都可以看作为针对肌电特征的响应特征，计算高斯密度图对于肌电特征图的高斯响应性分布，即
[0063]
[0064][0065]
也就是，xi是对肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目。
[0066]
这样，就得到了由各个高斯响应性分布值组成的分类向量，从而在肌电特征图的特征分布的基础上，获得反应加速度特征和角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。
[0067]
最后，分类向量输入分类器得到表示手势动作类型的分类结果。
[0068]
基于此，本技术提出了一种智能轮椅的手指手势交互系统，其包括：运动数据获取单元，用于通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息；运动特征编码单元，用于将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量；肌电数据获取单元，用于获取所述手势动作期间的肌电信号的图像；空间编码单元，用于将所述肌电信号输入卷积神经网络以获得肌电特征图；高斯密度图单元，用于基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；高斯响应单元，用于计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关；手势动作识别单元，用于将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果；以及，交互单元，用于基于所述分类结果，生成交互指令。
[0069]
图1图示了根据本技术实施例的智能轮椅的手指手势交互系统的应用场景图。如图1所示，在该应用场景中，首先，通过贴附于手臂(例如，如图 1中所示意的r)的各个预定位置的加速度传感器(例如，如图1中所示意的a)和角度传感器(例如，如图1中所示意的h)获取在手势动作期间内的一系列时间点的加速度信息和角度信息，以及通过贴附于手臂的肌电传感器(例如，如图1中所示意的e)获取所述手势动作期间的肌电信号的图像。然后，将获得的所述加速度信息、所述角度信息和所述肌电信号的图像输入至部署有智能轮椅的手指手势交互算法的服务器中(例如，如图1中所示意的云服务器s)，其中，所述服务器能够以智能轮椅的手指手势交互算法对所述加速度信息、所述角度信息和所述肌电信号的图像进行处理，以生成用于表示手势动作类型的分类结果。进而，基于所述分类结果，生成交互指令，这样，可以使得对于智能轮椅的控制效果更好。
[0070]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0071]
示例性系统
[0072]
图2图示了根据本技术实施例的智能轮椅的手指手势交互系统的框图。如图2所示，根据本技术实施例的智能轮椅的手指手势交互系统200，包括：运动数据获取单元210，
用于通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息；运动特征编码单元220，用于将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量；肌电数据获取单元 230，用于获取所述手势动作期间的肌电信号的图像；空间编码单元240，用于将所述肌电信号输入卷积神经网络以获得肌电特征图；高斯密度图单元 250，用于基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；高斯响应单元260，用于计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关；手势动作识别单元270，用于将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果；以及，交互单元280，用于基于所述分类结果，生成交互指令。
[0073]
具体地，在本技术实施例中，所述运动数据获取单元210和所述运动特征编码单元220，用于通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息，并将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量。如前所述，在本技术的技术方案中，采用基于肌电信号与惯性传感器信号的多源信息融合手势识别系统来提高识别精确度。具体地，选用肌电信号、加速度信号以及角度信号进行传感器数据融合，三种信号分为两类，所述肌电信号属于生物电信号，所述加速度与所述角度信号属于惯性传感器信号，这两类信号互相不同质，其中所述肌电信号信号不仅能反映运动关节的活动强度和活动伸屈状态，还能实时反映手势动作完成过程中手指、手腕或手臂等部位运动产生的手部姿态、当前手部方向、施力强度等运动信息，可以有效表征由相应肌群支配产生的各种动作和行为模式，在判断精确手势动作方面拥有优势。所述加速度与所述角度信号属于惯性传感器类别，实验通过将所述惯性传感器安装在手臂上，使用算法将所述惯性传感器数据转换为直观的姿态角等信息，从而得出手部运动时的姿态与动作幅度。
[0074]
也就是，在一个具体示例中，首先，通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息。接着，将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量。然后，将所述加速度向量和所述角度向量分别通过包含一维卷积层和全连接层的编码器中进行编码处理，以提取出所述加速度向量和所述角度向量的高维隐含特征，从而获得加速度特征向量和角度特征向量。这里，所述编码器的最后一层以sigmoid激活函数激活。
[0075]
更具体地，在本技术实施例中，所述运动特征编码单元，包括：首先，使用所述编码器的全连接层分别对所述加速度向量和所述角度向量进行全连接编码以提取出所述加速度向量和所述角度向量中各个位置的特征值的高维隐含特征。然后，使用所述编码器的一维卷积层分别对所述加速度向量和所述角度向量进行一维卷积编码以提取出所述加速度
向量和所述角度向量中各个位置的特征值之间的关联的高维关联隐含特征。最后，使用所述编码器的最后一层以sigmoid激活函数对上一层的输入进行激活以获得加速度特征向量和所述角度特征向量，其中，所述加速度特征向量和所述角度特征向量中各个位置的特征值在0到1的概率区间内，以便于度量和后续的融合处理。
[0076]
图3图示了根据本技术实施例的智能轮椅的手指手势交互系统中运动特征编码单元的框图。如图3所示，所述运动特征编码单元220，包括：全连接编码子单元221，用于使用所述编码器的全连接层分别对所述加速度向量和所述角度向量进行全连接编码以提取出所述加速度向量和所述角度向量中各个位置的特征值的高维隐含特征；一维卷积编码子单元222，用于使用所述编码器的一维卷积层分别对所述加速度向量和所述角度向量进行一维卷积编码以提取出所述加速度向量和所述角度向量中各个位置的特征值之间的关联的高维关联隐含特征；以及，概率化编码子单元223，用于使用所述编码器的最后一层以sigmoid激活函数对上一层的输入进行激活以获得加速度特征向量和所述角度特征向量，其中，所述加速度特征向量和所述角度特征向量中各个位置的特征值在0到1的概率区间内。
[0077]
具体地，在本技术实施例中，所述肌电数据获取单元230和所述空间编码单元240，用于获取所述手势动作期间的肌电信号的图像，并将所述肌电信号输入卷积神经网络以获得肌电特征图。也就是，为了基于所述肌电信号与所述惯性传感器信号的多源信息融合手势识别系统来提高识别精确度。在本技术的技术方案中，首先，通过贴附于手臂的肌电传感器获取所述手势动作期间的肌电信号的图像。然后，将所述肌电信号输入卷积神经网络中进行处理，以提取出所述肌电信号的图像中的局部特征在高维空间中的特征分布表示，从而获得肌电特征图。
[0078]
更具体地，在本技术实施例中，所述空间编码单元，进一步用于：使用所述卷积神经网络以如下公式对所述肌电信号的图像进行显式空间编码以获得肌电特征图；所述公式为：
[0079]fi
＝active(ni×fi-1
+bi)
[0080]
其中，f
i-1
为第i层卷积神经网络的输入，fi为第i层卷积神经网络的输出，ni为第i层卷积神经网络的过滤器，且bi为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。值得一提的是，这里，所述卷积神经网络的最后一层的active函数为sigmoid函数以使得所述肌电特征图中各个位置的特征值在0到1的概率空间内，从而可以使得单位的统一，进而便于度量和后续的融合处理。
[0081]
具体地，在本技术实施例中，所述高斯密度图单元250，用于基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x 表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差。应可以理解，为了对所述加速度特征向量、所述角度特征向量和所述肌电特征图进行融合，考虑到基于高斯密度图通常作为卷积神经网络的学习目标。因此，在本技术的技术方案中，首先，基于所述加速度特征向量、所述角度特征向量构造高斯密度图x 表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表
示所述加速度特征向量和所述角度特征向量的每个位置的特征值的方差。这样，所述高斯密度图实现了特征在卷积神经网络映射下的高维特征空间中的有效融合。
[0082]
具体地，在本技术实施例中，所述高斯响应单元260，用于计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关。应可以理解，由于所述加速度特征和所述角度特征在高维特征空间中都可以看作为针对所述肌电特征的响应特征，因此，在本技术的技术方案中，计算所述高斯密度图对于所述肌电特征图的高斯响应性分布，从而获得由所述各个高斯响应性分布值组成的分类特征向量。
[0083]
更具体地，在本技术实施例中，所述高斯响应单元，进一步用于：以如下公式计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量；
[0084]
所述公式为：
[0085][0086][0087]
也就是，xi是对所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目。这样，就得到了由所述各个高斯响应性分布值组成的分类特征向量，从而在所述肌电特征图的特征分布的基础上，获得反应所述加速度特征和所述角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。
[0088]
具体地，在本技术实施例中，所述手势动作识别单元270和所述交互单元280，用于将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果，并基于所述分类结果，生成交互指令。也就是，在一个具体示例中，首先，将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于不同手势动作类型标签的概率值；然后，将概率值最大的手势动作类型标签作为所述分类结果；最后，基于所述分类结果，生成交互指令。
[0089]
综上，基于本技术实施例的所述智能轮椅的手指手势交互系统200被阐明，其采用包含一维卷积层和全连接层的编码器和卷积神经网络对加速度信号和角度信号以及肌电信号进行高维特征提取，并基于高斯密度图和高斯响应性分布将所述加速度特征向量、所述角度特征向量和所述肌电特征图进行融合，以在所述肌电特征图的特征分布的基础上，获得所述反应加速度特征和所述角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。这样，可以更准确地对手势动作类型的交互指令进行识别判断，进而使得对于智能轮椅的控制效果更好。
[0090]
如上所述，根据本技术实施例的智能轮椅的手指手势交互系统200可以实现在各种终端设备中，例如智能轮椅的手指手势交互算法的服务器等。在一个示例中，根据本技术
实施例的智能轮椅的手指手势交互系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智能轮椅的手指手势交互系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智能轮椅的手指手势交互系统200同样可以是该终端设备的众多硬件模块之一。
[0091]
替换地，在另一示例中，该智能轮椅的手指手势交互系统200与该终端设备也可以是分立的设备，并且该智能轮椅的手指手势交互系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0092]
示例性方法
[0093]
图4图示了智能轮椅的手指手势交互系统的交互方法的流程图。如图4 所示，根据本技术实施例的智能轮椅的手指手势交互系统的交互方法，包括步骤：s110，通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息；s120，将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量；s130，获取所述手势动作期间的肌电信号的图像；s140，将所述肌电信号输入卷积神经网络以获得肌电特征图；s150，基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；s160，计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关；s170，将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果；以及，s180，基于所述分类结果，生成交互指令。
[0094]
图5图示了根据本技术实施例的智能轮椅的手指手势交互系统的交互方法的架构示意图。如图5所示，在所述智能轮椅的手指手势交互系统的交互方法的网络架构中，首先，将获取的所述一系列时间点的加速度信息(例如，如图5中所示意的in1)和角度信息(例如，如图5中所示意的in2)分别排列为加速度向量(例如，如图5中所示意的v1)和角度向量(例如，如图5中所示意的v2)后通过包含一维卷积层和全连接层的编码器(例如，如图5中所示意的e)以获得加速度特征向量(例如，如图5中所示意的fv1) 和角度特征向量(例如，如图5中所示意的fv2)；接着，将获取的所述肌电信号(例如，如图5中所示意的in)输入卷积神经网络(例如，如图5 中所示意的cn)以获得肌电特征图(例如，如图5中所示意的f)；然后，基于所述加速度特征向量和所述角度特征向量构造高斯密度图 (例如，如图5中所示意的g)，其中，x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；接着，计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量(例如，如图5中所示意的vf)，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关；
然后，将所述分类特征向量通过分类器(例如，如图5中所示意的圈s)以获得用于表示手势动作类型的分类结果；以及，最后，基于所述分类结果，生成交互指令。
[0095]
更具体地，在步骤s110和s120中，通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息，并将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量。也就是，在一个具体示例中，首先，通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息。接着，将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量。然后，将所述加速度向量和所述角度向量分别通过包含一维卷积层和全连接层的编码器中进行编码处理，以提取出所述加速度向量和所述角度向量的高维隐含特征，从而获得加速度特征向量和角度特征向量。这里，所述编码器的最后一层以sigmoid激活函数激活。
[0096]
具体地，在本技术实施例中，将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量的过程，包括：首先，使用所述编码器的全连接层分别对所述加速度向量和所述角度向量进行全连接编码以提取出所述加速度向量和所述角度向量中各个位置的特征值的高维隐含特征。然后，使用所述编码器的一维卷积层分别对所述加速度向量和所述角度向量进行一维卷积编码以提取出所述加速度向量和所述角度向量中各个位置的特征值之间的关联的高维关联隐含特征。最后，使用所述编码器的最后一层以sigmoid激活函数对上一层的输入进行激活以获得加速度特征向量和所述角度特征向量，其中，所述加速度特征向量和所述角度特征向量中各个位置的特征值在0到1的概率区间内，以便于度量和后续的融合处理。
[0097]
更具体地，在步骤s130和步骤s140中，获取所述手势动作期间的肌电信号的图像，将所述肌电信号输入卷积神经网络以获得肌电特征图。也就是，为了基于所述肌电信号与所述惯性传感器信号的多源信息融合手势识别系统来提高识别精确度。在本技术的技术方案中，首先，通过贴附于手臂的肌电传感器获取所述手势动作期间的肌电信号的图像。然后，将所述肌电信号输入卷积神经网络中进行处理，以提取出所述肌电信号的图像中的局部特征在高维空间中的特征分布表示，从而获得肌电特征图。
[0098]
更具体地，在步骤s150中，基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差。应可以理解，为了对所述加速度特征向量、所述角度特征向量和所述肌电特征图进行融合，考虑到基于高斯密度图通常作为卷积神经网络的学习目标。因此，在本技术的技术方案中，首先，基于所述加速度特征向量、所述角度特征向量构造高斯密度图x表示合成后的高斯向量，μi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σi表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的方差。这样，所述高斯密度图实现了特征在卷积神经网络映射下的高维特征空间中的有效融合。
[0099]
更具体地，在步骤s160中，计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目有关。应可以理解，由于所述加速度特征和所述角度特征在高维特征空间中都可以看作为针对所述肌电特征的响应特征，因此，在本技术的技术方案中，计算所述高斯密度图对于所述肌电特征图的高斯响应性分布，从而获得由所述各个高斯响应性分布值组成的分类特征向量。
[0100]
具体地，在一个具体示例中，以如下公式计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量；所述公式为：
[0101][0102][0103]
也就是，xi是对所述肌电特征图的沿高度维度的每个特征矩阵mw×c的各个位置的特征值求和再除以特征矩阵的位置数目。这样，就得到了由所述各个高斯响应性分布值组成的分类特征向量，从而在所述肌电特征图的特征分布的基础上，获得反应所述加速度特征和所述角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。
[0104]
更具体地，在步骤s170和步骤s180中，将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果，基于所述分类结果，生成交互指令。也就是，在一个具体示例中，首先，将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于不同手势动作类型标签的概率值；然后，将概率值最大的手势动作类型标签作为所述分类结果；最后，基于所述分类结果，生成交互指令。
[0105]
综上，基于本技术实施例的所述智能轮椅的手指手势交互系统的交互方法被阐明，其采用包含一维卷积层和全连接层的编码器和卷积神经网络对加速度信号和角度信号以及肌电信号进行高维特征提取，并基于高斯密度图和高斯响应性分布将所述加速度特征向量、所述角度特征向量和所述肌电特征图进行融合，以在所述肌电特征图的特征分布的基础上，获得所述反应加速度特征和所述角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。这样，可以更准确地对手势动作类型的交互指令进行识别判断，进而使得对于智能轮椅的控制效果更好。
[0106]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0107]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具
有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0108]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0109]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0110]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
技术特征：1.一种智能轮椅的手指手势交互系统，其特征在于，包括：运动数据获取单元，用于通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息；运动特征编码单元，用于将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量；肌电数据获取单元，用于获取所述手势动作期间的肌电信号的图像；空间编码单元，用于将所述肌电信号输入卷积神经网络以获得肌电特征图；高斯密度图单元，用于基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μ
i
表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σ
i
表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；高斯响应单元，用于计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵m
w
×
c
的各个位置的特征值求和再除以特征矩阵的位置数目有关；手势动作识别单元，用于将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果；以及交互单元，用于基于所述分类结果，生成交互指令。2.根据权利要求1所述的智能轮椅的手指手势交互系统，其中，所述运动特征编码单元，包括：全连接编码子单元，用于使用所述编码器的全连接层分别对所述加速度向量和所述角度向量进行全连接编码以提取出所述加速度向量和所述角度向量中各个位置的特征值的高维隐含特征；一维卷积编码子单元，用于使用所述编码器的一维卷积层分别对所述加速度向量和所述角度向量进行一维卷积编码以提取出所述加速度向量和所述角度向量中各个位置的特征值之间的关联的高维关联隐含特征；以及概率化编码子单元，用于使用所述编码器的最后一层以sigmoid激活函数对上一层的输入进行激活以获得加速度特征向量和所述角度特征向量，其中，所述加速度特征向量和所述角度特征向量中各个位置的特征值在0到1的概率区间内。3.根据权利要求2所述的智能轮椅的手指手势交互系统，其中，所述空间编码单元，进一步用于：使用所述卷积神经网络以如下公式对所述肌电信号的图像进行显式空间编码以获得肌电特征图；所述公式为：f
i
＝active(n
i
×
f
i-1
+b
i
)其中，f
i-1
为第i层卷积神经网络的输入，f
i
为第i层卷积神经网络的输出，n
i
为第i层卷积神经网络的过滤器，且b
i
为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。
4.根据权利要求3所述的智能轮椅的手指手势交互系统，其中，所述卷积神经网络的最后一层的active函数为sigmoid函数以使得所述肌电特征图中各个位置的特征值在0到1的概率空间内。5.根据权利要求4所述的智能轮椅的手指手势交互系统，其中，所述高斯响应单元，进一步用于以如下公式计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量；所述公式为：所述公式为：也就是，x
i
是对所述肌电特征图的沿高度维度的每个特征矩阵m
w
×
c
的各个位置的特征值求和再除以特征矩阵的位置数目。6.根据权利要求5所述的智能轮椅的手指手势交互系统，其中，所述手势动作识别单元.进一步用于将所述分类特征向量输入所述分类器的softmax分类函数以获得所述分类特征向量归属于不同手势动作类型标签的概率值；以及，将概率值最大的手势动作类型标签作为所述分类结果。7.一种智能轮椅的手指手势交互系统的交互方法，其特征在于，包括：通过贴附于手臂的各个预定位置的加速度传感器和角度传感器获取在手势动作期间内的一系列时间点的加速度信息和角度信息；将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量；获取所述手势动作期间的肌电信号的图像；将所述肌电信号输入卷积神经网络以获得肌电特征图；基于所述加速度特征向量和所述角度特征向量构造高斯密度图其中，x表示合成后的高斯向量，μ
i
表示所述加速度特征向量和所述角度特征向量的每个位置的特征值的均值，且σ
i
表示所述加速度特征向量和所述角度特征向量的每个位置的特征值之间的方差；计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，其中，所述高斯响应性分布值与所述高斯密度图的均值、方差和所述肌电特征图的沿高度维度的每个特征矩阵m
w
×
c
的各个位置的特征值求和再除以特征矩阵的位置数目有关；将所述分类特征向量通过分类器以获得用于表示手势动作类型的分类结果；以及基于所述分类结果，生成交互指令。8.根据权利要求7所述的智能轮椅的手指手势交互系统的交互方法，其中，将所述一系列时间点的加速度信息和角度信息分别排列为加速度向量和角度向量后通过包含一维卷积层和全连接层的编码器以获得加速度特征向量和角度特征向量，包括：使用所述编码器的全连接层分别对所述加速度向量和所述角度向量进行全连接编码
以提取出所述加速度向量和所述角度向量中各个位置的特征值的高维隐含特征；使用所述编码器的一维卷积层分别对所述加速度向量和所述角度向量进行一维卷积编码以提取出所述加速度向量和所述角度向量中各个位置的特征值之间的关联的高维关联隐含特征；以及使用所述编码器的最后一层以sigmoid激活函数对上一层的输入进行激活以获得加速度特征向量和所述角度特征向量，其中，所述加速度特征向量和所述角度特征向量中各个位置的特征值在0到1的概率区间内。9.根据权利要求7所述的智能轮椅的手指手势交互系统的交互方法，其中，将所述肌电信号输入卷积神经网络以获得肌电特征图，包括：使用所述卷积神经网络以如下公式对所述肌电信号的图像进行显式空间编码以获得肌电特征图；所述公式为：f
i
＝active(n
i
×
f
i-1
+b
i
)其中，f
i-1
为第i层卷积神经网络的输入，f
i
为第i层卷积神经网络的输出，n
i
为第i层卷积神经网络的过滤器，且b
i
为第i层卷积神经网络的偏置矩阵，active表示非线性激活函数。10.根据权利要求7所述的智能轮椅的手指手势交互系统的交互方法，其中，计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量，包括：以如下公式计算所述高斯密度图相对于所述肌电特征图的高斯响应性分布以获得由各个高斯响应性分布值组成的分类特征向量；所述公式为：所述公式为：也就是，x
i
是对所述肌电特征图的沿高度维度的每个特征矩阵m
w
×
c
的各个位置的特征值求和再除以特征矩阵的位置数目。
技术总结本申请涉及智能轮椅交互的领域，其具体地公开了一种智能轮椅的手指手势交互系统及其交互方法。其采用包含一维卷积层和全连接层的编码器和卷积神经网络对加速度信号和角度信号以及肌电信号进行高维特征提取，并基于高斯密度图和高斯响应性分布将所述加速度特征向量、所述角度特征向量和所述肌电特征图进行融合，以在所述肌电特征图的特征分布的基础上，获得所述反应加速度特征和所述角度特征的实际高维数据分布的分类向量，有效实现了特征融合并提高了分类准确性。这样，可以更准确地对手势动作类型的交互指令进行识别判断，进而使得对于智能轮椅的控制效果更好。得对于智能轮椅的控制效果更好。得对于智能轮椅的控制效果更好。
技术研发人员：黄钰
受保护的技术使用者：杭州吾好科技有限公司
技术研发日：2022.04.22
技术公布日：2022/7/5
