本发明属于计算机视觉和人机交互，具体涉及一种基于远眼的双视角注视估计方法及系统。
背景技术：
1、人类的注视行为通常包含了丰富的意图信息，反映了人的潜在兴趣偏好。在日常生活中，注视也是一种重要的非语言交流形式。在人机交互的环境下，人类可以依赖注视行为向计算机传递信息或发出指令。注视估计在智慧教育、电子商务、医疗诊断和虚拟现实等应用中都起到了重大作用。传统的注视估计方法通常涉及构建特定的相机系统(例如，使用多个红外相机和光源)来计算视线方向，导致成本高且缺乏灵活性。近年来，基于深度学习的基于外观的凝视估计得到了相当多的关注。它只需要一个网络摄像头来捕捉面部图像，并直接学习从面部外观到凝视方向的映射功能。
2、目前主流的基于外观的注视估计方法为单视角视线估计。早期的单视方法主要关注眼睛的外观，并使用神经网络进行注视估计。然而，这种基于单眼的方法忽略了双眼之间的差异性，因此后续出现了基于双眼图像的注视估计方法。针对双眼特征，一些方法采用简单的特征连接，而其他方法则建立了非对称结构以突出特征的不对称性。然而，仅依赖眼部图像的方法需要一个额外的模块来估计头部姿势。因此，后续的方法越来越多地利用全脸图像进行凝视估计，并出现了基于纯人脸图像的注视估计方法。然而，仅仅依靠全脸图像可能会忽略眼睛区域的细节。因此，研究人员提出了同时使用人脸和眼睛图像的方法。尽管单视角注视估计方法经过多年的发展已经取得了较好的效果，但在某些特殊场合或极端情况下仍然不适用。例如，在单视方法中，头部的大旋转会导致面部轮廓的遮挡，从而降低估计的性能。在实际应用中，人的头部活动具有较高的自由度。为了满足当头部偏转较大时也能进行精确注视估计的需求，多视角注视估计方法越来越受到研究人员的重视。
3、多视角注视估计方法通过使用多个摄像机捕捉不同角度的人脸图像来解决这个问题。在某一视角中由于头部角度被遮挡的区域可以在另一视角的图像中得到补偿。目前，多视角估计方法主要是双视角或三视角注视估计。与单视角估计方法类似，多视角注视估计方法通常也使用各视角的人脸图像或眼睛图像作为输入来回归视线。然而，这些方法只是单独考虑了面部图像或眼睛图像，而没有有效地将它们结合起来。
技术实现思路
1、为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于远眼的双视角注视估计方法及系统，该方法视线估计精度高，且首次在双视场景下仅使用远眼图像的效果优于使用双眼图像。
2、为了实现上述目的，本发明采用的技术方案是：
3、一种基于远眼的双视角注视估计方法，包括以下步骤；
4、步骤1：获取双视角人脸图像，并对图像进行预处理，得到双视角注视估计数据集；
5、步骤2：对双视角人脸和远眼图像进行特征提取；
6、步骤3：构建双视角注视估计模型，输入双视角人脸和远眼图像特征图估计视线方向；
7、步骤4：利用所述双视角注视估计数据集对所述双视角注视估计模型进行训练；
8、步骤5：使用训练完成双视角注视估计模型进行注视估计。
9、所述步骤1中双视角注视估计数据集包括双视角注视估计人脸图像和双视角远眼图像数据集，即各视角人脸图像中距离相机更远的眼睛图像，分别为左视角右眼图像和右视角左眼图像。
10、所述步骤1包括：
11、步骤1.1：获取公开数据集中由屏幕左右两侧的相对应位置的相机所捕捉同一被试的两个对称角度的人脸图像；
12、步骤1.2：获取相机的内参矩阵，包括旋转矩阵和偏移矩阵，以获取相机位姿信息，用于所述步骤3中的双视角注视估计模型中transformer模块的位置嵌入；
13、步骤1.3：使用3dmm人脸模型拟合人脸区域进行头部姿势估计，获取头部姿势矩阵，包括旋转矩阵和偏移矩阵用于所述步骤3中的transformer模块的位置嵌入；
14、步骤1.4：对所述两个对称角度的人脸图像进行归一化处理、旋转缩放，将人脸图像归一化为固定大小224*224pixels，以得到双视角人脸图像数据集；
15、步骤1.5：使用dlib68人脸特征点检测算法定位人脸图像中内外眼角特征点坐标，以内外眼角特征点的均值为眼睛中心，并将其归一化至固定大小，并分别应用于左右眼产生成对的眼睛图像；
16、以内外眼角坐标之差为眼睛图像的宽度，宽度的0.6倍为眼睛图像的高度，裁剪眼睛图像，并将眼睛图像归一化至固定大小60*36pixels，并分别应用于左右眼产生成对的眼睛图像，保留远眼，得到双视角远眼图像数据集。
17、所述步骤2包括：
18、步骤2.1：以resnet18为基线网络构建孪生cnn网络作为人脸特征提取网络，并采用孪生cnn网络对所述步骤1获取的双视角人脸图像进行特征提取，得到双视角人脸特征图，并使用双视角交互卷积块进行双视角特征融合补偿遮挡信息；
19、步骤2.2：在眼睛支路，使用修改后的resnet18网络重新构建了用于眼睛支路的孪生cnn网络对所述步骤1中获取的双视角远眼图像进行特征提取，得到双视角远眼特征图。
20、其中远眼表示双视角人脸图像中距离相机位置更远的眼睛图像，分别为左视角右眼图像和右视角左眼图像。
21、所述步骤2.1中双视角交互卷积块包括：
22、步骤2.1.1：将所述步骤1中归一化处理后的双视角人脸图像输入孪生cnn网络得到各视角的特征图；
23、步骤2.1.2：对双视角特征图进行拼接得到人脸特征对，将人脸特征对进行线性变换再输入自注意力模块，计算注意力权重，人脸特征对与注意力权重加权求和即可实现特征融合得到融合特征；
24、步骤2.1.3：使用融合特征对原特征进行特征补偿，得到补偿了缺失信息后的双视角人脸特征；
25、步骤2.1.4：重复堆叠步骤2.1.2和步骤2.1.3，即可实现多个特征尺度的信息交换，充分融合双视角特征，得到充分融合后的双视角人脸特征图；
26、步骤2.1.5：对所述步骤2.1.4中得到的融合后的双视角人脸特征图进行拼接，得到人脸特征输出。
27、所述步骤2.1.3具体补偿方式为：对融合特征使用通道注意力模块进行通道加权学习每个通道的权重，将通道权重应用于融合特征得到最终的双视角融合特征，其中第一个通道的特征为左视角特征，第二个通道的特征为右视角特征。
28、所述步骤3包括：
29、步骤3.1：构建双视角人脸transformer，得到人脸特征信息；将所述步骤1.2中的两个双视角相机位姿矩阵和所述步骤1.3中得到的两个头部姿势矩阵进行点乘得到各视角位置旋转矩阵
30、
31、其中i表示视角信息，表示头部姿势旋转矩阵，表示相机旋转矩阵，将位置信息旋转矩阵的第三列用来表示相机的方位，和相机偏移向量进行拼接得到位置特征
32、
33、对两个位置特征进行拼接，作为transformer的位置嵌入，以所述步骤2.1中获取的双视角人脸特征图为输入，输出人脸特征；
34、步骤3.2：构建孪生transformer处理双视角远眼特征，为了更好地利用双眼间的空间对称关系，将所述步骤2.2中构建的眼睛支路孪生cnn网络提取的双视角远眼特征分别输入两个孪生transformer，这两个transformer的结构完全一致且参数完全共享，以双视角相机位姿矩阵分别作为两个transformer的位置嵌入，最终得到双视角远眼特征；
35、步骤3.3：将得到的人脸特征和两个远眼特征进行拼接，并使用mlp层估计两个视角的注视方向；
36、输出的注视方向gdir＝(φ,θ)为各自相机坐标系下视线的俯仰角φ和偏航角θ，通过关系式将其转换为3d矢量形式g3d＝(x,y,z)，即各自相机坐标系下的3d视线方向；
37、其中，视线角度-3d矢量方向转换关系式为：
38、
39、所述步骤4的训练目标为视线一致性目标和双视角一致性目标：
40、其中视线一致性指各视角人脸图像输入注视估计模型后预测的视线应与实际视线方向一致，即模型需满足目标关系式为：
41、
42、其中表示a相机视角图像的视线角度真实值，表示预测值，b相机类似；
43、其中双视角一致性指各视角人脸图像输入注视估计模型后预测的视线当转换到同一坐标系下时应保持一致，即模型需满足目标关系式为：
44、
45、其中为a相机视角图像的3d视线向量预测值，由通过视线角度-3d矢量方向转换关系式计算得到，表示a相机视角图像矫正的旋转矩阵，表示a相机旋转矩阵，b相机相关参数类似。
46、用于实现基于远眼的双视角注视估计方法的系统，该系统包括头部姿势估计模块、预处理模块、特征提取模块和注视估计模块，其中，
47、头部姿势估计模块，用于获取头部姿势旋转矩阵和偏移矩阵；
48、预处理模块，包括归一化单元和眼睛图像裁剪单元，所述归一化单元用于对人脸图像进行归一化处理，所述眼睛图像采集单元用于将眼睛图像从全脸图像中裁剪处理并归一化至相同大小；
49、特征提取模块，包括人脸特征提取单元和远眼特征提取单元，所述人脸特征提取单元用于提取并融合补偿双视角人脸特征图，所述远眼特征提取单元用于提取更细粒度的双视角远眼特征图；
50、注视估计模块，包括人脸transformer单元、孪生眼睛transformer单元和一个mlp层；所述人脸transformer单元用于从处理人脸融合特征，所述孪生眼睛transformer单元用于处理两个远眼特征，所述mlp层用于从连接后的人脸和远眼特征中估计视线方向。
51、所述基于远眼的双视角注视估计方法用于人机交互、虚拟现实、眼动研究。
52、本发明的有益效果：
53、本发明通过利用双视角图像，弥补单视角方法中由头部角度遮挡导致的信息缺失；通过对人脸图像和眼睛图像的结合，更好利用粗粒度的人脸特征和细粒度的眼睛特征，提高视线估计准确性；通过结合头部姿势估计模块，更好地适应不同头部姿势下的注视估计需求；通过只使用远眼图像而非双眼图像，避免了近眼的透视形变带来的性能损害，达到了比双眼更好的效果。
54、通过本发明能够实现更准确、稳定和适应性强的注视估计，具有广泛的应用前景。
1.一种基于远眼的双视角注视估计方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种基于远眼的双视角注视估计方法，其特征在于，所述步骤1中双视角注视估计数据集包括双视角注视估计人脸图像和双视角远眼图像数据集，即各视角人脸图像中距离相机更远的眼睛图像，分别为左视角右眼图像和右视角左眼图像。
3.根据权利要求1所述的一种基于远眼的双视角注视估计方法，其特征在于，所述步骤1包括：
4.根据权利要求3所述的一种基于远眼的双视角注视估计方法，其特征在于，所述步骤2包括：
5.根据权利要求4所述的一种基于远眼的双视角注视估计方法，其特征在于，所述步骤2.1中双视角交互卷积块包括：
6.根据权利要求5所述的一种基于远眼的双视角注视估计方法，其特征在于，所述步骤2.1.3具体补偿方式为：对融合特征使用通道注意力模块进行通道加权学习每个通道的权重，将通道权重应用于融合特征得到最终的双视角融合特征，其中第一个通道的特征为左视角特征，第二个通道的特征为右视角特征。
7.根据权利要求3所述的一种基于远眼的双视角注视估计方法，其特征在于，所述步骤3包括：
8.根据权利要求1所述的一种基于远眼的双视角注视估计方法，其特征在于，所述步骤4的训练目标为视线一致性目标和双视角一致性目标：
9.根据权利要求1-8任一项所述的用于实现基于远眼的双视角注视估计方法的系统，其特征在于，该系统包括头部姿势估计模块、预处理模块、特征提取模块和注视估计模块，其中，
10.根据权利要求1-8任一项所述基于远眼的双视角注视估计方法的应用，其特征在于，所述方法用于人机交互、虚拟现实、眼动研究。
