1.本发明属于交互控制领域，尤其涉及一种基于数字孪生模型的交互控制方法及系统。
背景技术：2.如今，随着科学技术的不断发展，加工制造模式也发生了巨大的改变。传统的加工过程信息传递模式中，工人在加工进行时通过实时采集的现场数据和观察工件的变化状态来监控加工过程。结构件加工过程中，工人需要通过目测观察加工情况。加工完成后，测量工件并和纸质工艺文档集进行对比，判断工件是否合格，能否调整。由于，机床加工技术仍然处于计算机集成制造到智能制造的过渡阶段。加工过程质量信息传递存在滞后，工人无法精准掌控加工过程中的产品质量变化，导致其无法及时对加工过程中可能存在的质量问题进行及时及早的解决与补救，造成加工结束后无法挽回的结果。
3.目前，数字孪生技术已应用于工业加工中，通过采集加工过程中的产品数据信息，构建物理对象的虚拟孪生体，对产品在制造过程中的实时仿真、优化分析、自主决策，以实现产品从感知、融合、决策和控制的闭环系统，对产品的过程进行实时管控。如何在增强结构件加工过程中，利用数字孪生技术对加工过程信息的实时监控，提高结构件生产效率成为了亟待解决的技术问题。
技术实现要素：4.针对目前现有的加工过程质量信息传递存在滞后，工人无法精准掌控加工过程中的产品质量变化导致其无法及时对加工过程中可能存在的质量问题进行及时及早的解决与补救等问题，本发明通过在执行第一工序时，从物理世界中获取加工对象第一状态数据，在虚拟世界数字孪生模型中，获取孪生对象的第二状态数据，计算预测当前孪生对象的第三状态状态，比较三种状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上，获取用户的手势输入序列以及用户凝视点信息，根据所述凝视点信息选择所述待加工工件，同时在界面上显示所述待加工工件的属性信息；根据辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作。通过借助数字孪生对加工过程信息进行集成，通过实时获取当前加工系统状态，结合增强现实技术，将加工过程信息融合到真实世界中，提高加工人员对于加工过程的感知粒度，加强其对于加工过程的控制能力，进而提高产品的良品率和安全性。
5.本发明为解决以上技术问题所采取的技术方案是：基于数字孪生模型的交互控制方法，包括以下步骤：s1、收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，s2、在执行第一工序时，从物理世界中获取加工对象第一状态数据，在虚拟世界数字孪生模型中，获取孪生对象的第二状态数据，计算预测当前孪生对象的第三状态状态，
s3、比较所述第一状态数据、所述第二状态数据，所述第三状态状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上；s4、获取用户的手势输入序列以及用户凝视点信息，根据所述凝视点信息选择所述待加工工件，同时在界面上显示所述待加工工件的属性信息；s5、根据所述辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作；s6、对加工操作后的工件进行检测，根据所述检测结果优化所述辅助操作孪生信息。
6.进一步地，所述静态数据包括几何模型数据，工艺设计数据，刀具属数据，机床属性数据，所述动态数据包括产品质量数据，刀具实时状态数据，焊头信息；所述预测数据包括产品质量预测值，机床状态预测值，刀具寿命预测值，当前加工建议信息。
7.进一步地，所述第一动作包括对待加工工件调整缩放、位置、角度。
8.进一步地，所述收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，还包括：根据solidworks三维建模软件建立相关设备的几何模型，导入demo3d平台，设置模型相应的物理属性，搭建专用组件库，通过jscript脚本封装模型的运动逻辑，多工序工件加工过程数字孪生模型的物理空间与虚拟空间的信息交互通过孪生数据建立关联。
9.进一步地，所述用户的基本信息包括编号、姓名、所属部门、年龄、工时、出勤状态以及对应操作工位，将用户所述基本信息与操作信息关联保存在后台数据库中。
10.进一步地，所述获取用户的手势输入序列包括：采用kinect设备采集用户手势图像序列输入到深度卷积编解码神经网络模型中进行分类识别，其中深度卷积编解码神经网落模型包括编码器网络和解码器网络模型，所述编码器网络包括卷积层，批量归一化层，激活函数层，最大池化层；解码器网络包括与编码器网络数量相同的卷积层，批量归一化层，以及softmax函数层。
11.进一步地，在采集到的图像中提取手部图像前，设置图像中深度阈值，所述阈值计算公式为：其中，表示深度图像背景，表示最大固定距离，表示最小识别距离，根据所述深度阈值进行背景过滤；然后采用滤波模型对所述手部图像进行降噪处理，所述滤波模型为：其中，为深度摄像头采集到的第n帧时，由系统建立起的手部模型；n为采集到第n帧时，平均帧数n到帧数n的连续图像数。
12.一种基于数字孪生模型的交互控制系统，数字孪生模型建立模块，用于收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，模型分析模块，用于在执行第一工序时，从物理世界中获取加工对象第一状态数据，在虚拟世界数字孪生模型中，获取孪生对象的第二状态数据，计算预测当前孪生对象的第三状态状态，比较所述第一状态数据、所述第二状态数据，所述第三状态状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上；加工交互模块，用于获取用户的手势输入序列以及用户凝视点信息，根据所述凝视点信息选择所述待加工工件，同时在界面上显示所述待加工工件的属性信息；根据所述辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作；检验优化模块，用于对加工操作后的工件进行检测，根据所述检测结果优化所述辅助操作孪生信息。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述处理器执行所述计算机程序实施基于数字孪生模型的交互控制方法。
14.一种终端设备，包括存储器、处理器以及存储在所述所述存储器中并可在所述处理上运行的计算机程序，所述处理器执行所述计算机程序实施基于数字孪生模型的交互控制方法。
15.本发明的有益效果如下：本发明借助数字孪生对加工过程信息进行集成，通过实时获取当前加工系统状态，结合增强现实技术，将加工过程信息融合到真实世界中，提高加工人员对于加工过程的感知粒度，加强其对于加工过程的控制能力，进而提高产品的良品率和安全性。
16.上述说明，仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述说明和其它目的、特征及优点能够更明显易懂，特举较佳实施例，详细说明如下。
附图说明
17.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
18.在附图中：图1为基于数字孪生模型的交互控制方法的流程图。
具体实施方式
19.下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
20.在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是连接，也可以是可拆卸连接，或成一体；可以是机
械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
21.实施例1一种基于数字孪生模型的交互控制方法，包括以下步骤：s1、收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，s2、在执行第一工序时，从物理世界中获取加工对象第一状态数据，在虚拟世界数字孪生模型中，获取孪生对象的第二状态数据，计算预测当前孪生对象的第三状态状态，s3、比较所述第一状态数据、所述第二状态数据，所述第三状态状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上；s4、获取用户的手势输入序列以及用户凝视点信息，根据所述凝视点信息选择所述待加工工件，同时在界面上显示所述待加工工件的属性信息；s5、根据所述辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作；s6、对加工操作后的工件进行检测，根据所述检测结果优化所述辅助操作孪生信息。
22.其中，所述静态数据包括几何模型数据，工艺设计数据，刀具属数据，机床属性数据，所述动态数据包括产品质量数据，刀具实时状态数据，焊头信息；所述预测数据包括产品质量预测值，机床状态预测值，刀具寿命预测值，当前加工建议信息。
23.其中，所述第一动作包括对待加工工件调整缩放、位置、角度。
24.其中，所述收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，还包括：根据solidworks三维建模软件建立相关设备的几何模型，导入demo3d平台，设置模型相应的物理属性，搭建专用组件库，通过jscript脚本封装模型的运动逻辑，多工序工件加工过程数字孪生模型的物理空间与虚拟空间的信息交互通过孪生数据建立关联。
25.其中，所述用户的基本信息包括编号、姓名、所属部门、年龄、工时、出勤状态以及对应操作工位，将用户所述基本信息与操作信息关联保存在后台数据库中。
26.其中，所述获取用户的手势输入序列包括：采用kinect设备采集用户手势图像序列输入到深度卷积编解码神经网络模型中进行分类识别，其中深度卷积编解码神经网落模型包括编码器网络和解码器网络模型，所述编码器网络包括卷积层，批量归一化层，激活函数层，最大池化层；解码器网络包括与编码器网络数量相同的卷积层，批量归一化层，以及softmax函数层。
27.其中，在采集到的图像中提取手部图像前，设置图像中深度阈值，所述阈值计算公式为：其中，表示深度图像背景，表示最大固定距离，表示最小识别距离，根
据所述深度阈值进行背景过滤；然后采用滤波模型对所述手部图像进行降噪处理，所述滤波模型为：其中，为深度摄像头采集到的第n帧时，由系统建立起的手部模型；n为采集到第n帧时，平均帧数n到帧数n的连续图像数。
28.实施例2一种基于数字孪生模型的交互控制系统，数字孪生模型建立模块，用于收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，模型分析模块，用于在执行第一工序时，从物理世界中获取加工对象第一状态数据，在虚拟世界数字孪生模型中，获取孪生对象的第二状态数据，计算预测当前孪生对象的第三状态状态，比较所述第一状态数据、所述第二状态数据，所述第三状态状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上；加工交互模块，用于获取用户的手势输入序列以及用户凝视点信息，根据所述凝视点信息选择所述待加工工件，同时在界面上显示所述待加工工件的属性信息；根据所述辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作；检验优化模块，用于对加工操作后的工件进行检测，根据所述检测结果优化所述辅助操作孪生信息。
29.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述处理器执行所述计算机程序实施基于数字孪生模型的交互控制方法。
30.一种终端设备，包括存储器、处理器以及存储在所述所述存储器中并可在所述处理上运行的计算机程序，所述处理器执行所述计算机程序实施基于数字孪生模型的交互控制方法。
31.本发明的优点在于：本发明借助数字孪生对加工过程信息进行集成，通过实时获取当前加工系统状态，结合增强现实技术，通过图像手势高精度提取，提高了手势分析的精确性，同时，加工过程信息融合到真实世界中，提高加工人员对于加工过程的感知粒度，加强其对于加工过程的控制能力，进而提高产品的良品率和安全性。
32.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
技术特征：1.一种基于数字孪生模型的交互控制方法，其特征在于，包括以下步骤：s1、收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，s2、在执行第一工序时，从物理世界中获取加工对象第一状态数据，在虚拟世界数字孪生模型中，获取孪生对象的第二状态数据，计算预测当前孪生对象的第三状态状态，s3、比较所述第一状态数据、所述第二状态数据，所述第三状态状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上；s4、获取用户的手势输入序列以及用户凝视点信息，根据所述凝视点信息选择所述待加工工件，同时在界面上显示所述待加工工件的属性信息；s5、根据所述辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作；s6、对加工操作后的工件进行检测，根据所述检测结果优化所述辅助操作孪生信息。2.根据权利要求1所述基于数字孪生模型的交互控制方法，其特征在于：所述静态数据包括几何模型数据，工艺设计数据，刀具属数据，机床属性数据，所述动态数据包括产品质量数据，刀具实时状态数据，焊头信息；所述预测数据包括产品质量预测值，机床状态预测值，刀具寿命预测值，当前加工建议信息。3.根据权利要求1所述基于数字孪生模型的交互控制方法，其特征在于：所述第一动作包括对待加工工件调整缩放、位置、角度。4.根据权利要求1所述基于数字孪生模型的交互控制方法，其特征在于：所述收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，还包括：根据solidworks三维建模软件建立相关设备的几何模型，导入demo3d平台，设置模型相应的物理属性，搭建专用组件库，通过jscript脚本封装模型的运动逻辑，多工序工件加工过程数字孪生模型的物理空间与虚拟空间的信息交互通过孪生数据建立关联。5.根据权利要求1所述基于数字孪生模型的交互控制方法，其特征在于：所述用户的基本信息包括编号、姓名、所属部门、年龄、工时、出勤状态以及对应操作工位，将用户所述基本信息与操作信息关联保存在后台数据库中。6.根据权利要求1所述基于数字孪生模型的交互控制方法，其特征在于：所述获取用户的手势输入序列包括：采用kinect设备采集用户手势图像序列输入到深度卷积编解码神经网络模型中进行分类识别，其中深度卷积编解码神经网落模型包括编码器网络和解码器网络模型，所述编码器网络包括卷积层，批量归一化层，激活函数层，最大池化层；解码器网络包括与编码器网络数量相同的卷积层，批量归一化层，以及softmax函数层。7.根据权利要求6所述基于数字孪生模型的交互控制方法，其特征在于：在采集到的图像中提取手部图像前，设置图像中深度阈值，所述阈值计算公式为：其中，表示深度图像背景，表示最大固定距离，表示最小识别距离，根据所述深度阈值进行背景过滤；然后采用滤波模型对所述手部图像进行降噪处理，所述滤波模型为：
其中，为深度摄像头采集到的第n帧时，由系统建立起的手部模型；n为采集到第n帧时，平均帧数n到帧数n的连续图像数。8.一种基于数字孪生模型的交互控制系统，其特征在于：数字孪生模型建立模块，用于收集所需静态数据，动态数据，推理数据，建立多工序工件加工过程数字孪生模型，模型分析模块，用于在执行第一工序时，从物理世界中获取加工对象第一状态数据，在虚拟世界数字孪生模型中，获取孪生对象的第二状态数据，计算预测当前孪生对象的第三状态状态，比较所述第一状态数据、所述第二状态数据，所述第三状态状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上；加工交互模块，用于获取用户的手势输入序列以及用户凝视点信息，根据所述凝视点信息选择所述待加工工件，同时在界面上显示所述待加工工件的属性信息；根据所述辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作；检验优化模块，用于对加工操作后的工件进行检测，根据所述检测结果优化所述辅助操作孪生信息。9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述处理器执行所述计算机程序实施如权利要求1至7任一项所述基于数字孪生模型的交互控制方法。10.一种终端设备，包括存储器、处理器以及存储在所述所述存储器中并可在所述处理上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实施如权利要求1至7任一项所述基于数字孪生模型的交互控制方法。
技术总结本发明公开了一种基于数字孪生模型的交互控制方法及系统，该方法建立基于加工工件的数字孪生模型，通过比较三种状态，生成辅助操作孪生信息，将所述辅助操作孪生信息注册并显示在待加工工件上，根据辅助操作孪生信息以及识别手势输入序列后得到的第一动作对所述待加工工件进行所述第一工序下的加工操作。通过借助数字孪生对加工过程信息进行集成，通过实时获取当前加工系统状态，结合增强现实技术，将加工过程信息融合到真实世界中，提高加工人员对于加工过程的感知粒度，加强其对于加工过程的控制能力，进而提高产品的良品率和安全性。性。性。
技术研发人员：鲁玉婧 李小军 李民旭 郑为开 李文杰 朱思宇
受保护的技术使用者：北京金石视觉数字科技有限公司
技术研发日：2022.04.20
技术公布日：2022/7/5
