1.本发明实施例涉及图像处理领域,尤其涉及一种图像导航方法、服务器设备及存储介质。
背景技术:2.手术导航系统是将病人术前扫描的影像数据准确地配准到病人手术位置,使得病人的移动引起对数字图像的调整。在手术过程中,通过手术导航系统可以精确地跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示,帮助医生将手术器械准确地指向正确的位置、角度和深度,使外科手术更快速、精确和安全。
3.由于需要实时追踪手术器械的位置,因此必须快速获取用于标记手术器械的关键特征点信息。在导航系统追踪关键特征点信息的运算过程中,计算精度、效率和鲁棒性皆是必要考虑的因素。本技术发明人在实现本技术实施例的过程中发现,现有图像导航系统至少存在无法快速准确地获取手术器械位姿的问题。
技术实现要素:4.本发明实施例提供了一种图像导航方法、服务器设备及存储介质,解决了现有图像导航系统至少存在无法快速准确地获取手术器械位姿的问题。
5.第一方面,本发明实施例提供了一种图像导航方法,该方法包括:
6.通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;所述第一特征码图案被设置于追踪组件表面,包括一多边形轮廓以及设置于所述轮廓内的至少两个子区域,所述轮廓包括至少三个凸角点,所述至少两个子区域被设置为至少两种颜色,所述至少两个相机的拍摄视角不同,所述标记图案设置于感兴趣区域;
7.根据所述轮廓的至少三个预设特征位置确定所述至少两幅当前图像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定所述至少两幅当前图像的第一特征码图案分别对应的解码结果;
8.如果所述至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定所述至少三个预设特征位置分别与所述标记图案之间的位置关系;
9.根据所述位置关系确定所述追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示所述位姿,所述目标医学图像包括所述标记图案对应的标记信息。
10.第二方面,本发明实施例还提供了一种图像导航装置,包括:
11.图像获取模块,用于通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;所述第一特征码图案被设置于追踪组件表面,包括一多边形轮廓以及设置于所述轮廓内的至少两个子区域,所述轮廓包括至少三个凸角点,所述至少两个子区域被设置为至少两种颜色,所述至少两个相机的拍摄视角不同,所述标记图案设置于感兴趣区域;
12.解码模块,用于根据所述轮廓的至少三个预设特征位置确定所述至少两幅当前图
像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定所述至少两幅当前图像的第一特征码图案分别对应的解码结果;
13.位置关系确定模块,用于如果所述至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定所述至少三个预设特征位置分别与所述标记图案之间的位置关系;
14.显示模块,用于根据所述位置关系确定所述追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示所述位姿,所述目标医学图像包括所述标记图案对应的标记信息。
15.第三方面,本发明实施例还提供了一种服务器设备,所述服务器设备包括:
16.一个或多个处理器;
17.存储装置,用于存储一个或多个程序;
18.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如任意实施例所述的图像导航方法。
19.第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如任意实施例所述的图像导航方法。
20.本发明实施例提供的图像导航方法的技术方案,通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;通过至少三个预设特征位置确定至少两幅当前图像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定至少两幅当前图像的第一特征码图案分别对应的解码结果;如果至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定至少三个预设特征位置别与标记图案之间的位置关系;根据位置关系确定追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示该位姿。当至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则时,说明提取的每幅当前图像的第一特征码图案的至少三个预设特征位置的坐标是准确的,因此可以根据每幅当前图像对应的至少三个预设特征位置与标记图案之间的位置关系确定第一特征码图案的位姿,根据该第一特征码图案的位姿确定出该第一特征码图案所在追踪组件的位姿,从而确定出该追踪组件对应的被追踪物体的位姿;相较于直接定位追踪组件的结构来说,可以简化追踪组件的结构以及提高导航的准确性。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
22.图1是本发明实施例一提供的图像导航方法的流程图;
23.图2是本发明实施例一提供的第一特征码图案示意图;
24.图3是本发明实施例一提供的又一第一特征码图案示意图;
25.图4是本发明实施例一提供的图像导航示意图;
26.图5是本发明实施例一提供的第一特征码图案的角点示意图;
27.图6是本发明实施例二提供的图像导航装置的结构框图;
28.图7是本发明实施例三提供的服务器设备的结构框图。
具体实施方式
29.为使本发明的目的、技术方案和优点更加清楚,以下将参照本发明实施例中的附图,通过实施方式清楚、完整地描述本发明的技术方案,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
30.实施例一
31.图1是本发明实施例一提供的图像导航方法的流程图。本实施例的技术方案适用于手术器械导航的情况。该方法可以由本发明实施例提供的图像导航装置来执行,该装置可以采用软件和/或硬件的方式实现,并配置在服务器设备的处理器中应用。该方法具体包括如下步骤:
32.s101、通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;第一特征码图案被设置于追踪组件表面,包括一多边形轮廓以及设置于轮廓内的至少两个子区域,轮廓包括至少三个凸角点,该至少两个子区域被设置为至少两种颜色,该至少两个相机的拍摄视角不同,标记图案设置于感兴趣区域。
33.其中,该至少两个相机可选为双目镜的两个相机。可以理解的是,双目镜的两个相机的拍摄视角不同,且可对双目镜的两个相机拍摄的图像进行三维重建。
34.其中,第一特征码图案的轮廓是包含至少三个凸角点的任意形状,比如三角形(参见图2)、矩形(参见图3)、五角形或六边形等。可以理解的是,该至少三个凸角点非共线。
35.其中,子区域可以是矩形、圆形或三角形等。在一个实施例中,子区域的形状与第一特征码图案的轮廓形状相同。比如,第一特征码图案的轮廓是三角形(参见图2),该三角形内设置的至少两个子区域的形状均为三角形;第一特征码图案的轮廓是矩形,该矩形内设置的至少两个子区域的形状均为矩形(参见图3)。
36.其中,该至少两个子区域被设置为至少两种颜色对比鲜明的颜色,比如黑色和白色,红色和黄色。
37.其中,标记图案用于直接或间接确定参考坐标,并被设置于感兴趣区域内。目标医学标图像是预先拍摄的包含患者感兴趣区域和标记物的三维图像,比如ct(computed tomography,断层计算机成像)图像。
38.在一个实施例中,标记图案为标记物的形状,标记为被设置于感兴趣内。该标记物在目标医学图像中的位置为参考位置,比如作为坐标系原点。标记物的材质可选为金属或金属氧化物。
39.在一个实施例中,如图4所示,标记图案为第二特征码图案102,该第二特征码图案设置于标记组件13上,该标记组件13被固定设置于感兴趣区域15,即口腔下颌,该标记组件还设置有标记物14,且第二特征码图案102与标记物14之间的位置关系已知,且该位置关系在导航过程中保持不变,因此可以通过第二特征码图案的位置间接确定标记物的位置,即可以通过第二特征码图案间接确定参考坐标。该实施例中,标记组件13包括第一结构部131
以及连接第一结构部131的第二结构部132,第一结构部131被固定于患者下颌13,即被固定于手术部位的同侧牙齿上,第二结构部132包括一凸曲面,该凸曲面上设置有第二特征码图案102;第一结构部131与第二结构部132之间的位置关系在导航过程中保持不变。
40.在一个实施例中,该至少两幅当前图像需均包含第一特征码图案和标记图案。如果该至少两幅当前图像中的一幅或多幅未全部包含第一特征码图案和标记物,则丢弃该至少两幅当前图像。
41.其中,如图4所示,第一特征码图案101设置于追踪组件11的表面,追踪组件11设置于被追踪物体12的末端,二者的位置关系在导航过程中保持不变。在一个实施例中,被追踪物体12为手术器械,比如牙科手术器械,且手术过程中,该追踪组件与手术器械的位置关系保持不变。
42.s102、根据轮廓的至少三个预设特征位置确定该至少两幅当前图像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定该至少两幅当前图像的第一特征码图案分别对应的解码结果。
43.其中,预设特征位置为凸角点或轮廓边,至少三个预设特征位置可以是至少三个凸角点,或者至少三个轮廓边,或者是两个轮廓边与一个凸角点的组合,或者一个轮廓边与两个凸角点的组合。本实施例以预设特征位置为凸角点为例进行技术方案的说明。
44.其中,子区域包括子区域坐标以及该子区域坐标的邻域,邻域范围根据实际需求设置即可,本实施例在此不作具体限定。
45.在一个实施例中,第一特征码图案的角点均为凸角点,各子区域等间隔设置,且凸角点与邻近子区域之间的间隔,与各子区域之间的间隔相同。
46.在一个实施例中,每个第一特征码图案均对应一子区域坐标组合,该子区域坐标组合包括每个子区域分别与该至少三个凸角点的相对坐标。分别确定该至少两幅当前图像的第一特征码图案的至少三个凸角点坐标(参见图5箭头所指向的角点),根据该至少三个凸角点坐标,在该第一特征码图案中确定预先存储的子区域坐标组合中的各位置坐标,并将各位置坐标对应的颜色作为每个位置坐标对应的子区域的颜色。根据预先设定的颜色与编码数字之间的对应关系,确定每个子区域的编码数字,根据各子区域的预设排列顺序即可确定第一特征码图案的解码结果。示例性的,以图3为例,定义黑色子区域的编码为0,白色子区域的编码为1,将子区域按从左向右,从上到下排序,图2中第一特征码图案的编码信息为110110000001011101000101000100。可以理解的是,在使用该实施例所述的图像导航方法之前,需建立第一特征码图案与其子区域坐标组合之间的对应关系。
47.在一个实施例中,该至少三个凸角点的确定方法包括:对对该至少两幅当前图像分别进行阈值分割以得到至少两幅二值图;分别从该至少两幅二值图上提取轮廓集合;如果当前轮廓的凸角点坐标数量大于或等于三个,则确定预先存储的子区域坐标组合是否位于当前轮廓的内部;若是,则将当前轮廓作为第一特征码图案的轮廓,以及将该至少三个凸角点坐标作为第一特征码图案的至少三个凸角点坐标;若否,则删除当前轮廓,以及将下一轮廓作为当前轮廓,并跳转到如果当前轮廓的凸角点坐标数量大于或等于三个,则确定预先存储的子区域坐标组合是否位于当前轮廓的内部的步骤。该实施例中,阈值分割方法可选为局部自适应阈值。轮廓集合包含多种轮廓,比如第一特征码图案的轮廓、子区域的轮廓,环境光线投到感兴趣区域形成的原本不存在的轮廓。如果任一轮廓集合的各个轮廓均
不包含第一特征码图案的至少三个凸角点坐标,则直接丢弃该至少两幅当前图像。
48.可以理解的是,通过第一特征码图案的至少三个凸角点来确定子区域坐标,可以将每个子区域坐标定位至亚像素精度,并且该点在典型的图像模糊场景是稳定的,尤其在照明过度和照明不足以及传感器噪声中。
49.在一个实施例中,该至少两幅当前图像均包括第一特征码图案和第二特征码图案,因此需分别确定该至少两幅当前图像中的每幅图像的第一特征码图案与第二特征码图案的解码结果。其中,第二特征码图案的解码结果的确定方法与第一特征码图案的解码结果的确定方法相同,换言之,二者的编码方式相同,但二者对应的解码结果不同。可以理解的是,第一特征码图案与第二特征码图案的解码结果不同,可使处理器准确地区分出第一特征码图案与第二特征码图案。
50.s103、如果该至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定该至少三个预设特征位置分别与标记图案之间的位置关系。
51.本实施例中,如果该至少两幅当前图像中的第一特征码图案的解码结果均符合预设校验规则,则认为提取的任一当前图像的第一特征码图案的至少三个凸角点的位置坐标是准确的,保留该至少三个凸角点的坐标,并确定该至少三个凸角点分别与标记图案之间的位置关系;如果该至少两幅当前图像中的一幅或多幅当前图像的第一特征码图案不符合预设校验规则,则认为提取的该一幅或多幅当前图像的至少三个凸角点的坐标是不正确的,不能用来定位追踪附件以及追踪附件连接的被追踪物体,因此将该至少两幅当前图像直接丢弃。
52.在一个实施例中,如果该至少两幅当前图像中的第一特征码图案的解码结果均与预先存储的该第一特征码图案的解码结果相同,则认为该至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则。
53.可以理解的是,该位置关系为空间位置关系。当标记图案为标记物的形状时,该至少三个凸角点分别与标记图案之间的位置关系,为该至少三个凸角点分别与标记物之间的位置关系。
54.在一个实施例中,如果该至少两幅当前图像对应的第一特征码图案的解码结果与预先存储的该第一特征码图案的解码结果一致,同时该至少两幅当前图像对应的第二特征码图案的解码结果与预先存储的该第二特征码图案的解码结果一致,则确定该至少两幅当前图像中的第一特征码图案与第二特征码图案之间的位置关系;根据该位置关系以及预先存储的第二特征码图案与标记物之间的位置关系,确定该至少两幅当前图像中的该第一特征码图案与该标记物之间的位置关系。
55.s104、根据位置关系确定追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示该位姿,目标医学图像包括标记图案对应的标记信息。
56.可以理解的是,当确定了一个物体的三个非共线的坐标点分别与坐标原点的相对位置关系时,即可确定该物体在空间中的位置和姿态,即位姿。
57.在一个实施例中,追踪组件包括一凸曲面,第一特征码图案附接至该凸曲面上。此时,该至少三个凸角点非共面。可以理解的是,通过该非共面的至少三个凸角点分别与标记物之间的位置关系,即通过该非共面的至少三个凸角点分别与坐标原点的位置关系,可以准确地出第一特征码图案的位姿,根据该第一特征码图案的位姿可以准确地确定出追踪组
件的位姿,从而确定出该追踪组件对应的被追踪物体的位姿。可以理解的是,该实施例中,当被追踪物体为手术器械时,可以根据追踪组件的位姿确定出手术器械的位姿。
58.本发明实施例提供的图像导航方法的技术方案,当至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则时,说明提取的每幅当前图像的第一特征码图案的至少三个预设特征位置的坐标是准确的,因此可以根据每幅当前图像对应的至少三个预设特征位置与标记图案之间的位置关系确定第一特征码图案的位姿,根据该第一特征码图案的位姿确定出该第一特征码图案所在追踪组件的位姿,从而确定出该追踪组件对应的被追踪物体的位姿;相较于直接定位追踪组件的结构来说,可以简化追踪组件的结构以及提高导航的准确性。
59.实施例二
60.图6是本发明实施例提供的图像导航装置的结构框图。该装置用于执行上述任意实施例所提供的图像导航方法,该装置可选为软件或硬件实现。该装置包括:
61.图像获取模块21,用于通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;第一特征码图案被设置于追踪组件表面,包括一多边形轮廓以及设置于轮廓内的至少两个子区域,轮廓包括至少三个凸角点,至少两个子区域被设置为至少两种颜色,至少两个相机的拍摄视角不同,标记图案设置于感兴趣区域;
62.解码模块22,用于根据轮廓的至少三个预设特征位置确定至少两幅当前图像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定至少两幅当前图像的第一特征码图案分别对应的解码结果;
63.位置关系确定模块23,用于如果至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定所至少三个预设特征位置点分别与标记图案之间的位置关系;
64.显示模块24,用于根据位置关系确定追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示位姿,目标医学图像包括标记图案对应的标记信息。
65.可选地,至少三个预设特征位置包括至少三个凸角点。
66.可选地,解码模块22用于分别确定至少两幅当前图像的第一特征码图案的至少三个凸角点坐标;根据该至少三个凸角点坐标以及预先存储的子区域坐标组合,在至少两幅当前图像中确定各子区域的位置坐标,其中,子区域坐标组合包括各子区域分别与该至少三个凸角点的相对坐标。
67.可选地,解码模块22用于对至少两幅当前图像分别进行阈值分割以得到至少两幅二值图;分别从至少两幅二值图上提取轮廓集合;如果当前轮廓的凸角点坐标数量大于或等于三个,则确定预先存储的子区域坐标组合是否位于当前轮廓的内部;若是,则将当前轮廓作为第一特征码图案的轮廓,以及将该至少三个凸角点坐标作为第一特征码图案的至少三个凸角点坐标;若否,则删除当前轮廓,以及将下一轮廓作为当前轮廓,并跳转到如果当前轮廓的凸角点坐标数量大于或等于三个,则确定预先存储的子区域坐标组合是否位于当前轮廓的内部的步骤。
68.可选地,标记图案为标记物形状,标记物设置于标记组件上,标记组件固定设置于感兴趣区域。
69.可选地,标记图案为第二特征码图案,第二特征码图案设置于标记组件上,标记组
件还设置有标记物,第二特征码图案与所述标记物之间的位置关系已知,第二特征码位于所述至少两个相机的成像范围内;
70.解码模块22还用于确定所述至少两幅当前图像中的第二特征码图案的各子区域颜色,并根据各子区域颜色和各子区域的预设排列顺序确定所述至少两幅当前图像中的第二特征码图案对应的解码结果;
71.位置关系确定模块23用于如果至少两幅当前图像对应的第一特征码图案的解码结果与第二特征码图案的解码结果均符合预设校验规则,则确定至少两幅当前图像中的第一特征码图案与所述第二特征码图案之间的位置关系;根据位置关系以及预先存储的第二特征码图案与标记物之间的位置关系,确定至少两幅当前图像中的第一特征码图案与标记物之间的位置关系。
72.可选地,位置关系确定模块23用于如果至少两幅当前图像对应的第一特征码图案的解码结果与预先存储的第一特征码图案的解码结果一致,同时至少两幅当前图像对应的第二特征码图案的解码结果与预先存储的第二特征码图案的解码结果一致,则确定至少两幅当前图像中的第一特征码图案与第二特征码图案之间的位置关系。
73.本发明实施例提供的图像导航装置的技术方案,当至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则时,说明提取的每幅当前图像的第一特征码图案的至少三个预设特征位置的坐标是准确的,因此可以根据每幅当前图像对应的至少三个预设特征位置与标记图案之间的位置关系确定第一特征码图案的位姿,根据该第一特征码图案的位姿确定出该第一特征码图案所在追踪组件的位姿,从而确定出该追踪组件对应的被追踪物体的位姿;相较于直接定位追踪组件的结构来说,可以简化追踪组件的结构以及提高导航的准确性。
74.本发明实施例所提供的图像导航装置可执行本发明任意实施例所提供的图像导航方法,具备执行方法相应的功能模块和有益效果。
75.实施例三
76.图7为本发明实施例三提供的服务器设备的结构示意图,如图7所示,该设备包括处理器301、存储器302、输入装置303以及输出装置304;设备中处理器301的数量可以是一个或多个,图7中以一个处理器301为例;设备中的处理器301、存储器302、输入装置303以及输出装置304可以通过总线或其他方式连接,图7中以通过总线连接为例。
77.存储器302作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的图像导航方法对应的程序指令/模块(例如,图像获取模块21、解码模块22、位置关系确定模块23以及显示模块24)。处理器301通过运行存储在存储器302中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的图像导航方法。
78.存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器302可进一步包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
79.输入装置303可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。
80.输出装置304可包括显示屏等显示设备,例如,用户终端的显示屏。
81.实施例四
82.本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像导航方法,该方法包括:
83.通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;所述第一特征码图案被设置于追踪组件表面,包括一多边形轮廓以及设置于所述轮廓内的至少两个子区域,所述轮廓包括至少三个凸角点,所述至少两个子区域被设置为至少两种颜色,所述至少两个相机的拍摄视角不同,所述标记图案设置于感兴趣区域;
84.根据所述轮廓的至少三个预设特征位置确定所述至少两幅当前图像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定所述至少两幅当前图像的第一特征码图案分别对应的解码结果;
85.如果所述至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定所述至少三个预设特征位置分别与所述标记图案之间的位置关系;
86.根据所述位置关系确定所述追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示所述位姿,所述目标医学图像包括所述标记图案对应的标记信息。
87.当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像导航方法中的相关操作。
88.通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的图像导航方法。
89.值得注意的是,上述图像导航装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
90.注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
技术特征:1.一种图像导航方法,其特征在于,包括:通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;所述第一特征码图案被设置于追踪组件表面,包括一多边形轮廓以及设置于所述轮廓内的至少两个子区域,所述轮廓包括至少三个凸角点,所述至少两个子区域被设置为至少两种颜色,所述至少两个相机的拍摄视角不同,所述标记图案设置于感兴趣区域;根据所述轮廓的至少三个预设特征位置确定所述至少两幅当前图像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定所述至少两幅当前图像的第一特征码图案分别对应的解码结果;如果所述至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定所述至少三个预设特征位置分别与所述标记图案之间的位置关系;根据所述位置关系确定所述追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示所述位姿,所述目标医学图像包括所述标记图案对应的标记信息。2.根据权利要求1所述的方法,其特征在于,所述至少三个预设特征位置包括至少三个凸角点。3.根据权利要求2所述的方法,其特征在于,所述根据所述轮廓的至少三个预设特征位置确定所述至少两幅当前图像的第一特征码图案的各子区域的位置坐标,包括:分别确定所述至少两幅当前图像的第一特征码图案的至少三个凸角点坐标;根据该至少三个凸角点坐标以及预先存储的子区域坐标组合,在所述至少两幅当前图像中确定各子区域的位置坐标,其中,所述子区域坐标组合包括各子区域分别与该至少三个凸角点的相对坐标。4.根据权利要求3所述的方法,其特征在于,所述分别确定所述至少两幅当前图像的第一特征码图案的至少三个凸角点包括:对所述至少两幅当前图像分别进行阈值分割以得到至少两幅二值图;分别从所述至少两幅二值图上提取轮廓集合;如果当前轮廓的凸角点坐标数量大于或等于三个,则确定预先存储的子区域坐标组合是否位于所述当前轮廓的内部;若是,则将所述当前轮廓作为第一特征码图案的轮廓,以及将该至少三个凸角点坐标作为所述第一特征码图案的至少三个凸角点坐标;若否,则删除所述当前轮廓,以及将下一轮廓作为当前轮廓,并跳转到如果当前轮廓的凸角点坐标数量大于或等于三个,则确定预先存储的子区域坐标组合是否位于所述当前轮廓的内部的步骤。5.根据权利要求1所述的方法,其特征在于,所述标记图案为标记物形状,所述标记物设置于标记组件上,所述标记组件固定设置于感兴趣区域。6.根据权利要求1所述的方法,其特征在于,所述标记图案为第二特征码图案,所述第二特征码图案设置于标记组件上,所述标记组件还设置有标记物,所述第二特征码图案与所述标记物之间的位置关系已知,所述第二特征码位于所述至少两个相机的成像范围内;该方法还包括:确定所述至少两幅当前图像中的第二特征码图案的各子区域颜色,并根据各子区域颜色和各子区域的预设排列顺序确定所述至少两幅当前图像中的第二特征码图案对应的解
码结果;所述如果所述至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定所述至少三个凸角点分别与所述标记图案之间的位置关系,包括:如果所述至少两幅当前图像对应的第一特征码图案的解码结果与第二特征码图案的解码结果均符合预设校验规则,则确定所述至少两幅当前图像中的所述第一特征码图案与所述第二特征码图案之间的位置关系;根据所述位置关系以及预先存储的第二特征码图案与标记物之间的位置关系,确定所述至少两幅当前图像中的所述第一特征码图案与所述标记物之间的位置关系。7.根据权利要求6所述的方法,其特征在于,所述如果所述至少两幅当前图像对应的第一特征码图案的解码结果与第二特征码图案的解码结果均符合预设校验规则,则确定所述至少两幅当前图像中的所述第一特征码图案与所述第二特征码图案之间的位置关系,包括:如果所述至少两幅当前图像对应的第一特征码图案的解码结果与预先存储的第一特征码图案的解码结果一致,同时所述至少两幅当前图像对应的第二特征码图案的解码结果与预先存储的第二特征码图案的解码结果一致,则确定所述至少两幅当前图像中的所述第一特征码图案与所述第二特征码图案之间的位置关系。8.一种图像导航装置,其特征在于,包括:图像获取模块,用于通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;所述第一特征码图案被设置于追踪组件表面,包括一多边形轮廓以及设置于所述轮廓内的至少两个子区域,所述轮廓包括至少三个凸角点,所述至少两个子区域被设置为至少两种颜色,所述至少两个相机的拍摄视角不同,所述标记图案设置于感兴趣区域;解码模块,用于根据所述轮廓的至少三个预设特征位置确定所述至少两幅当前图像的第一特征码图案的各子区域的位置坐标,以及根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定所述至少两幅当前图像的第一特征码图案分别对应的解码结果;位置关系确定模块,用于如果所述至少两幅当前图像的第一特征码图案的解码结果均符合预设校验规则,则确定所述至少三个预设特征位置分别与所述标记图案之间的位置关系;显示模块,用于根据所述位置关系确定所述追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示所述位姿,所述目标医学图像包括所述标记图案对应的标记信息。9.一种服务器设备,其特征在于,所述服务器设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像导航方法。10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像导航方法。
技术总结本发明实施例公开了一种图像导航方法、装置、服务器设备及存储介质,该方法包括:通过至少两个相机获取均包含第一特征码图案和标记图案的至少两幅当前图像;根据第一特征码图案轮廓的至少三个预设特征位置确定至少两幅当前图像的第一特征码图案的各子区域的位置坐标,根据各子区域的位置坐标对应的颜色和各子区域的预设排列顺序确定至少两幅当前图像的第一特征码图案分别对应的解码结果;如果该至少两解码结果均符合预设校验规则,则确定至少三个预设特征位置分别与标记图案之间的位置关系;根据位置关系确定追踪组件对应的被追踪物体的位姿,并在目标医学图像上实时显示位姿。解决了无法快速准确地获取手术器械位姿的问题。问题。问题。
技术研发人员:张道文 盛鸿 刘技 陈云 章征贵
受保护的技术使用者:苏州迪凯尔医疗科技有限公司
技术研发日:2022.04.21
技术公布日:2022/7/5