一种基于眼底医学图像的手术器械分割方法、装置、设备及介质与流程

allin2025-03-20  45


本技术涉及图像分割,尤其是涉及一种基于眼底医学图像的手术器械分割方法、装置、设备及介质。


背景技术:

1、眼底医学图像的器械分割是一项具有复杂性的任务,涉及到多个方面,导致获取大量带有标签的临床手术图像成为一项耗费大量人力和时间的工作。现有技术仍然存在一些客观缺点,如,手术视频的质量和多样性可能会对分割模型的性能产生影响。手术视频可能受到噪声、模糊或光照变化等因素的干扰,这可能导致模型在复杂场景下的表现不佳。此外,手术视频的多样性在训练过程中也是一个挑战,因为不同手术类型和不同手术器械的外观和形态差异会导致模型的泛化能力下降。所以,如何对眼底医学图像的手术器械进行分割成为了不容小觑的技术问题。


技术实现思路

1、有鉴于此,本技术的目的在于提供一种基于眼底医学图像的手术器械分割方法、装置、设备及介质,通过分析图像的运动变化特征从完整的手术视频中提取仅包含手术器械运动的视频片段,提高了手术器械运动的识别精度,减少了误检的可能性,并且根据颜色信息掩模优化方法对利用运动器械识别模型输出的手术器械的掩膜进行优化,从而避免了手术器械的掩膜确定不准确的技术问题。

2、本技术实施例提供了一种基于眼底医学图像的手术器械分割方法,所述手术器械分割方法包括:

3、采集眼底医学手术视频图像,基于图像的运动变化特征对所述眼底医学手术视频图像进行处理,确定出所述眼底医学手术视频图像之中的存在手术器械运动的多个目标视频片段;

4、将每个所述目标视频片段输入至预先训练好的运动器械识别模型之中,基于高斯混合模型的运动物体检测算法对每个所述目标视频片段之中的运动的所述手术器械进行检测,输出每个所述手术器械的掩膜;其中,所述运动器械识别模型是通过对高斯混合模型进行自监督学习训练得到的;

5、基于颜色信息掩模优化方法对每个所述手术器械的掩膜进行优化,确定出每个所述手术器械的优化掩膜,以使基于每个所述手术器械的优化掩膜对相对应的所述手术器械进行分割。

6、在一种可能的实施方式之中,在所述基于颜色信息掩模优化方法对每个所述手术器械的掩膜进行优化,确定出每个所述手术器械的优化掩膜之后,所述手术器械分割方法还包括:

7、基于目标跟踪掩模优化方法对每个所述目标视频片段之中的在当前视频帧图像之前处于运动且在前视频帧图像未发生运动的手术器械的掩膜进行确定。

8、在一种可能的实施方式之中,所述基于图像的运动变化特征对所述眼底医学手术视频图像进行处理,确定出所述眼底医学手术视频图像之中的存在手术器械运动的多个目标视频片段,包括:

9、对所述眼底医学手术视频图像中的每视频帧图像分成多个图像矩形区域;

10、针对于每个所述图像矩形区域,基于该图像矩形区域与前一视频帧图像中相对应的图像矩形区域之间的图像变化率,确定出该图像矩形区域是否未发生运动;

11、基于每一所述视频帧图像中发生运动的图像矩形区域的数量,确定出该帧视频图像是否发生运动,并确定出发生运动的每一视频帧图像的运动状态类型;

12、基于每一帧视频图像的运动状态类型对所述眼底医学手术视频图像进行视频分割,确定出多个所述目标视频片段。

13、在一种可能的实施方式之中,所述针对于每个所述图像矩形区域,基于该图像矩形区域与前一视频帧图像中相对应的图像矩形区域之间的图像变化率,确定出该图像矩形区域是否未发生运动,包括:

14、基于该图像矩形区域的像素灰度值与前一视频帧图像中相对应的图像矩形区域的像素灰度值,确定出所述图像变化率;

15、若所述图像变化率大于等于第二预设值,则确定出所述图像变化率所对应的图像矩形区域发生运动;

16、若所述图像变化率小于所述第二预设值,则确定出所述图像变化率所对应的图像矩形区域为未发生运动。

17、在一种可能的实施方式之中,所述基于每一帧视频图像的运动状态类型对所述眼底医学手术视频图像进行视频分割,确定出多个所述目标视频片段,包括:

18、设置一个视频图像缓冲区队列,向所述视频图像缓冲区队列中添加一帧发生运动的视频帧图像,若所述视频图像缓冲区队列内的视频帧图像数超过预设数量,则会将距离当前视频帧图像最远的视频帧图像从所述视频图像缓冲区队列之中剔除;

19、若检测当前视频帧图像的运动状态类型与所述视频图像缓冲区队列中与当前视频帧图像的运动状态类型相一致的视频帧图像的比例小于第三阈值时,则对所述当前视频帧图像的运动状态类型进行切换,确定出视频帧图像更新后的运动状态类型;

20、基于每一视频帧图像更新后的运动状态类型确定出视频片段的分割点,基于所述分割点对所述眼底医学手术视频图像进行视频分割,确定出多个所述目标视频片段。

21、在一种可能的实施方式之中,针对每个所述手术器械的掩膜,所述基于颜色信息掩模优化方法对每个所述手术器械的掩膜进行优化,确定出每个所述手术器械的优化掩膜,以使基于每个所述手术器械的优化掩膜对相对应的所述手术器械进行分割,包括:

22、对所述手术器械所对应的目标视频片段的rgb图像转换成lab图像化;

23、基于最小外接矩形对每个所述手术器械的掩膜之中的所述手术器械的实例进行拟合;

24、确定出所述手术器械的实例相对应的最小外接矩形的中心点,基于所述中心点以及所述中心点的八邻域像素点确定出所述手术器械所对应的lab图像上的a通道的灰度值最大值;

25、基于所述灰度值最大值对所述最小外接矩形内的a通道的数据进行分割,确定出基于颜色分割后的所述手术器械的优化掩膜,以使基于每个所述手术器械的优化掩膜对相对应的所述手术器械进行分割。

26、在一种可能的实施方式之中,所述基于目标跟踪掩模优化方法对每个所述目标视频片段之中的在当前视频帧图像之前处于运动且在前视频帧图像未发生运动的手术器械的掩膜进行确定,包括:

27、基于当前视频帧图像中所述手术器械的掩膜的最小外接矩形对相对应的图像区域进行提取,并确定出所述图像区域的直方图;

28、确定出所述直方图与跟踪集之中的跟踪手术器械的掩膜所对应的直方图之间的相关系数,若所述相关系数大于等于第四预设阈值,则匹配成功;

29、若所述相关系数小于所述第四预设阈值,则匹配不成功将所述当前视频帧图像中所述手术器械的掩膜增加至所述跟踪集之中,继续开始向前回溯,每次回溯一帧视频帧图像,若前一帧视频帧图像中的手术器械的掩膜与所述当前视频帧图像的手术器械的掩膜匹配成功,则对所述当前视频帧图像的手术器械的掩膜进行更新。

30、本技术实施例还提供了一种基于眼底医学图像的手术器械分割装置,所述手术器械分割装置包括:

31、运动检测模块,用于采集眼底医学手术视频图像,基于图像的运动变化特征对所述眼底医学手术视频图像进行处理,确定出所述眼底医学手术视频图像之中的存在手术器械运动的多个目标视频片段;

32、运动器械识别模块,用于将每个所述目标视频片段输入至预先训练好的运动器械识别模型之中,基于高斯混合模型的运动物体检测算法对每个所述目标视频片段之中的运动的所述手术器械进行检测,输出每个所述手术器械的掩膜;其中,所述运动器械识别模型是通过对高斯混合模型进行自监督学习训练得到的;

33、掩模优化模块,用于基于颜色信息掩模优化方法对每个所述手术器械的掩膜进行优化,确定出每个所述手术器械的优化掩膜,以使基于每个所述手术器械的优化掩膜对相对应的所述手术器械进行分割。

34、本技术实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的基于眼底医学图像的手术器械分割方法的步骤。

35、本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的基于眼底医学图像的手术器械分割方法的步骤。

36、本技术实施例提供的一种基于眼底医学图像的手术器械分割方法、装置、设备及介质,所述手术器械分割方法包括:采集眼底医学手术视频图像,基于图像的运动变化特征对所述眼底医学手术视频图像进行处理,确定出所述眼底医学手术视频图像之中的存在手术器械运动的多个目标视频片段;将每个所述目标视频片段输入至预先训练好的运动器械识别模型之中,基于高斯混合模型的运动物体检测算法对每个所述目标视频片段之中的运动的所述手术器械进行检测,输出每个所述手术器械的掩膜;其中,所述运动器械识别模型是通过对高斯混合模型进行自监督学习训练得到的;基于颜色信息掩模优化方法对每个所述手术器械的掩膜进行优化,确定出每个所述手术器械的优化掩膜,以使基于每个所述手术器械的优化掩膜对相对应的所述手术器械进行分割。通过分析图像的运动变化特征从完整的手术视频中提取仅包含手术器械运动的视频片段,提高了手术器械运动的识别精度,减少了误检的可能性,并且根据颜色信息掩模优化方法对利用运动器械识别模型输出的手术器械的掩膜进行优化,从而避免了手术器械的掩膜确定不准确的技术问题。

37、为使本技术的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。


技术特征:

1.一种基于眼底医学图像的手术器械分割方法,其特征在于,所述手术器械分割方法包括:

2.根据权利要求1所述的手术器械分割方法,其特征在于,在所述基于颜色信息掩模优化方法对每个所述手术器械的掩膜进行优化,确定出每个所述手术器械的优化掩膜之后,所述手术器械分割方法还包括:

3.根据权利要求1所述的手术器械分割方法,其特征在于,所述基于图像的运动变化特征对所述眼底医学手术视频图像进行处理,确定出所述眼底医学手术视频图像之中的存在手术器械运动的多个目标视频片段,包括:

4.根据权利要求3所述的手术器械分割方法,其特征在于,所述针对于每个所述图像矩形区域,基于该图像矩形区域与前一视频帧图像中相对应的图像矩形区域之间的图像变化率,确定出该图像矩形区域是否未发生运动,包括:

5.根据权利要求3所述的手术器械分割方法,其特征在于,所述基于每一帧视频图像的运动状态类型对所述眼底医学手术视频图像进行视频分割,确定出多个所述目标视频片段,包括:

6.根据权利要求1所述的手术器械分割方法,其特征在于,针对每个所述手术器械的掩膜,所述基于颜色信息掩模优化方法对每个所述手术器械的掩膜进行优化,确定出每个所述手术器械的优化掩膜,以使基于每个所述手术器械的优化掩膜对相对应的所述手术器械进行分割,包括:

7.根据权利要求2所述的手术器械分割方法,其特征在于,所述基于目标跟踪掩模优化方法对每个所述目标视频片段之中的在当前视频帧图像之前处于运动且在前视频帧图像未发生运动的手术器械的掩膜进行确定,包括:

8.一种基于眼底医学图像的手术器械分割装置,其特征在于,所述手术器械分割装置包括:

9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的基于眼底医学图像的手术器械分割方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一所述的基于眼底医学图像的手术器械分割方法的步骤。


技术总结
本申请提供了一种基于眼底医学图像的手术器械分割方法、装置、设备及介质,手术器械分割方法包括:基于图像的运动变化特征对眼底医学手术视频图像进行处理,确定出眼底医学手术视频图像之中的存在手术器械运动的多个目标视频片段;将每个目标视频片段输入至预先训练好的运动器械识别模型之中,基于高斯混合模型的运动物体检测算法对每个目标视频片段之中的运动的手术器械进行检测,输出每个手术器械的掩膜;基于颜色信息掩模优化方法对每个手术器械的掩膜进行优化,确定出每个手术器械的优化掩膜,以使基于每个手术器械的优化掩膜对相对应的手术器械进行分割。从而提高了手术器械运动的识别精度,减少了误检的可能性。

技术研发人员:林生智,晏丕松
受保护的技术使用者:广州市微眸医疗器械有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-19391.html

最新回复(0)