1.本发明涉及一种应用于消化内镜手术视频分析的器械检测系统以及该系统实现的器械检测方法。
背景技术：2.在内镜手术过程中，常用的内镜器械有近十种，包括有：活检钳、钩刀、dual刀、it刀、圈套器、金属夹、尼龙绳、海博刀、apc、注射针等。并且这些器械往往都有多种不同的状态，包括闭合、打开以及释放等。为了完成对消化内镜手术视频的分析，需对不同内镜器械进行识别以及状态判别。
3.现有的消化内镜器械术中识别方法，主要为人工识别，由操作人员人工识别器械种类及判断器械状态，完全依靠操作人员的体力、注意力、记忆力、检查时间和操作经验。并且由于器械在一场消化内镜手术中更换频繁，记录过程需要耗费较大的人力，大部分操作人员的判断不够准确，更加无法在内镜报告或者手术视频中完成准确的记录或者标记工作。
技术实现要素：4.本发明要解决的技术问题是：现有的消化内镜器械术识别方法为人工识别。
5.为了解决上述技术问题，本发明的一个技术方案是提供了一种应用于消化内镜手术视频分析的器械检测系统，其特征在于，包括：
6.内镜视频采集模块：用于从术中内镜主机获取视频流后，将视频流拆解成图像帧，并按照固定频率将图像帧输入器械检测模块；
7.器械检测模块：读取发送自内镜视频采集模块的图像帧后，对图像帧是否存在内镜器械进行预测：若当前图像帧中存在内镜器械，则输出内镜器械的器械头的边缘框中心在当前图像帧上的坐标以及边缘框；若当前图像帧中不存在内镜器械，则输出空结果；
8.器械状态判别模块：若器械检测模块输出的为非空结果，则由器械状态判别模块根据器械检测模块的输出结果分析内镜器械的器械状态，并输出识别得到的器械状态；
9.手术过程分析模块：用于存储和分析器械检测模块以及器械状态判别模块的输出结果，基于器械检测模块以及器械状态判别模块的识别结果，计算各内镜器械占整个手术视频中的时间，并绘制可视化结果；
10.分析结果展示模块：用于展示通过内镜视频采集模块获得的原始图像帧、通过器械检测模块获得的边缘框、通过器械状态判别模块获得的器械状态以及通过手术过程分析模块获得的可视化结果。
11.优选地，所述视频流包括从术中内镜主机获取的实时视频流，或者基于术中内镜主机获取的历史存储的手术视频文件所获得的回顾性视频流。
12.优选地，所述器械检测模块通过预训练的神经卷积神经网络yolo v5对图像帧中是否存在内镜器械进行预测。
13.优选地，所述器械状态判别模块判断器械状态时，基于发送自器械检测模块的边缘框以及边缘框中心在当前图像帧上的坐标，以边缘框中心为裁剪中心，截取附近固定像素大小的图像块，将该图像块输入预训练的神经卷积网络resnet18后，对当前内镜器械的器械状态进行判别，并输出识别得到的器械状态。
14.优选地，所述器械状态判别模块通过器械状态以表示识别到的内镜器械是否与人体组织接触。
15.本发明的另一个技术方案是提供了一种基于前述器械检测系统实现的应用于消化内镜手术视频分析的器械检测方法，其特征在于，包括以下步骤：
16.步骤s1：通过内镜视频采集模块获得视频流，并将视频流分解为单张图像帧i
raw
，单张图像帧i
raw
按照固定频率输入器械检测模块；
17.步骤s2：器械检测模块检测输入的单张图像帧i
raw
中是否存在内镜器械：若识别出内镜器械，则以内镜器械的器械头的边缘框中心为中心裁剪出包含整个边缘框的图像切块i
roi
；若未识别出内镜器械，则输出空结果；
18.设内镜器械有p种不同类型，则器械检测模块用x∈{1,2,
…
,p}分别表示识别到的内镜器械所对应的类型的序号值；若器械检测模块未识别到内镜器械，则x取0；
19.步骤s3：若步骤s2输出的为非空结果，则将图像切块i
roi
输入器械状态判别模块判断内镜器械的器械状态，所获得的器械状态用y表示，y∈{0,1,2,
…
,m}，其中，{1,2,
…
,m}表示识别到的m种器械状态，0表示未发现内镜器械；
20.步骤s4：基于步骤s2和步骤s3中的检测结果，计算器械识别的时间序列x
1:n
＝{x1,x2,
…
,xn}，其中xn∈{0,1,2,
…
,p}为第n帧单张图像帧i
raw
的器械检测模块识别结果，n∈{1,2,
…
,n}；同时，计算器械状态的时间序列y
1:n
＝{y1,y2,
…
,yn}，其中，yn∈{0,1,2,
…
,m}为第n帧单张图像帧i
raw
的器械状态判别模块的识别结果，n∈{1,2,
…
,n}；
21.手术过程分析模块基于计算得到的时间序列，计算各器械在手术视频中的出现时间和占时，并绘制可视化结果；
22.步骤s5：分析结果展示模块展示：通过内镜视频采集模块获得的原始图像帧、通过器械检测模块获得的边缘框、通过器械状态判别模块获得的器械状态以及通过手术过程分析模块获得的可视化结果。
23.优选地，步骤s2中，所述器械检测模块通过深度神经网络yolov5检测输入的单张图像帧i
raw
中是否存在内镜器械。
24.优选地，步骤s2中，对深度神经网络yolov5进行训练时，训练集由包含p种不同类型的内镜器械的多张视频截图以及多张无器械的视频背景截图组成，由医生对训练集图片中的器械头边缘框进行标注。
25.优选地，步骤s3中，器械状态判别模块通过深度神经网络resnet判断内镜器械的器械状态。
26.优选地，步骤s4中，手术过程分析模块基于时间序列x
1:n
＝{x1,x2,
…
,xn}计算各器械在手术视频中的出现时间和占时，并以热力图的方式绘制可视化结果。
27.本发明利用深度学习与计算机视觉技术，动态识别内镜器械的种类以及开闭状态。该系统和方法既可以用于在内镜手术过程中，实时检出以及鉴别器械，进而对手术过程进行实时的标注，也可用于回顾性地分析历史视频，观看者可以通过本系统定位至不同器
械的操作过程。
28.与现有技术相比，本发明具有如下优点：
29.(1)可以实时对内镜手术中出现的器械种类及状态进行检出及判别；
30.(2)可以识别出操作视野中是否有器械出现；
31.(3)可以对常用的内镜器械的种类进行鉴别；
32.(4)可以对同一内镜器械的不同状态进行鉴别。
附图说明
33.图1为系统功能模块图；
34.图2为方法流程示意图；
35.图3为内镜手术视频图像帧示例；
36.图4a及图4b为图像帧器械识别结果和切块示例；
37.图5示意了yolo v5网络结构；
38.图6示意了resnet18网络结构；
39.图7为分析结果展示模块示意图。
具体实施方式
40.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
41.如图1所示，本发明公开的一种应用于消化内镜手术视频分析的器械检测系统包括如下模块：
42.内镜视频采集模块：采用图像采集卡，用于从术中内镜主机的hdmi接口中获取实时视频流，或者从术中内镜主机的hdmi接口读取历史存储的手术视频文件，获得回顾性视频流。为论述上的便利，将实时视频流以及回顾性视频流统一定义为视频流。内镜视频采集模块还用于将视频流拆解成图像帧后，按照固定频率输入器械检测模块。
43.器械检测模块：读取发送自内镜视频采集模块的图像帧后，通过预训练的神经卷积神经网络yolo v5对图像帧中是否存在内镜器械进行预测。若当前图像帧中存在内镜器械，则输出内镜器械的器械头的边缘框中心在当前图像帧上的坐标以及边缘框；若当前图像帧中不存在内镜器械，则输出空结果。
44.器械状态判别模块：若器械检测模块输出的为非空结果，则由器械状态判别模块进一步分析内镜器械的器械状态。器械状态判别模块判断器械状态时，基于发送自器械检测模块的边缘框以及边缘框中心在当前图像帧上的坐标，以边缘框中心为裁剪中心，截取附近224
×
224像素大小的图像块，将该图像块输入预训练的神经卷积网络resnet18后，对当前内镜器械的器械状态进行判别，并输出识别得到的器械状态。本实施例中，器械状态包括当前内镜器械的的开关状态。
45.手术过程分析模块：用于存储和分析器械检测模块以及器械状态判别模块的输出结果，基于器械检测模块以及器械状态判别模块的识别结果，计算各内镜器械占整个手术
视频中的时间，并以热力图(heatmap)的方式绘制可视化结果。
46.分析结果展示模块：用于展示：通过内镜视频采集模块获得的原始图像帧、通过器械检测模块获得的边缘框、通过器械状态判别模块获得的器械状态以及通过手术过程分析模块获得的热力图。
47.本发明还提供了一种基于上述系统实现的应用于消化内镜手术视频分析的器械检测方法，如图2所示，具体包括以下步骤：
48.步骤s1：通过内镜视频采集模块获得视频流，并将视频流分解为单张图像帧i
raw
，单张图像帧i
raw
的像素尺寸为h
raw
×wraw
，单张图像帧i
raw
按照固定频率输入器械检测模块。
49.本实施例中，单张图像帧i
raw
的像素尺寸为512
×
512，如图3所示，并以25fps的频率输入至器械检测模块。
50.步骤s2：器械检测模块通过预先训练的深度神经网络yolov5检测输入的单张图像帧i
raw
中是否存在内镜器械。若识别出内镜器械，则输出内镜器械的器械头的边缘框中心在图像上的坐标(x,y)以及边缘框的宽度dw和高度dh，并以边缘框中心(x,y)为中心裁剪出大小为224
×
224像素的图像切块i
roi
。若未识别出内镜器械，则输出空结果。
51.本发明中，内镜器械有p种不同类型，则，若深度神经网络yolov5识别到内镜器械，则用x∈{1,2,
…
,p}分别表示识别到的内镜器械所对应的类型的序号值。本实施例中，内镜器械包括活检钳、钩刀、dual刀、it刀、圈套器、金属夹、尼龙绳、海博刀、apc、注射针，分别对应x∈{1,2,
…
,10}，其中x表示当前单张图像帧的器械识别结果。如果深度神经网络yolov5未识别到内镜器械，则x取0。
52.深度神经网络yolov5的参数在训练集样本中预训练获得，本实施例中，训练集为前述10种内镜器械各2000张视频截图，和5000张无器械的视频背景截图。由医生对训练集图片中的器械头边缘框进行标注。在训练完成后，对于实时输入的单张图像帧i
raw
，深度神经网络yolov5可输出识别结果x以及对应的边缘框预测结果，如图4a及图4b所示。深度神经网络yolov5的网络结构如图5所示。如果深度神经网络yolov5识别出内镜器械，以边缘框中心为中心裁剪出大小为224
×
224像素的图像切块i
roi
；如果深度神经网络yolov5未识别出内镜器械，则输出空结果。
53.步骤s3：若步骤s2输出的为非空结果，则将图像切块i
roi
输入器械状态判别模块，通过深度神经网络resnet判断内镜器械的器械状态。通过深度神经网络resnet获得的器械状态用y表示，y∈{0,1,2,
…
,m}，其中，{1,2,
…
,m}表示识别到的m种器械状态，0表示未发现内镜器械。
54.本实施例中，器械状态为开关状态，以表示内镜器械是否与组织接触，则y∈{0,1,2}，其中，0代表未发现内镜器械，1代表内镜器械未与组织接触，2代表内镜器械与组织接触。
55.深度神经网络resnet18的参数在训练集样本中预训练获得，resnet18的网络结构如图5所示。
56.步骤s4：基于步骤s2和步骤s3中的检测结果，计算器械识别的时间序列x
1:n
＝{x1,x2,
…
,xn}，其中xn∈{0,1,2,
…
,p}为第n帧单张图像帧i
raw
的器械检测模块识别结果，n∈{1,2,
…
,n}：如果不存在内镜器械，xn取0；若存在内镜器械，则取内镜器械的序号值，{1,2,
…
,p}分别表示p种不同类型的内镜器械的序号值。本实施例中，p＝10。同时计算器械状
态的时间序列y
1:n
＝{y1,y2,
…
,yn}，其中，yn∈{0,1,2,
…
,m}为第n帧单张图像帧i
raw
的器械状态判别模块的识别结果，n∈{1,2,
…
,n}：若不存在内镜器械，则yn取0；若存在内镜器械，则yn取相应内镜器械的状态序号值。本实施例中，m＝2。手术过程分析模块基于此时间序列，计算各器械在手术视频中的出现时间和占时，并以热力图(heatmap)的方式绘制可视化结果。
57.步骤s5：分析结果展示模块展示：通过内镜视频采集模块获得的原始图像帧、通过器械检测模块获得的边缘框、通过器械状态判别模块获得的器械状态以及通过手术过程分析模块获得的热力图。如图7所示，具体地展示当前单张图像帧i
raw
和识别出的器械边缘框，检测出的器械种类和开关状态，以及表征器械出现时间x
1:n
＝{x1,x2,
…
,xn}的热力图可视化结果。
58.实施本发明时，将实时内镜手术视频流或者本地存储的历史视频流接入本发明提供的分析系统，进行手术视频的自动分析。随后根据展示模块的分析结果，对视频进行质量评价和分析，并通过热图定位至感兴趣手术视频段。
技术特征：1.一种应用于消化内镜手术视频分析的器械检测系统，其特征在于，包括：内镜视频采集模块：用于从术中内镜主机获取视频流后，将视频流拆解成图像帧，并按照固定频率将图像帧输入器械检测模块；器械检测模块：读取发送自内镜视频采集模块的图像帧后，对图像帧是否存在内镜器械进行预测：若当前图像帧中存在内镜器械，则输出内镜器械的器械头的边缘框中心在当前图像帧上的坐标以及边缘框；若当前图像帧中不存在内镜器械，则输出空结果；器械状态判别模块：若器械检测模块输出的为非空结果，则由器械状态判别模块根据器械检测模块的输出结果分析内镜器械的器械状态，并输出识别得到的器械状态；手术过程分析模块：用于存储和分析器械检测模块以及器械状态判别模块的输出结果，基于器械检测模块以及器械状态判别模块的识别结果，计算各内镜器械占整个手术视频中的时间，并绘制可视化结果；分析结果展示模块：用于展示通过内镜视频采集模块获得的原始图像帧、通过器械检测模块获得的边缘框、通过器械状态判别模块获得的器械状态以及通过手术过程分析模块获得的可视化结果。2.如权利要求1所述的一种应用于消化内镜手术视频分析的器械检测系统，其特征在于，所述视频流包括从术中内镜主机获取的实时视频流，或者基于术中内镜主机获取的历史存储的手术视频文件所获得的回顾性视频流。3.如权利要求1所述的一种应用于消化内镜手术视频分析的器械检测系统，其特征在于，所述器械检测模块通过预训练的神经卷积神经网络yolo v5对图像帧中是否存在内镜器械进行预测。4.如权利要求1所述的一种应用于消化内镜手术视频分析的器械检测系统，其特征在于，所述器械状态判别模块判断器械状态时，基于发送自器械检测模块的边缘框以及边缘框中心在当前图像帧上的坐标，以边缘框中心为裁剪中心，截取附近固定像素大小的图像块，将该图像块输入预训练的神经卷积网络resnet18后，对当前内镜器械的器械状态进行判别，并输出识别得到的器械状态。5.如权利要求1所述的一种应用于消化内镜手术视频分析的器械检测系统，其特征在于，所述器械状态判别模块通过器械状态以表示识别到的内镜器械是否与人体组织接触。6.一种基于权利要求1所述器械检测系统实现的应用于消化内镜手术视频分析的器械检测方法，其特征在于，包括以下步骤：步骤s1：通过内镜视频采集模块获得视频流，并将视频流分解为单张图像帧i
raw
，单张图像帧i
raw
按照固定频率输入器械检测模块；步骤s2：器械检测模块检测输入的单张图像帧i
raw
中是否存在内镜器械：若识别出内镜器械，则以内镜器械的器械头的边缘框中心为中心裁剪出包含整个边缘框的图像切块i
roi
；若未识别出内镜器械，则输出空结果；设内镜器械有p种不同类型，则器械检测模块用x∈{1,2,
…
,}分别表示识别到的内镜器械所对应的类型的序号值；若器械检测模块未识别到内镜器械，则x取0；步骤s3：若步骤s2输出的为非空结果，则将图像切块i
roi
输入器械状态判别模块判断内镜器械的器械状态，所获得的器械状态用y表示，y∈{0,1,2,
…
,m}，其中，{1,2,
…
,m}表示识别到的m种器械状态，0表示未发现内镜器械；
步骤s4：基于步骤s2和步骤s3中的检测结果，计算器械识别的时间序列x
1:n
＝{x1,x2,
…
,x
n
}，其中x
n
∈{0,1,2,
…
,p}为第n帧单张图像帧i
raw
的器械检测模块识别结果，n∈{1,2,
…
,n}；同时，计算器械状态的时间序列y
1:n
＝{y1,y2,
…
,y
n
}，其中，y
n
∈{0,1,2,
…
,m}为第n帧单张图像帧i
raw
的器械状态判别模块的识别结果，n∈{1,2,
…
,n}；手术过程分析模块基于计算得到的时间序列，计算各器械在手术视频中的出现时间和占时，并绘制可视化结果；步骤s5：分析结果展示模块展示：通过内镜视频采集模块获得的原始图像帧、通过器械检测模块获得的边缘框、通过器械状态判别模块获得的器械状态以及通过手术过程分析模块获得的可视化结果。7.如权利要求6所述的一种应用于消化内镜手术视频分析的器械检测方法，其特征在于，步骤s2中，所述器械检测模块通过深度神经网络yolov5检测输入的单张图像帧i
raw
中是否存在内镜器械。8.如权利要求7所述的一种应用于消化内镜手术视频分析的器械检测方法，其特征在于，步骤s2中，对深度神经网络yolov5进行训练时，训练集由包含p种不同类型的内镜器械的多张视频截图以及多张无器械的视频背景截图组成，由医生对训练集图片中的器械头边缘框进行标注。9.如权利要求6所述的一种应用于消化内镜手术视频分析的器械检测方法，其特征在于，步骤s3中，器械状态判别模块通过深度神经网络resnet判断内镜器械的器械状态。10.如权利要求6所述的一种应用于消化内镜手术视频分析的器械检测方法，其特征在于，步骤s4中，手术过程分析模块基于时间序列x
1:n
＝{x1,x2,
…
,x
n
}计算各器械在手术视频中的出现时间和占时，并以热力图的方式绘制可视化结果。
技术总结本发明的一个技术方案是提供了一种应用于消化内镜手术视频分析的器械检测系统，其特征在于，包括：内镜视频采集模块；器械检测模块；器械状态判别模块；手术过程分析模块；分析结果展示模块。本发明的另一个技术方案是提供了一种基于前述器械检测系统实现的应用于消化内镜手术视频分析的器械检测方法。本发明利用深度学习与计算机视觉技术，动态识别内镜器械的种类以及开闭状态。该系统和方法既可以用于在内镜手术过程中，实时检出以及鉴别器械，进而对手术过程进行实时的标注，也可用于回顾性地分析历史视频，观看者可以通过本系统定位至不同器械的操作过程。至不同器械的操作过程。至不同器械的操作过程。
技术研发人员：诸炎 杜玲 朱亮 李全林 周平红
受保护的技术使用者：复旦大学附属中山医院
技术研发日：2022.04.11
技术公布日：2022/7/5
