对医疗票据中关键信息的识别方法、系统、设备和介质与流程

allin2023-03-15  133



1.本技术涉及医疗技术领域,特别是涉及一种对医疗票据中关键信息的识别方法、系统、电子设备和存储介质。


背景技术:

2.目前,针对仅经过ocr(optical character recognition,光学字符识别)对医疗票据关键信息提取的文本信息是一种非结构化的信息,导致无法对通过简单的ocr对关键信息间的对应关系进行匹配,不方便医生阅读,从而使医生需要花费大量的时间和精力自己去查找关键信息,进而导致医生的诊疗效率较低。
3.对于医生无法需要花费大量的时间和精力自己去查找医疗票据的关键信息,进而导致医生的诊疗效率较低的问题,主要有两种解决方法:第一种是采用规则的方法,其根据文本坐标间的相对关系作为预定义的规则,但当图片发生倾斜或形变时就会失效,实用性低,第二种是采用模板匹配的方法进行关键信息的匹配,通过提前定义某种样式的模板,之后将ocr的结果与其进行对齐从而得到文本间的相对关系,虽然,可以提取都到文本间的相对关系,但是需要针对每种不同样式的医疗票据进行模板的制定,如此,不仅导致开发成本巨大,而且通用性较低。


技术实现要素:

4.本技术实施例提供了一种对医疗票据中关键信息的识别方法、系统、电子设备和存储介质,以至少解决相关技术中对医疗票据中关键信息的识别的速度低,进而导致医生的诊疗效率较低问题。
5.第一方面,本技术实施例提供了一种对医疗票据中关键信息的识别方法,所述方法包括以下步骤:获取医疗票据图片;通过深度学习算法将所述医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片;对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果;通过格式塔模式匹配算法将所述ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;根据所述项目名称对应的坐标值确定该项目名称对应的检验结果;通过匈牙利算法将所述项目名称与其对应的检验结果进行结构化处理,以将所述项目名称与其对应的检验结果进行关联;对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。
6.在其中一些实施例中,在所述深度学习算法为4分类模型的情况下,所述通过深度学习算法将所述医疗票据图片旋转至水平方向,得到旋转后的医疗票据图片包括:通过所述4分类模型判断所述医疗票据图片上文字内容的方向;
若所述文字内容的方向与预设文字方向不一致,旋转该医疗票据图片,使该医疗票据图片上文字内容的方向与预设文字方向一致,得到旋转后的医疗票据图片。
7.在其中一些实施例中,所述预设文字方向至少包括与水平方向成0度、90度、180度或270度的方向。
8.在其中一些实施例中,所述预设的项目名称字典的各行设有不同的检查项目名称,且所述预设的项目名称字典中各行的第一位置为每一检查项目对应的标准项目名称的情况下,所述对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称包括:获取各项目名称对应的标准项目名称;若各关联后的项目名称与其对应的标准项目名称不一致时,将关联后的项目名称替换为其对应的标准项目名称。
9.在其中一些实施例中,所述预设的项目名称字典中各行的其他位置至少还写有每行检查项目所对应的简称、别名和全称。
10.在其中一些实施例中,所述根据项目名称对应的坐标值确定该项目名称对应的检验结果包括:根据所述项目名称的纵坐标确定该项目名称对应的检验结果的横坐标的区间范围;基于所述ocr筛选出该横坐标的区间范围中所有的文本框;判断各文本框中的内容是否为数字;若否,过滤当前文本框;获取过滤后的文本框,将过滤后的文本框中的数字作为该项目名称对应的检验结果。
11.在其中一些实施例中,所述对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果之后,所述方法还包括:通过字符搜索算法对所述ocr处理进行分类,并根据分类结果确定该医疗票据的类型。
12.第二方面,本技术实施例提供了一种对医疗票据中关键信息的识别系统,所述系统包括:获取模块,用于获取医疗票据图片;旋转模块,用于通过深度学习算法将所述医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片;ocr处理模块,用于对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果;确定项目名称模块,用于通过格式塔模式匹配算法将所述ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;确定检验结果模块,用于根据所述项目名称对应的坐标值确定该项目名称对应的检验结果;结构化处理模块,用于通过匈牙利算法将所述项目名称与其对应的检验结果进行结构化处理,以将所述项目名称与其对应的检验结果进行关联;标准化处理模块,用于对关联后的项目名称进行标准化处理,得到项目名称对应
的标准项目名称。
13.第三方面,本技术实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
14.第四方面,本技术实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的方法。
15.相比于相关技术,本实施例无需针对每种不同样式的医疗票据专门制定模板,首先,获取医疗票据图片,然后,考虑到获取的医疗票据图片中的文字内容的方向可以是任一方向的,而ocr对于不同文字内容的图片识别速度不同,为了避免当图片发生倾斜或形变时就会造成ocr识别失效,进而影响医生诊疗效率的速度,所以,通过深度学习算法将医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片,旋转后的医疗票据图片更有利于ocr识别,然后,对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果,接着,又考虑到大部分医疗票据呈现表格化或结构化,而相关技术的技术方案中仅通过ocr对获取的医疗票据处理得到的文本信息是一种非结构化的信息,即无序的信息,不仅不利于医生提取关键信息(即项目名称以其对应的检验结果),而且还需要使医生花费大量的时间才能提取关键信息,进而,通过格式塔模式匹配算法将ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;由于格式塔模式匹配算法相较于其他传统的匹配算法的匹配速度更快,从而可以更快度的确定项目名称,再接着,根据项目名称对应的坐标值确定该项目名称对应的检验结果,通过匈牙利算法将项目名称与其对应的检验结果进行结构化处理,以将项目名称与其对应的检验结果进行关联;将项目名称与其对应的检验结果形成关联信息,不仅减少了人工成本,还可以方便医生查看关键信息,提高了实用性;最后,对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。以将项目名称统一成标准项目名称,相较于之前因不同医院对同一检查项目名称的不同,给医生造成阅读障碍的情况,本实施例更方便医生阅读,更利于提高了医生的诊疗效率,从而解决相关技术中对医疗票据中关键信息的识别的速度低,检查项目名称的不统一,进而导致医生的诊疗效率较低问题,另外,本实施例通过上述各步骤之间的配合,整体上提高了对医疗票据中关键信息的识别的速度,相较于之前需要专门针对不同样式的医疗票据专门制定模板,才能基于该制定模板对关键信息的匹配的方法,开发成本高且通用性低的情况,本技术无需针对每种不同样式的医疗票据专门制定模板,就实现对医疗票据中项目名称及其相应检验结果(即关键信息)快速准确地匹配,既能降低了开发成本,还提高了通用性。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:图1是本技术实施例的一种对医疗票据中关键信息的识别方法的第一流程示意图;图2是本技术实施例的一张医疗票据的示意图;图3是本技术实施例的对关联后的标准项目名称和检验结果的一个示意图;
图4是本技术实施例中各预设文字方向的角度的示意图;图5是本技术实施例的预设的项目名称字典的第一示意图;图6是本技术实施例的预设的项目名称字典的第二示意图;图7是根据本技术实施例的对医疗票据中关键信息的识别系统的结构框图;图8是根据本技术实施例的电子装置的内部结构示意图。
具体实施方式
17.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。基于本技术提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本技术公开的内容相关的本领域的普通技术人员而言,在本技术揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本技术公开的内容不充分。
18.在本技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本技术所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
19.除非另作定义,本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
20.本发明提出一种对医疗票据中关键信息的识别方法。
21.图1是本技术实施例的一种对医疗票据中关键信息的识别方法的第一流程示意图,图2是本技术实施例的一张医疗票据的示意图,图3是本技术实施例的对关联后的标准项目名称和检验结果的一个示意图,参照图1至图3,在本发明一实施例中,本发明提出的对医疗票据中关键信息的识别方法,可以应用于帮助医生对医疗票据中关键信息的识别的场景中,该方法包括以下步骤:步骤s101,获取医疗票据图片;其中,获取的医疗票据图片既可以是用户上长传的电子版本的医疗票据图片,也可以是纸质的医疗票据,此处不做具体限定;步骤s102,通过深度学习算法将医疗票据图片中的文字内容的方向旋转至预设文
字方向,得到旋转后的医疗票据图片;由于获取的医疗票据图片中的文字内容的方向可以是任一方向的,而ocr对于不同文字内容的图片识别速度不同,在有些场景下,当图片发生倾斜或形变时就会造成ocr识别失效,进而影响医生诊疗效率的速度,本技术通过深度学习算法将医疗票据图片中的文字内容的方向旋转至预设文字方向,不仅可以防止后续的ocr识别失效情况,还可以加快后续ocr的处理速度,从而提高了医生诊疗效率;另外,本实施例中,预设文字方向可以是水平方向,当然在其他实施例中,也可以是更易于ocr处理的其他方向,此处不做具体限定。
22.其中,本实施例中的深度学习算法的可以采用各种网络模型来实现,此处不做具体限定;步骤s103,对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果;其中,ocr处理结果至少包括若干文字内容和其文字内容对应的坐标值;例如,ocr处理结果的伪代码如下:{
ꢀꢀꢀꢀ
"version": "1.1.0",
ꢀꢀꢀꢀ
"width": 1463,
ꢀꢀꢀꢀ
"height": 1111,
ꢀꢀꢀꢀ
"type": "检查报告单",
ꢀꢀꢀꢀ
"wordsinfo": [
ꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"word": "中国医学科学院皮肤病医院检验报告单",
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"pos": [
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 473,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 77
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 1073,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 74
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 1073,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 109
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 473,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 112
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
],
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 473,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 77,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"width": 600,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"height": 35
ꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"word": "姓名:某某",
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"pos": [
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 131,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 183
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 278,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 186
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 277,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 218
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 130,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 215
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
],
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"x": 131,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"y": 183,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"width": 147,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"height": 32
ꢀꢀꢀꢀꢀꢀꢀꢀ
}
ꢀꢀꢀꢀ
],
ꢀꢀꢀꢀ
"itemsresu": [
ꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"白细胞计数": 6.53
ꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"血小板计数": 291.0
ꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"淋巴细胞计数": 2.3
ꢀꢀꢀꢀꢀꢀꢀꢀ
},
ꢀꢀꢀꢀꢀꢀꢀꢀ
{
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
"血红蛋白": 140.0
ꢀꢀꢀꢀꢀꢀꢀꢀ
}
ꢀꢀꢀꢀ
]}其中,word为文字识别结果,pos为文字检测结果,itemsresu为最终形成的键值对(即经过匈牙利匹配算法、字典标准化项目名称后的输出),x和y分别为文字检测结果对应的横坐标和纵坐标。另外,由于本领域技术人员知道ocr是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程,因此,此处不在一一赘述。
[0023]
步骤s104,通过格式塔模式匹配算法(gestalt)将ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;由于格式塔模式匹配算法相较于其他传统的匹配算法的匹配速度更快,从而可以更快度的确定项目名称。另外,由于本领域技术人员知道格式塔模式匹配算法的工作原理,因此,此处不在一一赘述。
[0024]
步骤s105,根据项目名称对应的坐标值确定该项目名称对应的检验结果;步骤s106,通过匈牙利算法(hungarian algorithm,简称匈牙利法)将项目名称与其对应的检验结果进行结构化处理,以将项目名称与其对应的检验结果进行关联;得到的关联结果,且关联结果在软件程序上以键值对的形式体现。
[0025]
由于大部分医疗票据呈现表格化或结构化,而相关技术的技术方案中仅通过ocr对获取的医疗票据处理得到的文本信息是一种非结构化的信息,即无序的信息,不仅不利于医生提取关键信息(即项目名称以其对应的检验结果),而且还需要使医生花费大量的时间才能提取关键信息,本步骤,将项目名称与其对应的检验结果形成关联信息,不仅减少了人工成本,还可以方便医生查看关键信息,从而使医生能够快速的给出相应的治疗方案,提高实用性;另外,本实施例采用匈牙利算法的好处为:在gpu下的推理速度为700~800毫秒/1张图,也就是说,最终的匹配度基本可达100%,经过测试,即使是不经过步骤s102处理,在获取的医疗票据图片中的文字内容的方向与预设文字方向之间的角度在30度以内,仍然可以保证80%的匹配度,从而实现高效、快速的进行结构化处理。
[0026]
步骤s107,对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。相较于之前因不同医院对同一检查项目名称的不同,给医生造成阅读障碍的情况,本实施例,一方面,将项目名称统一成标准项目名称,方便医生阅读。另一方面,相较于之前需要专门针对不同样式的医疗票据专门制定模板,导致开发成本高且通用性低的情况,本技术无需针对每种不同样式的医疗票据专门制定模板,就实现对医疗票据中项目名称及其相应检验结果快速准确地匹配,既能降低了开发成本,还提高了通用性。易于理解的是,标准项目名称为本领域(医疗领域)的规范化的命名方式;通过上述步骤s101至步骤s107,本实施例无需针对每种不同样式的医疗票据专门制定模板,首先,获取医疗票据图片,然后,考虑到获取的医疗票据图片中的文字内容的方向可以是任一方向的,而ocr对于不同文字内容的图片识别速度不同,为了避免当图片发生倾斜或形变时就会造成ocr识别失效,进而影响医生诊疗效率的速度,所以,通过深度学习
算法将医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片,旋转后的医疗票据图片更有利于ocr识别,然后,对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果,接着,又考虑到大部分医疗票据呈现表格化或结构化,而相关技术的技术方案中仅通过ocr对获取的医疗票据处理得到的文本信息是一种非结构化的信息,即无序的信息,不仅不利于医生提取关键信息(即项目名称以其对应的检验结果),而且还需要使医生花费大量的时间才能提取关键信息,进而,通过格式塔模式匹配算法将ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;由于格式塔模式匹配算法相较于其他传统的匹配算法的匹配速度更快,从而可以更快度的确定项目名称,再接着,根据项目名称对应的坐标值确定该项目名称对应的检验结果,通过匈牙利算法将项目名称与其对应的检验结果进行结构化处理,以将项目名称与其对应的检验结果进行关联;将项目名称与其对应的检验结果形成关联信息,不仅减少了人工成本,还可以方便医生查看关键信息,提高了实用性;最后,对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。以将项目名称统一成标准项目名称,相较于之前因不同医院对同一检查项目名称的不同,给医生造成阅读障碍的情况,本实施例更方便医生阅读,更利于提高了医生的诊疗效率,从而解决相关技术中对医疗票据中关键信息的识别的速度低,检查项目名称的不统一,进而导致医生的诊疗效率较低问题,另外,本实施例通过上述各步骤之间的配合,整体上提高了对医疗票据中关键信息的识别的速度,相较于之前需要专门针对不同样式的医疗票据专门制定模板,才能基于该制定模板对关键信息的匹配的方法,开发成本高且通用性低的情况,本技术无需针对每种不同样式的医疗票据专门制定模板,就实现对医疗票据中项目名称及其相应检验结果(即关键信息)快速准确地匹配,既能降低了开发成本,还提高了通用性。
[0027]
为了避免当获取医疗票据图片发生倾斜或形变时就会造成ocr识别失效,在其中一些实施例中,在深度学习算法为4分类模型的情况下,通过深度学习算法将医疗票据图片旋转至水平方向,得到旋转后的医疗票据图片包括如下步骤:通过4分类模型判断医疗票据图片上文字内容的方向;若文字内容的方向与预设文字方向不一致,旋转该医疗票据图片,使该医疗票据图片上文字内容的方向与预设文字方向一致,得到旋转后的医疗票据图片。如此,方便后续进行ocr识别。
[0028]
需要说明的是,本实施例中4分类模型的采用moiblenets系列模型来实现,其中,moiblenets系列模型包括moiblenetv1、moiblenetv2、mobilenetv3
……
等,本实施例中采用的moiblenets系列模型为轻量化的模型、不仅参数量少而且计算量也小,因此其运行速度快,有利于加快文字方向的判断速度,当然在其他实施例中也可以采用其他文字分类速度更快的网络模型来实现,此处不做具体限定。
[0029]
图4是本技术实施例中各预设文字方向的角度的示意图,如图4所示,由于各医院的医疗票据中文字方向不同,为了提高适用性,在另一实施例中,预设文字方向至少包括与水平方向成0度、90度、180度或270度的方向。当然在其他实施例中,本领域技术人员也可以通过一些软件程序或算法方便的预设文字方向修改为其他,此处不做具体限定。
[0030]
图5是本技术实施例的预设的项目名称字典的第一示意图,图6是本技术实施例的预设的项目名称字典的第二示意图,如图5和图6所示,考虑到各个医院对于同一个检查项
目的叫法不同,在其中一些实施例中,预设的项目名称字典的各行设有不同的检查项目名称,且预设的项目名称字典中各行的第一位置为每一检查项目对应的标准项目名称的情况下,对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称包括如下步骤:获取各项目名称对应的标准项目名称;若各关联后的项目名称与其对应的标准项目名称不一致时,将关联后的项目名称替换为其对应的标准项目名称。如此,将各检查项目的名称同一成标准项目名称,方便医生查看。
[0031]
需要说明的是,第一位置可以是项目名称字典的各行中的第一个位置,也可以是第二个位置、第三个位置
……
,甚至是第n个位置(n为正整数),将每一检查项目对应的标准项目名称设置于各行的上述第一位置均在本技术保护的范围内。
[0032]
进一步地,考虑到医疗票据中的项目名称因不同医院而存在多样性,在其中一些实施例中,预设的项目名称字典中各行的其他位置至少还写有每行检查项目所对应的简称、别名和全称。易于理解的是,除了各行第一位置的位置均称其他位置均称为其他位置,其他位置的个数不做具体限定,用户可以根据实际需求不断地增加或删除,此处不做具体限定。
[0033]
参考图2,考虑到检验结果检查结果都为数字,在其中一些实施例中,根据项目名称对应的坐标值(坐标值包括横坐标和纵坐标)确定该项目名称对应的检验结果包括如下步骤:根据项目名称的纵坐标确定该项目名称对应的检验结果的横坐标的区间范围;基于ocr筛选出该横坐标的区间范围中所有的文本框;判断各文本框中的内容是否为数字;若否,过滤当前文本框;获取过滤后的文本框,将过滤后的文本框中的数字作为该项目名称对应的检验结果。也就是说,由于结构化处理后的项目名称与检验结果成行列排列,项目名称与检验结果的纵坐标是相同的,已知项目名称纵坐标的情况下,根据目标项目名称的纵坐标可以定位到检验结果的横坐标区间,将符合该横区间的所有文本框都筛选出来,筛选出的文本框中文本内容不是数字的再次过滤掉,剩下的文本框即为检验结果所在位置,从而快速的得到该项目名称对应的检验结果。
[0034]
为了方便对医疗票据进行类型,在其中一些实施例中,对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果之后,该方法还包括如下步骤:通过字符搜索算法对ocr处理进行分类,并根据分类结果确定该医疗票据的类型。当然在一些其他实施例中,字符搜索算法也可以调换为其他分类速度更快的算法或模型,此处不做具体限定,由于本领域知道字符搜索算法的工作原理,此处不在一一赘述。
[0035]
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0036]
本实施例还提供了一种对医疗票据中关键信息的识别系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单
元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
[0037]
图7是根据本技术实施例的对医疗票据中关键信息的识别系统的结构框图,如图7所示,该系统包括:获取模块71,用于获取医疗票据图片;旋转模块72,用于通过深度学习算法将医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片;ocr处理模块73,用于对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果;确定项目名称模块74,用于通过格式塔模式匹配算法将ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;确定检验结果模块75,用于根据项目名称对应的坐标值确定该项目名称对应的检验结果;结构化处理模块76,用于通过匈牙利算法将项目名称与其对应的检验结果进行结构化处理,以将项目名称与其对应的检验结果进行关联;标准化处理模块77,用于对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。本实施例无需针对每种不同样式的医疗票据专门制定模板,首先,获取医疗票据图片,然后,考虑到获取的医疗票据图片中的文字内容的方向可以是任一方向的,而ocr对于不同文字内容的图片识别速度不同,为了避免当图片发生倾斜或形变时就会造成ocr识别失效,进而影响医生诊疗效率的速度,所以,通过深度学习算法将医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片,旋转后的医疗票据图片更有利于ocr识别,然后,对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果,接着,又考虑到大部分医疗票据呈现表格化或结构化,而相关技术的技术方案中仅通过ocr对获取的医疗票据处理得到的文本信息是一种非结构化的信息,即无序的信息,不仅不利于医生提取关键信息(即项目名称以其对应的检验结果),而且还需要使医生花费大量的时间才能提取关键信息,进而,通过格式塔模式匹配算法将ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;由于格式塔模式匹配算法相较于其他传统的匹配算法的匹配速度更快,从而可以更快度的确定项目名称,再接着,根据项目名称对应的坐标值确定该项目名称对应的检验结果,通过匈牙利算法将项目名称与其对应的检验结果进行结构化处理,以将项目名称与其对应的检验结果进行关联;将项目名称与其对应的检验结果形成关联信息,不仅减少了人工成本,还可以方便医生查看关键信息,提高了实用性;最后,对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。以将项目名称统一成标准项目名称,相较于之前因不同医院对同一检查项目名称的不同,给医生造成阅读障碍的情况,本实施例更方便医生阅读,更利于提高了医生的诊疗效率,从而解决相关技术中对医疗票据中关键信息的识别的速度低,检查项目名称的不统一,进而导致医生的诊疗效率较低问题,另外,本实施例通过上述各步骤之间的配合,整体上提高了对医疗票据中关键信息的识别的速度,相较于之前需要专门针对不同样式的医疗票据专门制定模板,才能基于该制定模板对关键信息的匹配的方法,开发成本高且通用性低的情况,本技术无需针对每种不同样式的医疗票据专门制定模板,就实现对医疗票据中项目名称及其相应检验结果(即关键信息)快速准确地匹配,既能降低了开发成本,还提高了通
用性。
[0038]
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0039]
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0040]
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
[0041]
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:步骤s101,获取医疗票据图片;步骤s102,通过深度学习算法将医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片;步骤s103,对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果;步骤s104,通过格式塔模式匹配算法将ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;步骤s105,根据项目名称对应的坐标值确定该项目名称对应的检验结果;步骤s106,通过匈牙利算法将项目名称与其对应的检验结果进行结构化处理,以将项目名称与其对应的检验结果进行关联;步骤s107,对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。
[0042]
另外,结合上述实施例中的对医疗票据中关键信息的识别方法,本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种对医疗票据中关键信息的识别方法。
[0043]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对医疗票据中关键信息的识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0044]
在一个实施例中,图8是根据本技术实施例的电子装置的内部结构示意图,如图8所示,提供了一种电子装置,该电子装置可以是服务器,其内部结构图可以如图8所示。该电子装置包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种对医疗票据中关键信息的识别方
法,数据库用于存储数据。
[0045]
本领域技术人员可以理解,图8中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的电子装置的限定,具体的电子装置可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0046]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0047]
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0048]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。

技术特征:
1.一种对医疗票据中关键信息的识别方法,其特征在于,所述方法包括:获取医疗票据图片;通过深度学习算法将所述医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片;对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果;通过格式塔模式匹配算法将所述ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;根据所述项目名称对应的坐标值确定该项目名称对应的检验结果;通过匈牙利算法将所述项目名称与其对应的检验结果进行结构化处理,以将所述项目名称与其对应的检验结果进行关联;对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。2.根据权利要求1所述的方法,其特征在于,在所述深度学习算法为4分类模型的情况下,所述通过深度学习算法将所述医疗票据图片旋转至水平方向,得到旋转后的医疗票据图片包括:通过所述4分类模型判断所述医疗票据图片上文字内容的方向;若所述文字内容的方向与预设文字方向不一致,旋转该医疗票据图片,使该医疗票据图片上文字内容的方向与预设文字方向一致,得到旋转后的医疗票据图片。3.根据权利要求2所述的方法,其特征在于,所述预设文字方向至少包括与水平方向成0度、90度、180度或270度的方向。4.根据权利要求1所述的方法,其特征在于,所述预设的项目名称字典的各行设有不同的检查项目名称,且所述预设的项目名称字典中各行的第一位置为每一检查项目对应的标准项目名称的情况下,所述对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称包括:获取各项目名称对应的标准项目名称;若各关联后的项目名称与其对应的标准项目名称不一致时,将关联后的项目名称替换为其对应的标准项目名称。5.根据权利要求4所述的方法,其特征在于,所述预设的项目名称字典中各行的其他位置至少还写有每行检查项目所对应的简称、别名和全称。6.根据权利要求1所述的方法,其特征在于,所述根据项目名称对应的坐标值确定该项目名称对应的检验结果包括:根据所述项目名称的纵坐标确定该项目名称对应的检验结果的横坐标的区间范围;基于所述ocr筛选出该横坐标的区间范围中所有的文本框;判断各文本框中的内容是否为数字;若否,过滤当前文本框;获取过滤后的文本框,将过滤后的文本框中的数字作为该项目名称对应的检验结果。7.根据权利要求1所述的方法,其特征在于,所述对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果之后,所述方法还包括:通过字符搜索算法对所述ocr处理进行分类,并根据分类结果确定该医疗票据的类型。8.一种对医疗票据中关键信息的识别系统,其特征在于,包括:
获取模块,用于获取医疗票据图片;旋转模块,用于通过深度学习算法将所述医疗票据图片中的文字内容的方向旋转至预设文字方向,得到旋转后的医疗票据图片;ocr处理模块,用于对旋转后的医疗票据图片进行ocr处理,得到ocr处理结果;确定项目名称模块,用于通过格式塔模式匹配算法将所述ocr处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称;确定检验结果模块,用于根据所述项目名称对应的坐标值确定该项目名称对应的检验结果;结构化处理模块,用于通过匈牙利算法将所述项目名称与其对应的检验结果进行结构化处理,以将所述项目名称与其对应的检验结果进行关联;标准化处理模块,用于对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称。9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的方法。10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的方法。

技术总结
本申请涉及一种对医疗票据中关键信息的识别方法、系统、装置和介质,该方法包括获取医疗票据图片,通过深度学习算法将医疗票据图片中的文字内容的方向旋转至预设文字方向,对旋转后的医疗票据图片进行OCR处理,通过格式塔模式匹配算法将OCR处理结果中的文字内容与预设的项目名称字典进行匹配,并根据匹配结果确定项目名称,根据项目名称对应的坐标值确定该项目名称对应的检验结果,通过匈牙利算法将项目名称与其对应的检验结果进行结构化处理,以将项目名称与其对应的检验结果进行关联,对关联后的项目名称进行标准化处理,得到项目名称对应的标准项目名称,本申请既能降低了开发成本,还提高了通用性同时还提高了识别关键信息的速度。的速度。的速度。


技术研发人员:张靖 张伟 崔涛 贺扬
受保护的技术使用者:杭州咏柳科技有限公司
技术研发日:2022.05.25
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-6100.html

最新回复(0)