1.本发明涉及图像识别技术领域，尤其涉及一种评测方法和装置、计算机设备、存储介质。
背景技术：2.目前，通过ocr、nlp等方法对图像中的内容进行识别，并将识别得到的数据值与标注数据值进行比对，从而得到对应图像的比对结果，进而根据该比对结果实现对图像识别算法性能的评测。
3.在上述方法中，图像识别算法性能的评测方法包括识别测试流程和比对流程。因此，当对标注数据值进行调整或修改时，需从识别测试流程开始重复执行整个评测方法，从而影响了图像识别算法性能的评测效率。
技术实现要素：4.本技术实施例的主要目的在于提出一种评测方法和装置、计算机设备、存储介质，能够提高识别测试算法的评测效率。
5.为实现上述目的，本技术实施例的第一方面提出了一种评测方法，包括：
6.在测试环境中，读取标注数据文件的原始标注信息；其中，所述标注数据文件标注有至少两个目标保单的原始标注信息，所述原始标注信息包括每一所述目标保单的读取地址、分类字段、至少两个标注字段，每一个所述标注字段包括位置信息和字段数据值；
7.根据所述标注数据文件创建测试文件；其中，所述测试文件包括测试标注信息，所述测试标注信息为对所述原始标注信息进行所述字段数据值清除得到；
8.根据所述测试文件中的读取地址获取测试结果数据值；其中，所述测试结果数据值由对所述测试文件进行保单识别测试得到，所述测试结果数据值用于表征所述目标保单的识别结果；
9.将所述测试结果数据值添加至所述测试文件，得到测试结果文件；
10.对所述标注数据文件和所述测试结果文件进行合并处理，得到目标文件；
11.在计算环境中，获取所述目标文件中的所述测试结果数据值和所述字段数据值，并根据所述位置信息将获取到的所述测试结果数据值与所述字段数据值进行比对，得到比对结果；
12.根据所述比对结果计算得到召回率和精确率；其中，所述召回率和所述精确率用于对所述保单识别测试进行评测。
13.在一些实施例中，所述分类字段包括一级字段和二级字段，每一所述一级字段对应至少一个所述二级字段，每一所述二级字段对应其中一个所述字段数据值；所述一级字段携带有读取标识；
14.所述根据所述测试文件中的读取地址获取测试结果数据值，包括：
15.读取所述测试文件中所述一级字段的所述读取标识；
16.根据所述读取标识和所述读取地址对所述测试文件进行保单识别测试，得到与所述一级字段对应的所述测试结果数据值。
17.在一些实施例中，所述二级字段携带有比对标识；
18.所述根据所述位置信息将获取到的所述测试结果数据值与所述字段数据值进行比对，得到比对结果，包括：
19.读取所述目标文件中所述二级字段的所述比对标识，并读取所述目标文件中所述一级字段的所述读取标识；
20.根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果；其中，所述比对结果包括识别准确、识别错误、漏识别、多识别的任一种。
21.在一些实施例中，所述读取标识包括多属性标识，所述比对标识包括相似度比对标识；将与同一个所述一级字段对应的多个所述字段数据值作为一组标注组，将与同一个所述一级字段对应的多个所述测试结果数据值作为一组测试组；
22.所述根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果，包括：
23.若所述读取标识为所述多属性标识、所述比对标识为所述相似度比对标识，则根据所述位置信息，将多个待测数据值与对应的字段数据值进行比对，得到多个比对相似度值；其中，将与同一类所述二级字段对应的多个所述测试结果数据值作为所述待测数据值；
24.对多个所述比对相似度值进行比较，得到最大相似度值；
25.若所述最大相似度值大于预设的第一阈值，则所述比对结果为所述识别准确；其中，将与所述最大相似度值对应的所述字段数据值作为第一目标标注数据值，将与所述最大相似度值对应的所述待测数据值作为第一目标测试数据值；
26.获取所述第一目标标注数据值对应的第一子标注组，根据所述第一子标注组和所述第一目标标注数据值获取第二目标标注数据值；其中，所述第二目标标注数据值与所述第一目标标注数据值对应同一个所述第一子标注组；
27.获取所述第一目标测试数据值对应的第一子测试组，根据所述第一子测试组和所述第一目标测试数据值获取第二目标测试数据值；其中，所述第二目标测试数据值与所述第一目标测试数据值对应同一个所述第一子测试组；
28.根据所述位置信息，将所述第二目标测试数据值与所述第二目标标注数据值进行比对，得到所述比对结果。
29.在一些实施例中，所述根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果，还包括：
30.若所述最大相似度值大于预设的第二阈值，则所述比对结果为所述识别错误；其中，所述第二阈值小于所述第一阈值，将与所述最大相似度值对应的所述字段数据值作为第三目标标注数据值，将与所述最大相似度值对应的所述待测数据值作为第三目标测试数据值；
31.获取所述第三目标标注数据值对应的第二子标注组，根据所述第二子标注组和所述第三目标标注数据值获取第四目标标注数据值；其中，所述第四目标标注数据值与所述第三目标标注数据值对应同一个所述第二子标注组；
32.获取所述第三目标测试数据值对应的第二子测试组，根据所述第二子测试组和所述第三目标测试数据值获取第四目标测试数据值；其中，所述第四目标测试数据值与所述第三目标测试数据值对应同一个所述第二子测试组；
33.根据所述位置信息，将所述第四目标测试数据值与所述第四目标标注数据值进行比对，得到所述比对结果。
34.在一些实施例中，所述根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果，还包括：
35.若所述最大相似度值小于所述第二阈值，则所述比对结果为所述识别错误；其中，将与所述最大相似度值对应的所述字段数据值作为第五目标标注数据值，将与所述最大相似度值对应的所述待测数据值作为第五目标测试数据值；
36.获取所述第五目标测试数据值对应的第三子标注组，根据所述第三子标注组获取待测标注组；其中，所述待测标注组与所述第三子标注组对应同一类所述一级字段；
37.获取所述第五目标测试数据值对应的第三子测试组，根据所述第三子测试组和所述第五目标测试数据值获取第六目标测试数据值；其中，所述第六目标测试数据值与所述第五目标测试数据值对应同一个所述第三子测试组；
38.根据所述位置信息，将所述第六目标测试数据值与所述待测标注组中的所述字段数据值进行遍历比对，得到最大遍历相似度值；
39.根据所述最大遍历相似度值得到所述比对结果。
40.在一些实施例中，所述根据所述比对结果计算得到召回率和精确率，包括：
41.获取所述比对结果为所述识别准确的识别准确数量、所述比对结果为所述识别错误的识别错误数量、所述比对结果为所述漏识别的漏识别数量、所述识别结果为所述多识别的多识别数量；
42.根据所述识别准确数量、所述识别错误数量和所述漏识别数量计算得到所述召回率；
43.根据所述识别准确数量、所述识别错误数量和所述多识别数量计算得到所述精确率。
44.为实现上述目的，本技术实施例的第二方面提出了一种评测装置，包括：
45.测试执行模块，用于在测试环境中执行；
46.读取标注数据文件的原始标注信息；其中，所述标注数据文件标注有至少两个目标保单的原始标注信息，所述原始标注信息包括每一所述目标保单的读取地址、分类字段、至少两个标注字段，每一个所述标注字段包括位置信息和字段数据值；
47.根据所述标注数据文件创建测试文件；其中，所述测试文件包括测试标注信息，所述测试标注信息为对所述原始标注信息进行所述字段数据值清除得到；
48.根据所述测试文件中的读取地址获取测试结果数据值；其中，所述测试结果数据值由对所述测试文件进行保单识别测试得到，所述测试结果数据值用于表征所述目标保单的识别结果；
49.将所述测试结果数据值添加至所述测试文件，得到测试结果文件；
50.对所述标注数据文件和所述测试结果文件进行合并处理，得到目标文件；
51.计算模块，用于在计算环境中执行；
52.获取所述目标文件中的所述测试结果数据值和所述字段数据值，并根据所述位置信息将获取到的所述测试结果数据值与所述字段数据值进行比对，得到比对结果；
53.根据所述比对结果计算得到召回率和精确率；其中，所述召回率和所述精确率用于对所述目标保单的识别结果进行评测。
54.为实现上述目的，本公开实施例的第三方面提出了一种计算机设备，包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时所述处理器用于执行：
55.如第一方面所述的评测方法。
56.为实现上述目的，本技术实施例的第四方面还提出一种存储介质，所述计算机可读存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：
57.如第一方面所述的评测方法。
58.本技术实施例提供的评测方法和装置、计算机设备、存储介质，通过在测试环境中对目标保单进行保单识别测试，得到每一个目标保单对应的测试结果数据值。通过在计算环境中对测试结果数据值和字段数据值进行比对，得到用于对保单识别测试进行评测的召回率和精确率。由此可知，本技术实施例提供的评测方法将识别测试流程和比对流程分别设置于两个独立的环境中，因此，当对字段数据值进行调整时，只需再次执行设置于计算环境中的比对流程，从而避免了相关技术中需重复执行识别测试流程和比对流程的操作，进而提高了对保单识别测试的评测效率。
附图说明
59.图1是本技术实施例评测方法的一流程示意图；
60.图2是本技术实施例标注数据文件的一示意图；
61.图3是本技术实施例步骤s130的具体方法的一流程示意图；
62.图4是本技术实施例一级字段与二级字段对应关系示意图；
63.图5是本技术实施例步骤s160的具体方法的一流程示意图；
64.图6a是本技术实施例标注数据文件的另一示意图；
65.图6b是本技术实施例测试结果文件的一示意图；
66.图7是本技术实施例步骤s162的具体方法的一流程示意图；
67.图8是本技术实施例步骤s162的具体方法的另一流程示意图；
68.图9是本技术实施例步骤s162的具体方法的另一流程示意图；
69.图10是本技术实施例步骤s162的具体方法的另一流程示意图；
70.图11是本技术实施例评测装置的一示意图；
71.图12是本技术实施例电子设备的一硬件结构示意图。
具体实施方式
72.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
73.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻
辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
74.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
75.首先，对本技术中涉及的若干名词进行解析：
76.光学字符识别(optical character recognition，ocr)：ocr是指电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成对应文字的过程。对应的，ocr文字识别指利用ocr技术，将图像、照片上的文字内容，直接转换为可编辑文本的过程。
77.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
78.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
79.召回率，指针对样本而言，样本中的正类被预测正确的概率。其中，预测结果包括两种可能，一种是将原本的正类预测为正类(tp)，另一种是将原本的正类预测为负类(fn)。因此，召回率r可通过如下式(1)计算得到：
[0080][0081]
精确率，指针对预测结果而言，预测结果为正类的样本中原本即为正类的概率。其中，预测结果包括两种可能，一种是将原本的正类预测为正类(tp)，另一种是将原本的负类预测为正类(fp)。因此，精确率p可通过如下式(2)计算得到：
[0082][0083]
以保单为例，相关技术中，对电子保单的图像或纸质保单拍摄后生成的图像进行ocr文字识别，以及nlp字段提取，以得到与保单内容对应的测试结果数据值，从而实现对保单数据的统计分析。其中，通过召回率和精确率这两个指标实现对保单识别测试算法性能的评测。
[0084]
本技术实施例提供的评测方法和装置、计算机设备、存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的评测方法。
[0085]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0086]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0087]
本技术实施例提供的评测方法，涉及人工智能技术领域，尤其涉及图像识别技术领域。本技术实施例提供的评测方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等；服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现评测方法的应用等，但并不局限于以上形式。
[0088]
本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的历程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0089]
下面结合附图对本技术的实施例做进一步阐述。
[0090]
参照图1，第一方面本技术实施例提供了一种评测方法，该评测方法包括但不限于有步骤s110至s170。
[0091]
s110、在测试环境中，读取标注数据文件的原始标注信息；其中，标注数据文件标注有至少两个目标保单的原始标注信息，原始标注信息包括每一目标保单的读取地址、分类字段、至少两个标注字段，每一个标注字段包括位置信息和字段数据值；
[0092]
具体地，测试环境用于表征对目标保单执行识别测试流程的软件环境、硬件环境等。根据至少两个目标保单，以及与该目标保单对应的原始标注信息构建标注数据文件。其中，目标保单表示待识别测试对象，原始标注信息包括目标保单的读取地址、通过人工标注等方式得到的字段数据值，以及用于对各个字段数据值进行分类标识的分类字段。
[0093]
可以理解的是，标注数据文件包括文本格式、表格格式等。在本技术实施例及下列各实施例中，以标注数据文件为excel表格格式为例进行具体说明。参照图2，将目标保单的读取地址设置于该标注数据文件中的首列，将分类字段设置于该标注数据文件中的首行，将字段数据值(如图2中的“xxx”)与对应的目标保单设置于同一行。因此，通过字段数据值
对应的目标保单和分类字段，可以得到以(行，列)形式表示的位置信息。
[0094]
可以理解的是，当标注数据文件为excel表格格式时，读取地址可以为对应目标保单的超链接或目标保单的存储地址。其次，还可以将目标保单直接以图像格式设置于标注数据文件中。待识别测试对象还可以包括票据、证件、发票、合同等，对此本技术实施例不做具体限定。
[0095]
s120、根据标注数据文件创建测试文件；其中，测试文件包括测试标注信息，测试标注信息为对原始标注信息进行字段数据值清除得到；
[0096]
s130、根据测试文件中的读取地址获取测试结果数据值；其中，测试结果数据值由对测试文件进行保单识别测试得到，测试结果数据值用于表征目标保单的识别结果；
[0097]
s140、将测试结果数据值添加至测试文件，得到测试结果文件；
[0098]
s150、对标注数据文件和测试结果文件进行合并处理，得到目标文件；
[0099]
具体地，根据读取到的标注数据文件复制创建新工作表，并将该新工作表中的字段数据值删除，以形成测试文件。调用保单识别测试接口，根据读取地址对该测试文件中的目标保单进行测试。其中，根据读取地址获取对应目标保单的图像，通过ocr文字识别、nlp字段提取等方式对该图像进行处理分析，以得到用于表征每一个目标保单识别结果的测试结果数据值。对该测试结果数据值进行解析归类，即获取该测试结果数据值所表示的保单内容，从而确定该测试结果数据值对应的分类字段。根据分类字段将该测试结果数据值添加至对应目标保单所在行。根据上述方法对测试文件中的所有目标保单进行遍历测试，以得到包含目标保单识别结果(即测试结果数据值)的测试结果文件。创建包含测试结果文件和标注数据文件的目标文件，即目标文件包括两张工作表。
[0100]
可以理解的是，为了便于问题定位，还可以将过程数据值添加至测试结果文件中。其中，过程数据值包括对应目标保单数据的所有测试结果数据值、像素位置信息等。例如，将每一个目标保单对应的过程数据值添加至测试结果文件最后列的一个单元格中。
[0101]
s160、在计算环境中，获取目标文件中的测试结果数据值和字段数据值，并根据位置信息将获取到的测试结果数据值与字段数据值进行比对，得到比对结果；
[0102]
s170、根据比对结果计算得到召回率和精确率；其中，召回率和精确率用于对保单识别测试进行评测。
[0103]
具体地，计算环境用于表征对目标保单执行比对流程的软件环境、硬件环境等。读取根据上述方法创建得到的目标文件，获取该目标文件中测试结果数据值，以及与测试结果数据值具有相同位置信息的字段数据值。根据测试结果数据值对应的分类字段的属性，将该测试结果数据值与该字段数据值进行完全比对或相似度比对，以得到比对结果。其中，完全比对表示测试结果数据值和字段数据值需完全匹配；相似度比对表示允许测试结果数据值与字段数据值存在差异。根据上述比对方法对目标文件中的所有测试结果数据值进行遍历比对，以得到多个比对结果。根据多个比对结果分别计算得到召回率和精确率，其中，召回率和精确率用于对识别测试流程中所执行的识别测试算法进行评测。
[0104]
可以理解的是，比对结果可以以数值、字体颜色、背景颜色、背景底纹、图形标识等形式显示。以背景颜色为例，在计算环境中，初始化测试结果文件中所有测试结果数据值对应的单元格填充白色背景，根据比对结果将测试结果文件中对应测试结果数据值的单元格填充预设颜色。统计每一种预设颜色的数量，根据该数量计算得到召回率和精确率。
[0105]
可以理解的是，还可以在目标文件中创建新工作表，以形成测试报告文件，即测试报告文件包括三张工作表。其中，新工作表用于记录统计得到的每一种预设颜色对应数量，以及记录计算得到的召回率和精确率。
[0106]
本技术实施例提供的评测方法，通过在测试环境中对目标保单进行保单识别测试，得到每一个目标保单对应的测试结果数据值。通过在计算环境中对测试结果数据值和字段数据值进行比对，得到用于对保单识别测试进行评测的召回率和精确率。由此可知，本技术实施例提供的评测方法将识别测试流程和比对流程分别设置于两个独立的环境中，因此，当对字段数据值进行调整时，只需再次执行设置于计算环境中的比对流程，从而避免了相关技术中需重复执行识别测试流程和比对流程的操作，进而提高了对保单识别测试的评测效率。
[0107]
参照图3，在一些实施例中，分类字段包括一级字段和二级字段，每一个一级字段对应至少一个二级字段，每一个二级字段对应其中一个字段数据值。其中，一级字段携带有读取标识。步骤s130包括但不限于有子步骤s131至s132。
[0108]
s131、读取测试文件中一级字段的读取标识；
[0109]
s132、根据读取标识和读取地址对测试文件进行保单识别测试，得到与一级字段对应的测试结果数据值。
[0110]
具体地，分类字段包括用于表征大类类别的一级字段，和用于表征小类类别的二级字段。例如参照图4，一级字段包括保单基础信息、保险产品信息、投保人信息、被保人信息和受益人信息。其中，以保单基础信息为例，与保单基础信息对应的二级字段包括保险公司名称、保单号码和保单生效日。以此类推，其他一级字段对应的二级字段由图4可得。可以理解的是，图4中的一级字段和二级字段仅为示例性说明，不对一级字段和二级字段进行限定。
[0111]
可以理解的是，一份目标保单可以包括多个险种、多个被保人和多个受益人，因此一份目标保单可以对应于多个同类别的一级字段，例如对应保险产品信息a、保险产品信息b、保险产品信息c这三个一级字段，其中，保险产品信息a、保险产品信息b、保险产品信息c属于同类别一级字段。
[0112]
可以理解的是，为了确定对目标保单进行保单识别测试时读取和返回的数据值为一组或多组，对一级字段设置用于表征读取数量的读取标识，例如：设置用于表征唯一属性的唯一属性标识only，和用于表征多属性的多属性标识multi。以一级字段包括保险产品信息a multi、保险产品信息b multi、保险产品信息c multi为例，调用保单识别测试接口，以根据测试文件中的读取地址遍历获取对应目标保单的图像。通过读取上述一级字段的读取标识，确定需从对应目标保单图像中识别返回三组分别对应于上述三个一级字段的测试结果数据值。根据识别顺序将三组测试结果数据值分别添加至对应一级字段的单元格中。具体地，根据识别顺序，对返回的测试结果数据值进行解析识别，确定返回的每一组中每一个测试结果数据值对应的二级字段。根据对应二级字段的列信息和对应目标保单的行信息，得到测试结果数据值的位置信息，根据该位置信息将该测试结果数据值添加至测试文件中的对应单元格，从而得到测试结果文件。
[0113]
参照图5，在一些实施例中，二级字段携带有比对标识。步骤s160包括但不限于有子步骤s161至s162。
[0114]
s161、读取目标文件中二级字段的比对标识，并读取目标文件中一级字段的读取标识；
[0115]
s162、根据比对标识、读取标识和位置信息，将测试结果数据值与字段数据值进行比对，得到比对结果；其中，比对结果包括识别准确、识别错位、漏识别、多识别的任一种。
[0116]
具体地，在计算环境中，调取目标测试文件，以获取目标测试文件中的测试结果数据值和字段数据值。根据位置信息，读取测试结果数据值对应的二级字段的比对标识。可以理解的是，比对标识用于表征对应测试结果数据值的比对方式，例如：根据二级字段的特性，对每一个二级字段设置用于表征完全比对的compare标识，和用于表征相似度比对的similar标识。根据获取到的比对标识，将具有相同位置信息的测试结果数据值和字段数据值进行比对，以得到识别准备、识别错误、漏识别、多识别四种比对结果中的任一种。
[0117]
其中，完全比对表示测试结果数据值与字段数据值需完全匹配。以二级字段保单号码compare为例，当目标保单1在标注数据文件中对应该二级字段的保单号码，与目标保单1在测试结果文件中对应该二级字段的保单号码完全一致时，确定比对结果为识别准确；当上述两个保单号码不完全一致时，确定比对结果为识别错误。
[0118]
相似度比对表示允许测试结果数据值与字段数据值存在差异。以二级字段保险产品名称similar为例，若目标保单1在标注数据文件中对应该二级字段的字段数据值为“平安重大疾病保险(白金版)”，目标保单1在测试结果文件中对应该二级字段的测试结果数据值为“平安重大疾病保险(白金)”，则获取该字段数据值与该测试结果数据值的相似度值，当相似度值大于预设阈值时，确定比对结果为识别准确；当相似度值小于预设阈值时，确定比对结果为识别错误。
[0119]
可以理解的是，识别准确表示标注数据文件和测试结果文件中，对应位置信息的字段数据值和测试结果数据值均有值为非空，且属于完全比对或相似度比对认定的识别准确情况。识别错误表示标注数据文件和测试结果文件中，对应位置信息的字段数据值和测试结果数据值均有值为非空，但属于完全比对或相似度比对认定的识别错误情况。漏识别表示标注数据文件中存在字段数据值，但在测试结果文件中与该字段数据值具有相同位置信息的单元格为空。多识别表示标注数据文件中某一单元格为空(即目标保单中无归属与该单元格对应二级字段的字段数据值)，但在测试结果文件中与该单元格具有相同位置信息的单元格为非空(即测试结果文件中对应位置信息的单元格存在测试结果数据值)。
[0120]
可以理解的是，当一级字段的读取标识为多属性标识时，表示目标文件中存在多个同类别的一级字段。因此，为了避免出现测试结果数据值被添加至同一类别中其他一级字段的现象，将对多属性一级字段对应的测试结果数据值进行动态比对，以提高比对结果的准确性，进而提高对保单识别测试评测的准确性。以下，将结合上述实施例所描述的内容，对动态比对进行具体说明。
[0121]
参照图6a和图6b，以目标文件包括保险产品信息a、保险产品信息b、保险产品信息c这三个一级字段为例，保险产品信息a对应保险产品名称a、保险期间a、基本保额a、保费a、交费方式a、交费期限a共六个二级字段。同理，保险产品信息b和保险产品信息c也分别对应六个二级字段。在一些实施例中，将与同一个一级字段对应的多个字段数据值作为一组标注组，将与同一个一级字段对应的多个测试结果数据值作为一组测试组，即将与保险产品信息a对应的六个字段数据值作为一组标注组110，将与保险产品信息a对应的六个测试结
果数据值作为一组测试组210。可以理解的是，保险产品信息b可参照上述方法划分得到一组标注组120和一组测试组220，保险产品信息c可参照上述方法划分得到一组标注组130和一组测试组230。因此，在目标测试文件中，保险产品信息这个类别的一级字段共对应三组测试组和三组标注组。
[0122]
参照图7，在一些实施例中，步骤s162包括但不限有子步骤s201至s206。
[0123]
s201、若读取标识为多属性标识、比对标识为相似度比对标识，则根据位置信息，将多个待测数据值与对应的字段数据值进行比对，得到多个比对相似度值；其中，将与同一类二级字段对应的多个测试结果数据值作为待测数据值；
[0124]
具体地，在计算环境中，调取通过上述方法得到的目标文件，并读取该目标文件中一级字段的读取标识，以及二级字段的比对标识。若一级字段的读取标识为多属性标识，且二级字段的比对标识为相似度比对标识，则读取每一组测试组中的一个测试结果数据值，并将该测试结果数据值作为待测数据值。可以理解的是，多个待测数据值对应同一类二级字段，例如：从测试组210中读取与二级字段保险产品名称a对应的测试结果数据值，从测试组220中读取与二级字段保险产品名称b对应的测试结果数据值，从测试组230中读取与二级字段保险产品名称c对应的测试结果数据值，将上述三个测试结果数据值均作为待测数据值。将这三个待测数据值分别与具有相同位置信息的字段数据值进行相似度比对，得到三个比对相似度值。
[0125]
s202、对多个比对相似度值进行比较，得到最大相似度值；
[0126]
s203、若最大相似度值大于预设的第一阈值，则比对结果为识别准确；其中，将与最大相似度值对应的字段数据值作为第一目标标注数据值，将与最大相似度值对应的待测数据值作为第一目标测试数据值；
[0127]
具体地，将根据上述方法得到的多个比对相似度值比较，确定多个比对相似度值中的最大值，将该最大值作为最大相似度值。若该最大相似度值大于预设的第一阈值，则确定与该最大相似度对应的待测数据值、字段数据值的比对结果为识别准确。
[0128]
例如，在保险产品名称a、保险产品名称b、保险产品名称c分别对应的待测数据值中，保险产品名称a对应的待测数据值与字段数据值的比对相似度值最大。预设第一阈值为0.9，当最大相似度值大于0.9时，表明与该最大相似度值对应的待测数据值、字段数据值相似度高，此时确定对应的比对结果为识别准确。其中，将保险产品名称a对应的待测数据值作为第一目标测试数据值，将保险产品名称a对应的字段数据值作为第一目标标注数据值。
[0129]
s204、获取第一目标标注数据值对应的第一子标注组，根据第一子标注组和第一目标标注数据值获取第二目标标注数据值；其中，第二目标标注数据值与第一目标标注数据值对应同一个第一子标注组；
[0130]
s205、获取第一目标测试数据值对应的第一子测试组，根据第一子测试组和第一目标测试数据值获取第二目标测试数据值；其中，第二目标测试数据值与第一目标测试数据值对应同一个第一子测试组；
[0131]
s206、根据位置信息，将第二目标测试数据值与第二目标标注数据值进行比对，得到比对结果。
[0132]
具体地，将第一目标标注数据值对应的标注组作为第一子标注组，将第一目标测试数据值对应的测试组作为第一子测试组，分别获取该第一子标注组和该第一子测试组，
以得到该第一子标注组中除第一目标标注数据值以外的其余字段数据值，以及得到该第一子测试组中除第一目标测试数据值以外的其余待测数据值。将该其余字段数据值作为第二目标标注数据值，并将该其余待测数据值作为第二目标测试数据值。根据第二目标测试数据值对应的二级字段的比对标识，将具有相同位置信息的第二目标测试数据值与第二目标标注数据值进行比对，以得到比对结果。根据上述方法遍历目标文件中的所有读取地址，以完成对所有目标保单的比对流程。
[0133]
例如，当将保险产品名称a对应的待测数据值作为第一目标测试数据值，将保险产品名称a对应的字段数据值作为第一目标标注数据值时，确定保险产品名称a对应的一级字段为保险产品信息a，则将保险产品信息a对应的标注组110作为第一子标注组，将保险产品信息a对应的测试组210作为第一子测试组。获取测试结果文件中该第一子测试组中保险期间a、基本保额a、保费a、交费方式a、交费期限a对应的待测数据值，将这五个待测数据值均作为第二目标测试数据值。获取标注数据文件中该第一子标注组中保险期间a、基本保额a、保费a、交费方式a、交费期限a对应的字段数据值，将这五个字段数据值均作为第二目标标注数据值。根据位置信息，将第二目标测试数据值与对应的第二目标标注数据值进行比对，从而得到该第一子测试组中所有待测数据值与对应字段数据值的比对结果。
[0134]
可以理解的是，通过上述比对方法，保险产品信息a对应的第一子标注组中的所有字段数据值均已参与比对流程，因此在后续保险产品信息b、保险产品信息c对应待测数据值的比对流程中，将不再获取该第一子标注组中的字段数据。保险产品信息b和保险产品信息c的比对方法可参照如上述比对方法，即将保险产品信息b中的多个待测数据值与对应的字段数据值进行比对，将保险产品信息c中的多个待测数据值与对应的字段数据值进行比对，当确定最大相似度对应的待测数据值为保险产品信息b(或保险产品信息c)中的测试结果数据值时，参照上述方法完成对保险产品信息b(或保险产品信息c)对应的所有测试结果数据值的比对流程。
[0135]
参照图8，在一些实施例中，步骤s162还包括但不限有子步骤s207至s210。
[0136]
s207、若最大相似度值大于预设的第二阈值，则比对结果为识别错误；其中，第二阈值小于第一阈值，将与最大相似度值对应的字段数据值作为第三目标标注数据值，将与最大相似度值对应的待测数据值作为第三目标测试数据值；
[0137]
具体地，设置数值小于第一阈值的第二阈值，若根据上述方法得到的多个比对相似度值中，最大相似度值小于第一阈值，且大于第二阈值，则确定与该最大相似度对应的待测数据值、字段数据值的比对结果为识别错误。
[0138]
例如，在保险产品名称a、保险产品名称b、保险产品名称c分别对应的待测数据值中，保险产品名称a对应的待测数据值与字段数据值的比对相似度值最大。预设第一阈值为0.9、第二阈值为0.5，当最大相似度值小于0.9，且大于0.5时，表明与该最大相似度值对应的待测数据值、字段数据值相似度较低，此时确定对应的比对结果为识别错误。其中，将保险产品名称a对应的待测数据值作为第三目标测试数据值，将保险产品名称a对应的字段数据值作为第三目标标注数据值。
[0139]
s208、获取第三目标标注数据值对应的第二子标注组，根据第二子标注组和第三目标标注数据值获取第四目标标注数据值；其中，第四目标标注数据值与第三目标标注数据值对应同一个第二子标注组；
[0140]
s209、获取第三目标测试数据值对应的第二子测试组，根据第二子测试组和第三目标测试数据值获取第四目标测试数据值；其中，第四目标测试数据值与第三目标测试数据值对应同一个第二子测试组；
[0141]
s210、根据位置信息，将第四目标测试数据值与第四目标标注数据值进行比对，得到比对结果。
[0142]
具体地，将第三目标标注数据值对应的标注组作为第二子标注组，将第三目标测试数据值对应的测试组作为第二子测试组，分别获取该第二子标注组和该第二子测试组，以得到该第二子标注组中除第三目标标注数据值以外的其余字段数据值，以及得到该第二子测试组中除第三目标测试数据值以外的其余待测数据值。将该其余字段数据值作为第四目标标注数据值，并将该其余待测数据值作为第四目标测试数据值。根据第三目标测试数据值对应的二级字段的比对标识，将具有相同位置信息的第四目标测试数据值与第四目标标注数据值进行比对，以得到比对结果。根据上述方法遍历目标文件中的所有读取地址，以完成对所有目标保单的比对流程。
[0143]
例如，当将保险产品名称a对应的待测数据值作为第三目标测试数据值，将保险产品名称a对应的字段数据值作为第三目标标注数据值时，确定保险产品名称a对应的一级字段为保险产品信息a，则将保险产品信息a对应的标注组110作为第二子标注组，将保险产品信息a对应的测试组210作为第二子测试组。获取测试结果文件中该第二子测试组中保险期间a、基本保额a、保费a、交费方式a、交费期限a对应的待测数据值，将这五个待测数据值均作为第四目标测试数据值。获取标注数据文件中该第二子标注组中保险期间a、基本保额a、保费a、交费方式a、交费期限a对应的字段数据值，将这五个字段数据值均作为第四目标标注数据值。根据位置信息，将第四目标测试数据值与对应的第四目标标注数据值进行比对，从而得到该第二子测试组中所有待测数据值与对应字段数据值的比对结果。
[0144]
可以理解的是，通过上述比对方法，保险产品信息a对应的第二子标注组中的所有字段数据值均已参与比对流程，因此在后续保险产品信息b、保险产品信息c对应待测数据值的比对流程中，将不再获取该第二子标注组中的字段数据。保险产品信息b和保险产品信息c的比对方法可参照如上述比对方法，即将保险产品信息b中的多个待测数据值与对应的字段数据值进行比对，将保险产品信息c中的多个待测数据值与对应的字段数据值进行比对，当确定最大相似度对应的待测数据值为保险产品信息b(或保险产品信息c)中的测试结果数据值时，参照上述步骤s201至s206方法，或步骤s207至s210的方法完成对保险产品信息b(或保险产品信息c)对应的所有测试结果数据值的比对流程。
[0145]
参照图9，在一些实施例中，步骤s162还包括但不限有子步骤s211至s215。
[0146]
s211、若最大相似度值小于第二阈值，则比对结果为识别错误；其中，将与最大相似度值对应的字段数据值作为第五目标标注数据值，将与最大相似度值对应的待测数据值作为第五目标测试数据值；
[0147]
具体地，若根据上述方法得到的多个比对相似度值中，最大相似度值小于第二阈值，则确定与该最大相似度对应的待测数据值、字段数据值的比对结果为识别错误。
[0148]
例如，在保险产品名称a、保险产品名称b、保险产品名称c分别对应的待测数据值中，保险产品名称a对应的待测数据值与字段数据值的比对相似度值最大。当最大相似度值小于0.5时，表明与该最大相似度值对应的待测数据值、字段数据值相似度低，此时确定对
应的比对结果为识别错误。其中，将保险产品名称a对应的待测数据值作为第五目标测试数据值，将保险产品名称a对应的字段数据值作为第五目标标注数据值。
[0149]
s212、获取第五目标测试数据值对应的第三子标注组，根据第三子标注组获取待测标注组；其中，待测标注组与第三子标注组对应同一类一级字段；
[0150]
s213、获取第五目标测试数据值对应的第三子测试组，根据第三子测试组和第五目标测试数据值获取第六目标测试数据值；其中，第六目标测试数据值与第五目标测试数据值对应同一个第三子测试组；
[0151]
s214、根据位置信息，将第六目标测试数据值与待测标注组中的字段数据值进行遍历比对，得到最大遍历相似度值；
[0152]
s215、根据最大遍历相似度值得到比对结果。
[0153]
具体地，将第五目标标注数据值对应的标注组作为第三子标注组，将第五目标测试数据值对应的测试组作为第三子测试组，分别获取该第三子标注组和该第三子测试组，以得到与该第三子标注组对应同一类一级字段的其余标注组，以及得到该第三子测试组中除第五目标测试数据值以外的其余待测数据值。将该其余标注组作为待测标注组，并将该其余待测数据值作为第六目标测试数据值。根据第三目标测试数据值对应的二级字段的比对标识，将第六目标测试数据值分别与待测标注组中具有相同位置信息的字段数据值进行比对，将综合比对相似度值最高的一组待测标注组作为目标标注组，将第六目标测试数据值与该目标标注组中对应字段数据值的比对结果作为最终的比对结果。根据上述方法遍历目标文件中的所有读取地址，以完成对所有目标保单的比对流程。
[0154]
例如，当将保险产品名称a对应的待测数据值作为第五目标测试数据值，将保险产品名称a对应的字段数据值作为第五目标标注数据值时，确定保险产品名称a对应的一级字段为保险产品信息a，则将保险产品信息a对应的标注组110作为第三子标注组，将保险产品信息a对应的测试组210作为第三子测试组。获取测试结果文件中该第三子测试组中保险期间a、基本保额a、保费a、交费方式a、交费期限a对应的待测数据值，将这五个待测数据值均作为第六目标测试数据值。获取与保险产品信息a为同一类一级字段的其余标注组(包括保险产品信息b和保险产品信息c)，将保险产品信息b对应的标注组120、保险产品信息c对应的标注组130均作为待测标注组。根据位置信息，将第六目标测试数据值与保险产品信息b对应标注组120中的字段数据值进行比较，得到综合比对相似度值1；将第六目标测试数据值与保险产品信息c对应标注组130中的字段数据值进行比较，得到综合比对相似度值2。若综合比对相似度值1大于综合比对相似度值2，则将保险产品信息b对应的待测标注组作为目标标注组。将第六目标测试数据值与该目标标注组中对应字段数据值的比对结果，作为第六目标测试数据值的最终比对结果。
[0155]
可以理解的是，通过上述比对方法，保险产品信息b对应的第三子标注组中，除保险产品名称b对应的字段数据值之外，其余的字段数据值(包括保险期间b、基本保额b、保费b、交费方式b、交费期限b)均已参与比对流程，因此在后续保险产品信息b、保险产品信息c对应待测数据值的比对流程中，将不再获取与保险期间b、基本保额b、保费b、交费方式b、交费期限b对应的字段数据。保险产品信息b和保险产品信息c对应测试结果数据值的比对方法可参照如上述比对方法，即将保险产品信息b中的多个待测数据值与对应的字段数据值进行比对，将保险产品信息c中的多个待测数据值与对应的字段数据值进行比对，当确定最
大相似度对应的待测数据值为保险产品信息b(或保险产品信息c)中的测试结果数据值时，参照上述步骤s201至s206方法，或步骤s207至s210，或步骤s211至s215的方法完成对保险产品信息b(或保险产品信息c)对应的所有测试结果数据值的比对流程。
[0156]
可以理解的是，第一阈值和第二阈值为[0,1]中任一的float数值。若将第一阈值设置为1时，则表明对应测试结果数据值与字段数据值的比对方式为完全比对。
[0157]
参照图10，在一些实施例中，步骤s170包括但不限于有子步骤s171至s173。
[0158]
s171、获取比对结果为识别准确的识别准确数量、比对结果为识别错误的识别错误数量、比对结果为漏识别的漏识别数量、识别结果为多识别的多识别数量；
[0159]
s172、根据识别准确数量、识别错误数量和漏识别数量计算得到召回率；
[0160]
s173、根据识别准确数量、识别错误数量和多识别数量计算得到精确率。
[0161]
具体地，分别对目标文件中比对结果为识别准确、识别错误、漏识别、多识别的数量进行统计，从而根据如上式(1)计算得到召回率，根据如上式(2)计算得到精确率。其中，tp表示识别准确数量，fn表示识别错误数量和漏识别数据之和，fp表示是被错误数量和多识别数量之和。
[0162]
本技术实施例提供的评测方法，通过将保单识别测试流程和比对流程分别设置于两个独立的环境中，解决了相关技术中频繁修改标注字段时需要重复执行整个流程的问题，从而提高了评测方法的评测效率；通过设置动态比对方式和相似度比对方式，提高了召回率和精确率这两个指标的准确性；通过所形成的标注数据文件、目标文件、测试报告文件，能够直观了解保单识别测试流程和比对流程中的过程数据，进而便于后续对保单识别测试算法的修改或调整等。
[0163]
参照图11，本技术实施例还提供了一种评测装置，该评测装置包括：
[0164]
测试执行模块300，用于在测试环境中执行；
[0165]
读取标注数据文件的原始标注信息；其中，标注数据文件标注有至少两个目标保单的原始标注信息，原始标注信息包括每一目标保单的读取地址、分类字段、至少两个标注字段，每一个标注字段包括位置信息和字段数据值；
[0166]
根据标注数据文件创建测试文件；其中，测试文件包括测试标注信息，测试标注信息为对原始标注信息进行字段数据值清除得到；
[0167]
根据测试文件中的读取地址获取测试结果数据值；其中，测试结果数据值由对测试文件进行保单识别测试得到，测试结果数据值用于表征目标保单的识别结果；
[0168]
将测试结果数据值添加至测试文件，得到测试结果文件；
[0169]
对标注数据文件和测试结果文件进行合并处理，得到目标文件；
[0170]
计算模块400，用于在计算环境中执行；
[0171]
获取目标文件中的测试结果数据值和字段数据值，并根据位置信息将获取到的测试结果数据值与字段数据值进行比对，得到比对结果；
[0172]
根据比对结果计算得到召回率和精确率；其中，召回率和精确率用于对目标保单的识别结果进行评测。
[0173]
可见，上述评测方法实施例中的内容均适用于本评测装置的实施例中，本评测装置实施例所具体实现的功能与上述评测方法实施例相同，并且达到的有益效果与上述评测方法实施例所达到的有益效果也相同。
[0174]
本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述评测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0175]
参照图12，图12示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0176]
处理器501，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0177]
存储器502，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器502可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器502中，并由处理器501来调用执行本技术实施例的评测方法；
[0178]
输入/输出接口503，用于实现信息输入及输出；
[0179]
通信接口504，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0180]
总线505，在设备的各个组件(例如处理器501、存储器502、输入/输出接口503和通信接口504)之间传输信息；
[0181]
其中处理器501、存储器502、输入/输出接口503和通信接口504通过总线505实现彼此之间在设备内部的通信连接。
[0182]
本技术实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述评测方法。
[0183]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0184]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0185]
本领域技术人员可以理解的是，图1至12中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0186]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0187]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0188]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0189]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0190]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0191]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0192]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0193]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0194]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。
技术特征：1.一种评测方法，其特征在于，包括：在测试环境中，读取标注数据文件的原始标注信息；其中，所述标注数据文件标注有至少两个目标保单的原始标注信息，所述原始标注信息包括每一所述目标保单的读取地址、分类字段、至少两个标注字段，每一个所述标注字段包括位置信息和字段数据值；根据所述标注数据文件创建测试文件；其中，所述测试文件包括测试标注信息，所述测试标注信息为对所述原始标注信息进行所述字段数据值清除得到；根据所述测试文件中的读取地址获取测试结果数据值；其中，所述测试结果数据值由对所述测试文件进行保单识别测试得到，所述测试结果数据值用于表征所述目标保单的识别结果；将所述测试结果数据值添加至所述测试文件，得到测试结果文件；对所述标注数据文件和所述测试结果文件进行合并处理，得到目标文件；在计算环境中，获取所述目标文件中的所述测试结果数据值和所述字段数据值，并根据所述位置信息将获取到的所述测试结果数据值与所述字段数据值进行比对，得到比对结果；根据所述比对结果计算得到召回率和精确率；其中，所述召回率和所述精确率用于对所述保单识别测试进行评测。2.根据权利要求1所述的评测方法，其特征在于，所述分类字段包括一级字段和二级字段，每一所述一级字段对应至少一个所述二级字段，每一所述二级字段对应其中一个所述字段数据值；所述一级字段携带有读取标识；所述根据所述测试文件中的读取地址获取测试结果数据值，包括：读取所述测试文件中所述一级字段的所述读取标识；根据所述读取标识和所述读取地址对所述测试文件进行保单识别测试，得到与所述一级字段对应的所述测试结果数据值。3.根据权利要求2所述的评测方法，其特征在于，所述二级字段携带有比对标识；所述根据所述位置信息将获取到的所述测试结果数据值与所述字段数据值进行比对，得到比对结果，包括：读取所述目标文件中所述二级字段的所述比对标识，并读取所述目标文件中所述一级字段的所述读取标识；根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果；其中，所述比对结果包括识别准确、识别错误、漏识别、多识别的任一种。4.根据权利要求3所述的评测方法，其特征在于，所述读取标识包括多属性标识，所述比对标识包括相似度比对标识；将与同一个所述一级字段对应的多个所述字段数据值作为一组标注组，将与同一个所述一级字段对应的多个所述测试结果数据值作为一组测试组；所述根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果，包括：若所述读取标识为所述多属性标识、所述比对标识为所述相似度比对标识，则根据所述位置信息，将多个待测数据值与对应的字段数据值进行比对，得到多个比对相似度值；其中，将与同一类所述二级字段对应的多个所述测试结果数据值作为所述待测数据值；
对多个所述比对相似度值进行比较，得到最大相似度值；若所述最大相似度值大于预设的第一阈值，则所述比对结果为所述识别准确；其中，将与所述最大相似度值对应的所述字段数据值作为第一目标标注数据值，将与所述最大相似度值对应的所述待测数据值作为第一目标测试数据值；获取所述第一目标标注数据值对应的第一子标注组，根据所述第一子标注组和所述第一目标标注数据值获取第二目标标注数据值；其中，所述第二目标标注数据值与所述第一目标标注数据值对应同一个所述第一子标注组；获取所述第一目标测试数据值对应的第一子测试组，根据所述第一子测试组和所述第一目标测试数据值获取第二目标测试数据值；其中，所述第二目标测试数据值与所述第一目标测试数据值对应同一个所述第一子测试组；根据所述位置信息，将所述第二目标测试数据值与所述第二目标标注数据值进行比对，得到所述比对结果。5.根据权利要求4所述的评测方法，其特征在于，所述根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果，还包括：若所述最大相似度值大于预设的第二阈值，则所述比对结果为所述识别错误；其中，所述第二阈值小于所述第一阈值，将与所述最大相似度值对应的所述字段数据值作为第三目标标注数据值，将与所述最大相似度值对应的所述待测数据值作为第三目标测试数据值；获取所述第三目标标注数据值对应的第二子标注组，根据所述第二子标注组和所述第三目标标注数据值获取第四目标标注数据值；其中，所述第四目标标注数据值与所述第三目标标注数据值对应同一个所述第二子标注组；获取所述第三目标测试数据值对应的第二子测试组，根据所述第二子测试组和所述第三目标测试数据值获取第四目标测试数据值；其中，所述第四目标测试数据值与所述第三目标测试数据值对应同一个所述第二子测试组；根据所述位置信息，将所述第四目标测试数据值与所述第四目标标注数据值进行比对，得到所述比对结果。6.根据权利要求5所述的评测方法，其特征在于，所述根据所述比对标识、所述读取标识和所述位置信息，将所述测试结果数据值与所述字段数据值进行比对，得到所述比对结果，还包括：若所述最大相似度值小于所述第二阈值，则所述比对结果为所述识别错误；其中，将与所述最大相似度值对应的所述字段数据值作为第五目标标注数据值，将与所述最大相似度值对应的所述待测数据值作为第五目标测试数据值；获取所述第五目标测试数据值对应的第三子标注组，根据所述第三子标注组获取待测标注组；其中，所述待测标注组与所述第三子标注组对应同一类所述一级字段；获取所述第五目标测试数据值对应的第三子测试组，根据所述第三子测试组和所述第五目标测试数据值获取第六目标测试数据值；其中，所述第六目标测试数据值与所述第五目标测试数据值对应同一个所述第三子测试组；根据所述位置信息，将所述第六目标测试数据值与所述待测标注组中的所述字段数据值进行遍历比对，得到最大遍历相似度值；
根据所述最大遍历相似度值得到所述比对结果。7.根据权利要求3至6任一项所述的评测方法，其特征在于，所述根据所述比对结果计算得到召回率和精确率，包括：获取所述比对结果为所述识别准确的识别准确数量、所述比对结果为所述识别错误的识别错误数量、所述比对结果为所述漏识别的漏识别数量、所述识别结果为所述多识别的多识别数量；根据所述识别准确数量、所述识别错误数量和所述漏识别数量计算得到所述召回率；根据所述识别准确数量、所述识别错误数量和所述多识别数量计算得到所述精确率。8.一种评测装置，其特征在于，包括：测试执行模块，用于在测试环境中执行；读取标注数据文件的原始标注信息；其中，所述标注数据文件标注有至少两个目标保单的原始标注信息，所述原始标注信息包括每一所述目标保单的读取地址、分类字段、至少两个标注字段，每一个所述标注字段包括位置信息和字段数据值；根据所述标注数据文件创建测试文件；其中，所述测试文件包括测试标注信息，所述测试标注信息为对所述原始标注信息进行所述字段数据值清除得到；根据所述测试文件中的读取地址获取测试结果数据值；其中，所述测试结果数据值由对所述测试文件进行保单识别测试得到，所述测试结果数据值用于表征所述目标保单的识别结果；将所述测试结果数据值添加至所述测试文件，得到测试结果文件；对所述标注数据文件和所述测试结果文件进行合并处理，得到目标文件；计算模块，用于在计算环境中执行；获取所述目标文件中的所述测试结果数据值和所述字段数据值，并根据所述位置信息将获取到的所述测试结果数据值与所述字段数据值进行比对，得到比对结果；根据所述比对结果计算得到召回率和精确率；其中，所述召回率和所述精确率用于对所述目标保单的识别结果进行评测。9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时所述处理器用于执行：如权利要求1至7中任一项所述的评测方法。10.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：如权利要求1至7中任一项所述的评测方法。
技术总结本实施例涉及图像识别技术领域，尤其涉及一种评测方法和装置、计算机设备、存储介质。其中，评测方法包括:在测试环境中，读取标注数据文件的原始标注信息；根据标注数据文件创建测试文件；其中，测试文件包括测试标注信息，测试标注信息为对原始标注信息进行字段数据值清除得到；根据测试文件中的读取地址获取测试结果数据值；将测试结果数据值添加至测试文件，得到测试结果文件；对标注数据文件和测试结果文件进行合并处理，得到目标文件；在计算环境中，根据位置信息将获取到的测试结果数据值与字段数据值进行比对，得到比对结果；根据比对结果计算得到召回率和精确率。本申请实施例的技术方法，能够提高识别测试算法的评测效率。能够提高识别测试算法的评测效率。能够提高识别测试算法的评测效率。
技术研发人员：黄庭峰 肖敏 彭晶
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：2022.03.22
技术公布日：2022/7/5
