1.本发明涉及自动驾驶，尤其涉及自动驾驶所涉及的场景评价。
背景技术：2.目前l2/l3级别的自动驾驶主要商业落地了辅助驾驶功能，例如自适应巡航（acc）/自动紧急制动（aeb）/开门碰撞预警（dow）等功能。而针对于这些功能的测评：1）对于测试场内的测试用例，利用人工进行逐帧计量和评价；2）对于实际的大量路试数据，从中有限地遴选出部分常见场景和困难场景进行人工逐帧计量和评价，从而得到逐帧的准确率与召回率等指标，反馈指导功能的升级和优化。
3.当前业界使用常见的人工方式进行测试和统计的闭环，但这种方式极其消耗测试人员的时间和精力，且覆盖不全面。如果场景数需求量较大的话，则需要大量的测试里程，那么测试人员需要花费巨量的时间和精力进行重复的统计与核验工作，整体低效。同时常见的逐帧的统计方法，得到的结果不全面，指标偏颇，无法全面指示出功能的性能，亦无法满足评价需求。
技术实现要素：4.本发明鉴于现有技术的以上问题，用以解决现有技术中存在的一项或更多项的问题，至少提供一种有益的选择。
5.根据本发明的一个方面，提供了一种场景评价方法，包括：获取测试场景和真实场景，场景是指时间维度上连续的同一个目标的数据序列，测试场景则是在路试或测试场内获得的场景，真实场景是对测试场景进行标注后获得的场景，即精准的参考场景数据；对测试场景和真实场景进行过滤；将过滤后的测试场景和真实场景进行匹配；对匹配好的测试场景和真实场景，进行分类；对分类好的场景结果，进行计算和统计，最终生成结果报告。
6.根据本发明的一种实施方式，提供了一种场景评价装置，包括：测试场景和真实场景获取单元，用于获得测试场景和真实场景，其中场景是指时间维度上连续的同一个目标的数据序列，测试场景是在路试或测试场内获得的场景，真实场景是对测试场景进行标注后获得的场景；过滤单元，用于对测试场景和真实场景进行过滤；匹配单元，用于将过滤后的测试场景和真实场景进行匹配；分类单元，用于对匹配好的测试场景和真实场景，进行分类；以及统计单元，用于对分类好的场景结果，进行计算和统计，生成结果报告。
7.根据本发明的一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本发明的方法。
8.根据本发明的一个方面，提供了一种计算机可读存储介质，所述可读存储介质上存储设备控制程序，当所述设备控制程序被处理器执行时，实现本发明所述的方法。
9.根据本发明的一个或多个实施方式，可以用更少的时间和人力成本达到更好的效果。
附图说明
10.结合附图可以更好地理解本发明。附图只是示意性的，不是对本发明的保护范围的限制。
11.图1是示出了依据本发明的一种实施方式的场景评价方法的示意性流程图。
12.图2示出了依据本发明的一种实施方式进行测试场景和真实场景匹配的示意性流程图。
13.图3到图4示出了依据一种实施方式进行测试场景和真实场景的匹配的方法的具体示例。
14.图5示出了依据另一种实施方式进行测试场景和真实场景的匹配的方法的具体示例。
15.图6是示出了依据本发明的一种实施方式的场景评价装置的示意性方框图。
具体实施方式
16.下面结合附图对本发明的具体实施方式进行说明。这些说明都是示例性的，旨在使本领域技术人员能够实现本发明的实施方式，不是对本发明的保护范围的限制。说明中也没有描述对于实际实施不可缺少，但是对于理解本发明无关的内容。
17.图1是示出了依据本发明的一种实施方式的场景评价方法的示意性流程图。如图1所示，依据本发明的一种实施方式的场景评价方法，首先在步骤s101获得测试场景和与之对应的真实场景。场景是指时间维度上连续的同一个目标的数据序列，例如一个目标(假定标识id为03)，从第10s出现，持续了5s，至第15s消失，则将这个标识id 为03的目标提取出第10s~15s的数据，组成一个数据序列，称之为场景。测试场景是在路试或测试场内获得的场景。真实场景是对测试场景进行事后的标注所获得的准确场景，亦称为ground truth。在本步骤中，可以通过测试场或路试获得测试场景，进一步通过标注得到真实场景。
18.随后，在步骤s102，对全部的测试场景和真实场景进行过滤。场景过滤是指过滤掉不满足要求的场景，例如一个场景只持续了200ms，则认定此场景时长太短，是一个偶发的误检，不是一个稳定可用的场景，需要将之过滤删除。又例如需要对自适应巡航（acc）功能进行评价，则进行场景过滤操作时可以首先进行时长过滤，然后挑选出视场角（fov）范围内所有场景，再依据自适应巡航功能的需求，只筛选出当前和相邻车道的场景，剔除其余场景等。
19.依据本发明的这种方式，由于是以针对同一目标的一系列数据帧作为场景进行过滤，横向是时间轴信息，因此能够体现出时间维度的关联与影响，更符合观测本质，比起传统的逐帧计量方法则更为准确，结果更具参照性。
20.接着，在步骤s103进行测试场景和真实场景的匹配。如上所述，场景是数据的序列集合。图2示出了依据本发明的一种实施方式进行测试场景和真实场景匹配的示意性流程图。如图2所示，首先在步骤s210，在测试场景和真实场景中，找出时间戳相同的两个场景中的单帧数据，进行单帧数据的同步，获得数据同步后的结果。根据一种实施方式，单帧的匹配可以使用iou法（交并比法）计算每个时刻的匹配度，结果大于阈值为正常，否则为异常。匹配的结果为tp/fp/fn，tp代表正确匹配，fn代表漏检，即有真实场景帧而没有对应的测试场景帧。fp代表误检，只有测试场景帧，没有对应的真实场景帧。因而对于没有匹配上真实
场景的测试场景单帧数据直接判定为fp，对于没有匹配上测试场景的真实场景单帧数据直接判定为fn。
21.然后，在步骤s220，确定各单帧数据中的目标的匹配距离。根据一种实施方式，目标的匹配距离是指目标距离当前坐标系参考点的距离，为相对距离，具体指1）如果当前坐标系采用的是传感器坐标系（如雷达坐标系）或载体坐标系（如车体坐标系），由于这些坐标系是动坐标系，即为相对坐标系，则直接计算目标距离坐标系原点的距离即可；2）如果当前坐标系采用的是世界坐标系（如utm坐标系或wgs-84坐标系），由于这些坐标系本身是静坐标系，即为绝对坐标系，则可以定义一个当前时刻下的坐标参考点（例如自车的后轴中心点），计算目标距离参考点的距离即可；3）其余坐标系（例如极坐标系等），首先转化为常见的坐标系，如转化为相对坐标系，按照1）进行计算，如转化为绝对坐标系，按照2）进行计算。另外，在tp和fn的情况下，即存在真实场景帧的情况下，匹配距离是真实场景中的目标距参考点的距离，在fp的情况下，是测试场景中的目标距参考点的距离。
22.之后，在步骤s230中，根据之前单帧的tp/fp/fn结果和匹配距离，确定场景匹配结果。根据一种实施方式，统计不同距离范围内的连续的tp、fp或fn的帧数，依据场景特性和测试需求，用距离法或头尾帧法或统计法等，根据比较结果确定整个场景的匹配结果。
23.根据一种实施方式，可以将距离范围的划分依据传感器自身特性、测试需求和目的、外部条件（如道路、天气等）、车辆特性等等因素来进行，这里以毫米波雷达传感器为例，依据雷达自身特性和测试需求，预定距离范围分为4个区间，分别依据车载雷达的探测动静转换的性能、车辆安全制动距离、车载雷达的近距探测距离来确定各区间，从而由近及远构成第一距离区间至第四距离区间。
24.根据一种实施方式，以如下准则确定每个距离区间的帧数阈值：1）在目标稳定出现n帧后才输出该目标的情况下（n为正整数），对于第一距离区间和第二距离区间，连续帧数阈值为取整后的1.5n～2n，对于第三距离区间和第四距离区间，连续帧数阈值为2n～3n。
25.2）在目标消失m帧后才删除该目标的情况下（m为正整数），对于第一距离区间和第二距离区间，连续帧数阈值为取整后的1.5m～2m，对于第三距离区间和第四距离区间，连续帧数阈值为2m～3m。
26.3）对于第一距离区间和第二距离区间，连续帧数阈值为可允许的场景中异常帧阈值的1/4～1/3，对于第三距离区间和第四距离区间，连续帧数阈值可以为可允许的场景中异常帧阈值的1/3～1/2。例如，在一种实施方式中，允许的场景中异常帧阈值为场景总帧数的5%，则对于一段600帧的场景，允许的场景中的异常帧阈值为30帧，则此时，对于第一距离区间和第二距离区间，可以设置10帧为帧阈值，对于第三距离区间和第四距离区间，可以设置15帧为帧阈值。异常帧是指场景中无法匹配的或漏报的或误报的帧。
27.依据这样的技术方案，能够使得场景的评价与底层软件的检测、聚类跟踪的算法或者功能层面的目标管理、模型准确度相关联，从而能够很好地保持算法的稳定性、功能的连续性以及降低噪声的影响。
28.如图3到图5所示，假定车载雷达的探测动静转换的性能为距离0.5米、车辆安全制动距离为10米、车载雷达的近距探测距离为50米，将预定距离范围分为4个区间，分别为小于0.5米、0.5米到10米、10米到50米、以及大于50米，依次定义为第一距离区间到第四距离
区间。假定雷达在目标稳定出现连续5帧后才会将其输出且目标消失连续5帧后才会将其删除，且数据包长度为600帧（即1分钟长度），异常帧阈值为总帧数的5%，使用如上准则，可以得到各个距离区间的连续帧数阈值如下表所示。
29.一般而言，场景结果的判断方法有距离法、头尾帧法以及统计法等，图3到图5给出了依据一种实施方式进行测试场景和真实场景的匹配的方法的具体示例。
30.在图3和图4所示的示例中，从第一帧开始进行判断，如果某一匹配结果（tp、fp、fn）对应的目标的匹配距离落入预定距离区间的连续帧数满足相应的阈值，即可将该场景的匹配结果判断为相应的匹配结果。
31.详细说明如下，在图3的情况下，场景匹配结果是fp，并一直连续为fp。则首先计算每一帧的匹配距离，然后统计各个距离区间的帧数分布。首先判断第一距离区间的帧数是否大于区间阈值，如果是则判定该场景结果为fp，结束场景判断，否则去判断第二距离区间，以此类推。
32.在图4所示的情况下，则首先计算fn帧的匹配距离，然后统计fn帧在各个距离区间的帧数分布。首先判断fn在第一距离区间的帧数是否大于区间阈值，如果大于区间阈值，则判定场景结果为fn，结束场景判断，否则去判断第二距离区间，以此类推。
33.在图5所示的情况下，首先计算fp和fn的匹配距离，再统计各个距离区间的帧数分布，则会有如下结果：1）fn和fp只有一个满足条件，即满足阈值的全是fn或者fp，则可以判定场景结果为fn或者fp；2）当整个场景中某一匹配结果（tp、fp、fn）对应的目标的匹配距离落入预定距离区间的连续帧数满足相应的阈值的情况有多种时，则需要依据具体的测试需求，采取距离法、头尾帧法或统计法来进行判别。根据一种实施方式，如下所示：1）当测试的是开门碰撞预警（dow）等功能时，挑出距离区间最小的结果为场景结果。如最小距离区间的fn和fp都满足存在，则场景结果为fn；2）当测试的功能是自动紧急制动（aeb）等功能时，则使用头尾帧法，挑出其中包含头帧（最前帧）的匹配结果为场景结果；3）当测试的功能是自适应巡航（acc）等功能时，则使用统计法，即挑出某个fp和fn中帧数百分比占比最高的结果，即为场景结果。
34.利用以上的实施方式，对于包含多种结果（tp/fp/fn）的场景，能够更好地实现功能的测试。
35.根据本发明的实施方式，由于是针对整个场景和测试需求进行判断，极大程度上体现了时间维度上的特性，不再拘泥于逐帧的判断，从而可以显著提高实用性，结果也更具
参考性。
36.在步骤s104中，会对报出问题/错误场景进行审核，如对一些出错较多的场景或者特殊场景（如路口，隧道灯）进行单独的审核，看自动匹配的结果是否合理，是否需要进一步改进等。审核结果可以纠正一些问题场景的结果，并在此基础上建立起了困难场景库。
37.在步骤s105中，针对匹配好的场景，即匹配好了的测试场景和真实场景结果，进行自动分类，例如距离分类、速度分类、类别分类、道路分类、天气分类等等，以距离为例，在该场景计算完tp/fp/fn之后，计算每一帧中的目标距离，目标距离的计算可以采用s103中计算匹配距离的方法，然后统计场景内目标距离的分布情况，如0~0.5m的占比百分比，0.5-10m的占比百分比，10-50m的占比百分比，》50m的占比百分比，然后以百分比最高的距离分类作为当前场景的距离分类类别，依此自动完成对所有场景的距离分类。
38.又以目标类别为例，对于tp/fn的场景，以真实场景的目标类别为当前场景匹配结果的目标类别，对于fp的场景，以测试场景的占比最高的目标类别为当前场景的目标类别，则可以完成目标类别的分类。其余分类例如道路分类，天气分类等可以依此而行。
39.通过场景的分类可以更明晰地看到不同层面的识别效果，例如距离分类可以看到传感器对于不同距离的感知能力的差异，对于目标类别的分类可以看到传感器对于不同类别目标的识别能力等。
40.随后，在步骤s106，统计分类好了的结果，计算得到对应的准确率和召回率，根据一种实施方式，准确率pp = tp / (tp + fp)召回率rr = tp / (tp + fn)同时计算一些常见的统计指标（与真实场景相较），如均值、方差、标准差、协方差等等，并最终生成结果报告以供查看。
41.图6是示出了依据本发明的一种实施方式的场景评价装置的示意性方框图。如图6所示，依据一种实施方式的场景评价装置10包括：测试场景和真实场景获取单元110，用于获得测试场景和真实场景，其中场景是一个时间维度上连续的同一个目标的数据序列，测试场景是在路试或测试场内获得的场景，真实场景是对测试场景进行标注后获得的场景；过滤单元120，用于对对应的测试场景和真实场景进行过滤；场景匹配单元130，用于将过滤后的测试场景和真实场景进行匹配；分类单元150，用于对匹配好的测试场景和真实场景，进行分类；统计单元160，用于对分类好的测试场景和真实场景，进行计算和统计，生成报告。根据另一种实施方式，还包括审核结果接收单元，用于针对问题/错误场景进行审核，建立困难场景。
42.根据一种实施方式，场景匹配单元130将过滤后的测试场景和真实场景进行匹配时，在测试场景和真实场景中，找出时间戳相同的单帧数据，来进行单帧数据的同步，并获得单帧数据同步结果；然后确定各单帧数据中的目标的匹配距离；并统计单帧数据匹配结果和所述匹配距离，根据不同的场景需求，确定场景匹配结果。
43.根据一种实施方式，场景匹配单元130在获得单帧数据匹配结果时，使用交并比法计算各单帧的匹配结果，匹配结果分为tp、fp或fn。在确定场景匹配结果时，计算满足预定
距离范围的连续的tp、fp或fn的帧数，将该帧数与预定帧数阈值进行比较，根据比较结果确定整个场景的匹配结果，其中tp代表正确匹配，fn代表漏检，即有真实场景帧而没有对应的测试场景帧，fp代表误检，只有测试场景帧，没有对应的真实场景帧。
44.根据一种实施方式，所述预定距离范围被分为4个区间，分别依据车载雷达的探测动静转换的性能、车辆安全刹车距离、车载雷达的近距探测距离来确定各区间。各区间对应的帧数阈值等可以参见前面的描述，在此不予赘述。
45.根据一种实施方式，所述匹配目标距离是帧中的目标距离坐标系参考点的距离，在tp和fn的情况下，即存在真实场景帧的情况下，匹配距离是真实场景中的目标距离坐标系参考点的距离，在fp的情况下，是测试场景中的目标距离坐标系参考点的距离。
46.根据一种实施方式，在确定场景匹配结果时，从第一帧开始进行判断，如果某一单帧匹配结果对应的目标的匹配距离落入预定距离区间的连续帧数满足相应的阈值，即可将该场景的匹配结果判断为相应的匹配结果。
47.根据一种实施方式，在确定场景匹配结果时，当整个场景中某一单帧匹配结果对应的目标的匹配目标距离落入预定距离区间的连续帧数满足相应的阈值的情况有多个时，依据场景特性和测试需求，用距离法、头尾帧法或统计法等，来确认场景判断结果，其中，当测试开门碰撞预警（dow）相关功能时，挑出距离区间最小的结果为场景结果，如最小距离区间的fn和fp都满足存在，则场景结果为fn；当测试变道辅助（lca）系统相关功能时，使用头尾帧法，挑出其中包含头帧的匹配结果为场景结果；当测试自适应巡航（acc）相关功能时，使用统计法，即挑出某个fp和fn中帧数百分比占比最高的结果，即为场景结果。
48.本领域技术人员容易理解，可以利用以上对方法的说明来理解本发明的装置。
49.根据本发明的实施方式，可以自动化地生成测试结果和问题场景库，节省巨量的人工，尤其是对于大规模的路试而言，同时可以尽可能的挖掘人工无法发现的场景和问题，提高了研发和迭代的效率，降低成本。此外，场景库可以持续积累，作为更高更新算法的研发依托。
50.本领域技术人员容易理解，本发明的方法还可以包括与本发明的装置所完成的功能对应的其他步骤。以上的这些步骤也可以进行精简。
51.本发明对单元和步骤的标号仅仅是为了说明的方便，除非上下文中有相反的说明，否则不代表其执行的顺序。
52.本领域的技术人员应该理解，上述的各单元可以由软件或专门的硬件来实现，例如现场可编程门阵列、单片机、或微芯片等，或者也可以通过软件结合硬件的方式来实现。
53.本发明还提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本发明的方法。
54.本发明还涉及一种计算机软件，该计算机软件在被计算装置（例如单片机、电脑、cpu等）执行时，可以实现本发明的方法。
55.本发明还涉及一种计算机软件存储装置，例如硬盘、软盘、闪存等，该计算机软件存储装置存储有上述的计算机软件。
56.本发明对方法或步骤的说明可以用于理解对单元或装置的说明，对单元或装置的说明也可以用于理解本发明的方法或步骤。
57.以上说明仅仅是示意性的，不是对本发明的保护范围的限制，在本发明的权利范
围内的任何改变、替换均在本发明的保护范围内。
技术特征：1.一种场景评价方法，其特征在于，包括以下的步骤：获得测试场景和真实场景，其中场景是时间维度上连续的同一个目标的数据序列，测试场景是在路试或测试场内获得的场景，真实场景是对测试场景进行标注后获得的场景；对测试场景和真实场景进行过滤；将过滤后的测试场景和真实场景进行匹配；对匹配好的测试场景和真实场景，进行分类；以及对分类好的场景结果，进行计算和统计，生成结果报告。2.根据权利要求1所述的场景评价方法，其特征在于，将过滤后的测试场景和真实场景进行匹配的步骤包括：在测试场景和真实场景中，找出时间戳相同的单帧数据，来进行单帧数据的同步，并获得单帧数据同步结果；确定各单帧数据中的目标的匹配距离；以及统计单帧数据同步和匹配距离的结果，根据不同的场景需求，确定场景匹配结果。3.根据权利要求2所述的场景评价方法，其特征在于，在获得单帧数据匹配结果的步骤中，使用交并比法计算各单帧的匹配结果，匹配结果为tp、fp或fn；在确定场景匹配结果的步骤中，统计满足预定距离范围的连续的tp、fp或fn的帧数，将该帧数与预定帧数阈值进行比较，根据比较结果确定整个场景的匹配结果，其中tp代表正确匹配，fn代表漏检，即有真实场景帧而没有对应的测试场景帧，fp代表误检，即有测试场景帧而没有对应的真实场景帧。4.根据权利要求3所述的场景评价方法，其特征在于，所述预定距离范围被分为4个区间，分别依据车载雷达的探测动静转换的性能、车辆安全刹车距离、车载雷达的近距探测距离来确定各区间，依据距离从近到远分为第一距离区间、第二距离区间、第三距离区间和第四距离区间，其中按如下的准则确定各距离区间对应的预定帧数阈值：1）在目标稳定出现n帧后才输出该目标的情况下，对于第一距离区间和第二距离区间，连续帧数阈值为取整后的1.5n～2n，对于第一距离区间和第二距离区间，连续帧数阈值为2n～3n，n为正整数；2）在目标消失m帧后才删除该目标的情况下，对于第一距离区间和第二距离区间，连续帧数阈值为取整后1.5m～2m，对于第一距离区间和第二距离区间，连续帧数阈值为2m～3m，m为正整数；3）对于第一距离区间和第二距离区间，连续帧数阈值为可允许的场景中异常帧的总帧数乘以1/4～总帧数乘以1/3，对于第三距离区间和第四距离区间，连续帧数阈值可以为可允许的场景中目标不连续帧的总帧数乘以1/3～总帧数乘以1/2，异常帧是指场景中无法匹配的或漏报的或误报的帧。5.根据权利要求3所述的场景评价方法，其特征在于，所述匹配距离是帧中的目标与坐标系参考点的距离；在匹配结果为tp和fn的情况下，匹配距离是真实场景中的目标与坐标系参考点的距离；在匹配结果fp的情况下，匹配距离是测试场景中的目标与坐标系参考点的距离。6.根据权利要求3所述的场景评价方法，其特征在于，在确定场景匹配结果的步骤中，
从第一帧开始进行判断，如果某一单帧匹配结果对应的目标的匹配距离落入预定距离区间的连续帧数满足相应的预定帧数阈值，即可将该场景的匹配结果判断为相应的匹配结果。7.根据权利要求3所述的场景评价方法，其特征在于，在确定场景匹配结果的步骤中，当整个场景中某一单帧匹配结果对应的目标的匹配距离落入预定距离区间的连续帧数满足相应的阈值的情况有多个时，依据场景特性和测试需求，用距离法、头尾帧法或统计法，来确认场景判断结果，其中，当测试开门碰撞预警（dow）相关功能时，采用距离法，挑出距离区间最小的结果为场景结果，如最小距离区间满足fn和fp两者，则场景结果为fn；当测试自动紧急制动（aeb）相关功能时，使用头尾帧法，挑出其中包含头帧的匹配结果为场景结果；当测试自适应巡航（acc）相关功能时，使用统计法，即挑出某个fp或fn中帧数占比最高的结果，为场景结果。8.一种场景评价装置，其特征在于，包括：测试场景和真实场景获取单元，用于获得测试场景和真实场景，其中场景是时间维度上连续的同一个目标的数据序列，测试场景是在路试或测试场内获得的场景，真实场景是对测试场景进行标注后获得的场景；过滤单元，用于对对应的测试场景和真实场景进行过滤；匹配单元，用于将过滤后的测试场景和真实场景进行匹配；分类单元，用于对匹配完成的测试场景和真实场景，进行分类；以及统计单元，用于对分类完成的场景结果进行计算和统计，生成报告。9.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储设备控制程序，当所述设备控制程序被处理器执行时，实现如权利要求1至7中任一项所述的方法。
技术总结本发明涉及场景评价方法和装置、电子设备和存储介质。该方法包括获得测试场景和真实场景，其中场景是时间维度上连续的同一个目标的数据序列，测试场景是在路试或测试场内获得的场景，真实场景是对测试场景进行标注后获得的场景；对测试场景和真实场景进行过滤；将过滤后的测试场景和真实场景进行匹配；对匹配好的测试场景和真实场景，进行分类；对分类好的场景结果，进行计算和统计，生成结果报告。根据本发明的一个或多个实施方式，可以用最少的时间和人力成本达到更好的效果。和人力成本达到更好的效果。和人力成本达到更好的效果。
技术研发人员：马磊 柴可宁 董健 刘飞龙
受保护的技术使用者：北京宏景智驾科技有限公司
技术研发日：2022.05.23
技术公布日：2022/7/5
