1.本技术实施例涉及自动驾驶技术领域，具体涉及一种基于双目立体匹配的匹配代价矩阵生成方法和系统。
背景技术：2.随着人们对更加安全和便捷出行的需求的日益增长，智能驾驶技术正处于蓬勃发展时期，感知和理解环境的能力是汽车智能系统的基础和前提。智能车辆通过双目相机采集视图，并对双目立体匹配，在感知周围环境后做出分析，通过将信息提供给控制系统，实现对路面情况的检测。
3.双目立体匹配可划分为四个步骤，即匹配代价计算、代价聚合、视差计算和视差优化。在匹配代价计算中，传统双目立体匹配往往使用手工特征。这种特征一般只能提取较浅的信息，无论是单独使用，还是互相组合，都很难生成准确的匹配代价矩阵，则后续步骤无法得到准确的数据支持，导致双目立体匹配的准确性较差。
技术实现要素：4.为此，本发明提供一种基于双目立体匹配的匹配代价矩阵生成方法和系统，以提高匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。
5.为了实现上述目的，本技术实施例提供如下技术方案：根据本技术实施例的第一方面，提供了一种基于双目立体匹配的匹配代价矩阵生成方法，所述方法包括：获取目标区域的左图和右图；将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。
6.进一步地，预训练匹配代价模型，具体包括以下步骤：获取匹配代价矩阵样本；将所述匹配代价矩阵样本输入深度训练模型中进行训练，以得到匹配代价模型。
7.进一步地，获取匹配代价矩阵样本，具体包括：获取左图样本和右图样本；将所述左图样本和所述右图样本分别输入预训练的全景分割模型，以得到左特征图样本和右特征图样本；计算左特征图样本和右特征图样本中各视差点的相似度，以得到匹配代价矩阵样本；其中，所述全景分割模型是利用全景分割数据集进行训练得到的。
8.进一步地，通过预先搭建的全景分割网络，使用所述全景分割数据集训练得到全景分割模型。
9.进一步地，所述全景分割网络为u型结构。
10.根据本技术实施例的第二方面，提供了一种基于双目立体匹配的匹配代价矩阵生成系统，所述系统包括：视图获取单元，用于获取目标区域的左图和右图；特征图生成单元，用于将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；代价矩阵生成单元，用于计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。
11.根据本技术实施例的第三方面，提供了一种电子设备，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。
12.根据本技术实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。
13.在一种或几种具体实施方式中，本发明所提供的基于双目立体匹配的匹配代价矩阵生成方法，具有以下技术效果：在立体匹配任务中，将深度学习方法和传统方法进行融合，深度学习负责编码提取特征，传统方法负责解码获得结果；同时，使用全景分割任务训练得到图像特征，既可以得到不同物体间的边缘信息，又可以增加深度网络的泛化性；使用深度学习提取的特征，用于匹配代价计算的方法，既可以生成较为准确的匹配代价矩阵，又可以在边缘计算平台上实时运行。从而提高了匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。
附图说明
14.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
15.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
16.图1为本发明所提供的基于双目立体匹配的匹配代价矩阵生成方法一种具体实施方式的流程图；
图2为图1所示方法中匹配代价模型的训练过程流程图；图3为图2所示方法中样本获取的流程图；图4为图2所示训练方法所利用的全景分割网络的网络结构图；图5为本发明所提供的基于双目立体匹配的匹配代价矩阵生成系统一种具体实施方式的结构框图。
具体实施方式
17.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.为了解决双目立体匹配中，匹配代价矩阵准确性较低的问题，本发明提供了一种匹配代价矩阵生成方法，该方法使用深度学习提取的特征，用于匹配代价计算的方法，既可以生成较为准确的匹配代价矩阵，又可以在边缘计算平台上实时运行。
19.请参考图1，图1为本发明所提供的基于双目立体匹配的匹配代价矩阵生成方法一种具体实施方式的流程图。
20.在一种具体实施方式中，本发明所提供的基于双目立体匹配的匹配代价矩阵生成方法包括以下步骤：s101：获取目标区域的左图和右图；s102：将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；由于同等需要图像上每个点的特征，所以选择对像素点一对一转换的任务，比如实例分割（将每个点色彩信息转换为物体id）、语义分割（将每个点色彩信息转换为类别）、全景分割（实例分割+语义分割）、深度估计（将每个点色彩信息转换为深度）等；使用深度学习方法得到一组层次深、纬度高、与输入图像同尺寸的特征图。
21.s103：计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。
22.进一步地，在得到匹配代价矩阵之后，通过代价聚合、视差计算和视差优化完成立体匹配，其中，代价聚合时sgm每个点的视差由前一个点和当前点的视差融合得到；视差计算时，argmax取相似度最大的视差，作为该点的视差值；视差优化时，如滤波去除离群点、补全被遮挡区域视差。
23.在一些实施例中，如图2所示，预训练匹配代价模型，具体包括以下步骤：s201：获取匹配代价矩阵样本；s202：将所述匹配代价矩阵样本输入深度训练模型中进行训练，以得到匹配代价模型。
24.其中，如图3所示，获取匹配代价矩阵样本，具体包括以下步骤：s301：获取左图样本和右图样本，具体地，使用双目立体相机采图，获得左图样本和右图样本。样本数量可以为多个，具体样本数量可根据模型训练精度要求确定，不做限
定。
25.s302：将所述左图样本和所述右图样本分别输入预训练的全景分割模型，以得到左特征图样本和右特征图样本。具体地，通过预先搭建的全景分割网络，使用所述全景分割数据集训练得到全景分割模型，所述全景分割网络为u型结构。在一个具体使用场景中，搭建一个全景分割网络，如图4所示，该全景分割网络使用u型结构，利用全景分割数据集进行训练，获得特征提取模型，该特征提取模型即为全景分割模型。将左右图分别输入该全景分割模型，获取一个和原图同尺寸的左右特征图，一般选用输出层的上一层。
26.s303：计算左特征图样本和右特征图样本中各视差点的相似度，以得到匹配代价矩阵样本；计算左右特征图在不同视差下的余弦相似度，得到一个值在0~1之间的匹配代价矩阵。其中，越接近0表示相似度越低，越接近1表示相似度越高。
27.其中，所述全景分割模型是利用全景分割数据集进行训练得到的。
28.在上述具体实施方式中，本发明所提供的方法，在立体匹配任务中，将深度学习方法和传统方法进行融合，深度学习负责编码提取特征，传统方法负责解码获得结果；同时，使用全景分割任务训练得到图像特征，既可以得到不同物体间的边缘信息，又可以增加深度网络的泛化性；使用深度学习提取的特征，用于匹配代价计算的方法，既可以生成较为准确的匹配代价矩阵，又可以在边缘计算平台上实时运行。提高了匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。
29.除了上述方法，本发明还提供了一种基于双目立体匹配的匹配代价矩阵生成系统，如图5所示，所述系统包括：视图获取单元100，用于获取目标区域的左图和右图；特征图生成单元200，用于将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；代价矩阵生成单元300，用于计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。
30.在上述具体实施方式中，本发明所提供的系统在立体匹配任务中，将深度学习方法和传统方法进行融合，深度学习负责编码提取特征，传统方法负责解码获得结果；同时，使用全景分割任务训练得到图像特征，既可以得到不同物体间的边缘信息，又可以增加深度网络的泛化性；使用深度学习提取的特征，用于匹配代价计算的方法，既可以生成较为准确的匹配代价矩阵，又可以在边缘计算平台上实时运行。提高了匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。
31.基于相同的技术构思，本技术实施例还提供了一种电子设备，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。
32.基于相同的技术构思，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。
33.本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同
相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
34.需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
35.虽然本技术提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境）。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
36.上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
37.本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
38.本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机可读存储介质中。
39.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备
（可以是个人计算机，移动终端，服务器，或者网络设备等）执行本技术各个实施例或者实施例的某些部分所述的方法。
40.本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
41.以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
技术特征：1.一种基于双目立体匹配的匹配代价矩阵生成方法，其特征在于，所述方法包括：获取目标区域的左图和右图；将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。2.如权利要求1所述的匹配代价矩阵生成方法，其特征在于，预训练匹配代价模型，具体包括以下步骤：获取匹配代价矩阵样本；将所述匹配代价矩阵样本输入深度训练模型中进行训练，以得到匹配代价模型。3.如权利要求2所述的匹配代价矩阵生成方法，其特征在于，获取匹配代价矩阵样本，具体包括：获取左图样本和右图样本；将所述左图样本和所述右图样本分别输入预训练的全景分割模型，以得到左特征图样本和右特征图样本；计算左特征图样本和右特征图样本中各视差点的相似度，以得到匹配代价矩阵样本；其中，所述全景分割模型是利用全景分割数据集进行训练得到的。4.如权利要求3所述的匹配代价矩阵生成方法，其特征在于，通过预先搭建的全景分割网络，使用所述全景分割数据集训练得到全景分割模型。5.如权利要求4所述的匹配代价矩阵生成方法，其特征在于，所述全景分割网络为u型结构。6.一种基于双目立体匹配的匹配代价矩阵生成系统，其特征在于，所述系统包括：视图获取单元，用于获取目标区域的左图和右图；特征图生成单元，用于将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；代价矩阵生成单元，用于计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。7.一种电子设备，其特征在于，所述电子设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-5任一项所述的方法。
技术总结本发明公开了一种基于双目立体匹配的匹配代价矩阵生成方法和系统，所述方法包括：获取目标区域的左图和右图；将所述左图和所述右图输入预训练的匹配代价模型，以得到左特征图和右特征图；计算所述左特征图和右特征图在多个视差点的相似度，以得到匹配代价矩阵；其中，所述匹配代价模型是利用匹配代价矩阵样本，在深度训练模型中进行训练得到的。提高了匹配代价矩阵的准确性，为保证双目立体匹配的准确性提供数据支持。提供数据支持。提供数据支持。
技术研发人员：王鹏 杨超 葛方海 刘永才
受保护的技术使用者：北京中科慧眼科技有限公司
技术研发日：2022.05.24
技术公布日：2022/7/5
