1.本公开涉及一种三维特征图的特征提取方法和装置、存储介质、电子设备。
背景技术：2.随着3d模型在例如自动驾驶等领域中的应用需求量的增大，三维卷积处理的支持势在必行，但是由于现有的硬件部件大多数情况下仅对二维卷积处理进行支持；并且，硬件的开发相对于算法的演进存在一些滞后性，因此，现有技术中的硬件部件通常无法支持三维卷积处理。
技术实现要素：3.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种三维特征图的图像特征提取方法和装置、存储介质、电子设备。
4.根据本公开的一个方面，提供了一种三维特征图的特征提取方法，包括：
5.基于待处理的三维特征图的深度信息，确定叠加参数；
6.基于所述深度信息和所述叠加参数，将所述三维特征图分解为多个目标二维特征图；
7.分别对所述多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图；
8.基于所述多个初始特征图，确定所述三维特征图对应的目标特征图。
9.根据本公开的另一方面，提供了一种三维特征图的特征提取装置，包括：
10.参数确定模块，用于基于待处理的三维特征图的深度信息，确定叠加参数；
11.特征图分解模块，用于基于所述深度信息和所述参数确定模块确定的叠加参数，将所述三维特征图分解为多个目标二维特征图；
12.卷积处理模块，用于分别对所述特征图分解模块得到的多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图；
13.特征确定模块，用于基于所述卷积处理模块得到的多个初始特征图，确定所述三维特征图对应的目标特征图。
14.根据本公开的又一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的三维特征图的特征提取方法。
15.根据本公开的还一方面，提供了一种电子设备，所述电子设备包括：
16.处理器；
17.用于存储所述处理器可执行指令的存储器；
18.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的三维特征图的特征提取方法。
19.基于本公开上述实施例提供的一种三维特征图的特征提取方法和装置、存储介
质、电子设备，通过基于深度信息和叠加参将待处理三维特征图分解为多个目标二维特征图，使支持二维卷积处理的硬件设备可以对目标二维特征图进行处理，并基于目标二维特征图处理得到的初始特征图确定待处理三维特征图对应的目标特征图，即通过二维卷积处理实现对三维特征图的三维卷积处理，由于处理过程仅依赖于二维卷积处理实现，因此，无需改变硬件结构，实现仅基于支持二维卷积处理的硬件即可实现对三维特征图的三维卷积处理。
附图说明
20.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
21.图1是本公开一示例性实施例提供的conv3d向conv2d映射的示意图。
22.图2是本公开一示例性实施例提供的三维特征图的特征提取方法的流程示意图。
23.图3是本公开图2所示的实施例中步骤202的一流程示意图。
24.图4a是本公开图2所示的实施例中步骤204的一流程示意图。
25.图4b是本公开图4a所示的实施例中步骤2042的一流程示意图。
26.图5是本公开图2所示的实施例中步骤206的一流程示意图。
27.图6是本公开图2所示的实施例中步骤208的一流程示意图。
28.图7是本公开一示例性实施例提供的三维特征图的特征提取装置的结构示意图。
29.图8是本公开另一示例性实施例提供的三维特征图的特征提取装置的结构示意图。
30.图9是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
31.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
32.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
33.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
34.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
35.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
36.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
37.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
38.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
39.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
40.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
41.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
42.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
43.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
44.申请概述
45.在实现本公开的过程中，发明人发现，现有技术提供的硬件设备仅能支持二维卷积处理，无法支持三维卷积处理。
46.3d卷积(conv3d)网络的卷积处理的伪代码如下所示：
47.48.基于上述伪代码可知3d卷积的计算流程包括8层循环：最外层循环是计算输出cout迭代，向内第2-4层循环是依次在h(height，指特征图的高)，w(width，指特征图的宽)，d(depth,指特征图的深度，即3d特征图相对2d特征图增加的维度)维度上执行加和运算；再向内第5-7层循环是输出点所需要的一个kernel(做卷积运算的时候的卷积核，以卷积核为单位在特征图上进行滑动做乘加运算)在输入上的滑动，需要将h,w,d三个方向的kernel大小进行累加，表示为kh，kw，kd；最内层循环是输入channel(通道，2d卷积和3d卷积共有的一个维度，在该维度上不做滑动，只做累加)方向上的累加。
49.总的来说，外层的4层循环是4维输出点(不考虑batch)的遍历，内层的4层循环是一个输出点所需要的乘累加数据的遍历。
50.3d卷积(conv3d)与2d卷积(conv2d)的区别在于：不仅在conv2d包括的h,w的方向滑动，同时也在d方向上滑动，并且kernel为四维，同时在h,w,d方向上滑动。
51.图1是本公开一示例性实施例提供的conv3d向conv2d映射的示意图。如图1所示，本公开实施例通过将3d卷积中d维度的循环放在最外层，将3d特征图(feature)的3d卷积处理拆分成独立的(d/kd)个conv2d，对3d特征图在d方向上进行拆分，其中，2d卷积每次计算的卷积核依旧为3d卷积核(kh*kw*kd)的大小，只不过在2d卷积中的卷积核的c大小为kd*c(即，本公开实施例采用叠加到c方向做kd的累加，实现将d维度的循环放在最外层)，并且2d卷积每次计算的结果为d方向上输出一个点的特征图(h*w)，在d方向上叠加每个2d卷积输出的特征图，即可得到3d卷积对应的3d特征图。
52.将conv3d拆分为conv2d的计算流程可通过以下伪代码实现：
[0053][0054]
由于，相比于conv2d，conv3d多了d维数据，所以将conv3d转成conv2d，就是将d维数据的计算提取出来，其中包括输出点d数据跟输入上kernel d的累加(kd)，这里将d维数据的遍历放在了计算的最外层，kernel d上的累加叠加到了输入channel方向上，在这个伪代码中，除了最外层的d维，最内层的循环即是一个conv2d，其中，该conv2d为：输入feature shape:h*w*(ci*kd)；weight shape为：kh*kw*(ci*kd)，通过将conv2d循环d/kd次实现3d卷积运算。
[0055]
示例性方法
[0056]
图2是本公开一示例性实施例提供的三维特征图的特征提取方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤：
[0057]
步骤202，基于待处理的三维特征图的深度信息，确定叠加参数。
[0058]
其中，三维深度图中包括二维深度图所不包括的的深度信息，例如，可以为通过d表示三维深度图的深度信息，叠加参数可以为3d卷积在深度方向上的卷积核大小，例如，上述实施例所提供的kd。
[0059]
步骤204，基于深度信息和叠加参数，将三维特征图分解为多个目标二维特征图。
[0060]
本实施例中，通过对三维特征图在深度方向上进行分解，以获得多个目标二维特征图，此时每个目标二维特征图都可以通过2d卷积执行卷积运算。
[0061]
步骤206，分别对多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图。
[0062]
其中，每个目标二维特征图对应一个初始特征图。
[0063]
基于三维特征图分解得到的目标二维特征图每个都是二维的特征图，此时，对于二维特征图直接通过conv2d即可进行计算，以得到每个目标二维特征图对应的初始特征图。
[0064]
步骤208，基于多个初始特征图，确定三维特征图对应的目标特征图。
[0065]
由于多个初始特征图中每个初始特征图中都不包括三维特征图在深度方向上的深度信息，为了获得三维特征图对应的目标特征图，本实施例可将多个初始特征图进行例如叠加等操作，以得到目标特征图。
[0066]
本公开上述实施例提供的一种三维特征图的特征提取方法，通过基于深度信息和叠加参将待处理三维特征图分解为多个目标二维特征图，使支持二维卷积处理的硬件设备可以对目标二维特征图进行处理，并基于目标二维特征图处理得到的初始特征图确定待处理三维特征图对应的目标特征图，即通过二维卷积处理实现对三维特征图的三维卷积处理，由于处理过程仅依赖于二维卷积处理实现，因此，无需改变硬件结构，实现仅基于支持二维卷积处理的硬件即可实现对三维特征图的三维卷积处理。
[0067]
如图3所示，在上述图2所示实施例的基础上，步骤202可包括如下步骤：
[0068]
步骤2021，确定对三维特征图进行三维卷积处理时对应的三维卷积核中的权重值。
[0069]
通过现有三维卷积网络对三维特征图进行处理时，卷积核为三维卷积和，其中，该三维卷积核中包括二维卷积处理时不包括的深度维度的信息，本实施例中，为了将三维特征图分解为可以被二维卷积网络处理的二维特征图，可参照三维卷积核来确定如何对三维特征图进行分解。
[0070]
步骤2022，基于三维卷积核中对应深度维度的第一权重值，确定叠加参数。
[0071]
可选地，以该第一权重值作为叠加参数。
[0072]
本实施例中，三维卷积核中，不同维度对应三维特征图中的不同维度，即，三维卷积核中的深度维度对应三维特征图中的深度信息，因此，为了将三维特征图中的深度信息进行分解，可通过三维卷积核中的深度维度对应的第一权重值作为叠加参数，基于该叠加参数和三维特征图中的深度信息即可将三维特征图从深度维度进行分解，使分解后的特征图可以通过二维卷积进行处理，提高了三维特征图的分解效率。
[0073]
如图4a所示，在上述图2所示实施例的基础上，步骤204可包括如下步骤：
[0074]
步骤2041，对三维特征图在深度方向上进行分解，将三维特征图分解为第一数量的二维特征图。
[0075]
其中，第一数量为大于1的整数。
[0076]
可选地，第一数量可以由三维特征图的深度信息和叠加参数确定，例如，深度信息除以叠加参数得到的整数。
[0077]
步骤2042，分别基于叠加参数对第一数量的二维特征图中每个二维特征图中的通道维度进行扩展，得到第一数量的目标二维特征图。
[0078]
本实施例中，由于将三维特征图在深度方向进行了拆分，例如，将三维特征图拆分成独立的d/kd个二维特征图；而三维卷积处理在深度方向上执行的是卷积操作，因此，需要在其他部分将叠加参数的累加进行弥补，本实施例通过叠加到通道维度(例如，c方向)做叠加参数的累加，或者单独做一次kernel的累加，以弥补将深度信息拆分产生的计算差异，是获得的每个目标二维特征图中包括了部分三维特征图中深度信息卷积处理的信息，进行实现叠加第一数量的目标二维特征图，即可得到三维特征图对应的目标特征图的目的。
[0079]
如图4b所示，在上述图4a所示实施例的基础上，步骤2042可包括如下步骤：
[0080]
步骤401，基于叠加参数在三维特征图的深度信息方向进行设定步长的移动。
[0081]
可选地，设定步长为叠加参数在深度信息方向移动的距离，设定步长的值可根据实际场景进行设置，例如，以三维特征图的维度为1x111x111x111(深度信息的维度)x64为例，三维卷积核(kernel)的维度为3x3x3,填充(padding)的维度为1x1x1,三维卷积的步长(stride)的维度为1x1x1，可以拆成111个conv2d，在该例子中，设定步长的为1。
[0082]
步骤402，基于第一数量次移动得到的第一数量组二维图像组，确定第一数量的目标二维特征图。
[0083]
本实施例中，每个二维图像组可作为一个目标二维特征图，通过基于设定步长在深度信息方向进行移动，每次移动可获得一个二维图像组，具体获得目标二维特征图的过程可包括：
[0084]
基于第一数量次移动中每次移动，获得一组包括叠加参数数量的二维特征图的二维特征图组；
[0085]
以二维特征图组中的每个二维特征图作为目标二维特征图中的一个通道的特征图，得到第一数量的通道数量为叠加参数数量的目标二维特征图。
[0086]
本实施例中，通过每次移动，获得深度信息被拆分的二维特征图组，为了减少深度信息在拆分过程中丢失的信息量，本实施例通过在通道方向以叠加参数进行叠加操作，例如，三维特征图的通道数为64(例如，三维特征图的维度为：1x111x111x111x64)，叠加参数为3，经过拆分后得到的目标二维特征图的通道数为3x64，得到在深度维度的第一个点计算所需的二维特征图的维度为：1x111x111x(2x64)；本实施例通过在通道维度进行叠加，提升了目标二维特征图对三维特征图中的深度信息的表达，进而提高了基于目标二维特征图得到的目标特征图的准确性。
[0087]
如图5所示，在上述图2所示实施例的基础上，步骤206可包括如下步骤：
[0088]
步骤2061，基于对三维特征图进行三维卷积处理时对应的三维卷积核，确定二维卷积处理中对应的二维卷积核。
[0089]
可选地，基于三维卷积核获得的二维卷积核可以是直接将深度维度消除得到的，或者在消除深度维度的基础上，在其他维度上进行补充后得到二维卷积核。
[0090]
步骤2062，基于二维卷积核分别对多个目标二维特征图中的每个目标二维特征图
执行二维卷积处理，得到多个初始特征图。
[0091]
本实施例中，利用二维卷积核执行卷积计算的过程，由于卷积计算的对象(目标二维特征图)和卷积核都是二维的，因此，计算过程与普通二维卷积计算的过程相同，对每个目标二维特征图分别执行二维卷积处理，即可得到多个初始特征，基于多个初始特征来确定目标特征图，即实现了通过二维卷积运算实现对三维特征图的三维卷积处理，此时无需对硬件进行处理，仅需能够支持二维卷积计算的硬件即可实现三维特征图的特征提取。
[0092]
可选地，步骤2061可以包括：
[0093]
a1，将三维卷积核中对应深度维度的第一取值与三维卷积核中对应通道维度的第二取值进行合并，得到第三取值。
[0094]
其中，第三取值可以等于第一取值乘以第二取值得到的乘积。
[0095]
a2，基于第三取值作为二维卷积核中对应的通道维度值，得到维度数量压缩的二维卷积核。
[0096]
本实施例中，由于将三维特征图分解为多个目标二维特征图的过程中，在目标二维特征图的通道维度执行了叠加，因此，在对应的卷积核中，同样对通道维度进行叠加，即，通第一取值与第二取值的乘积作为二维卷积和中的通道维度值，使二维卷积核与目标二维特征图的维度相对应，更便于实现对目标二维特征图的卷积计算。
[0097]
如图6所示，在上述图2所示实施例的基础上，步骤208可包括如下步骤：
[0098]
步骤2081，将多个初始特征在深度方向上进行叠加。
[0099]
步骤2082，得到深度信息对应初始特征的数量值的目标特征图。
[0100]
本实施例中，通过将多个初始特征在特征图的深度方向上进行叠加，通过在深度方向上的叠加，实现输出的目标特征图能够体现深度信息，即，还原了三维特征图经过三维卷积处理的结果，实现基于二维卷积计算得到三维卷积处理的结果的技术效果。
[0101]
本公开实施例提供的任一种特征提取方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种三维特征图的特征提取方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种三维特征图的特征提取方法。下文不再赘述。
[0102]
示例性装置
[0103]
图7是本公开一示例性实施例提供的三维特征图的特征提取装置的结构示意图。如图7所示，本实施例提供的装置包括：
[0104]
参数确定模块71，用于基于待处理的三维特征图的深度信息，确定叠加参数。
[0105]
特征图分解模块72，用于基于深度信息和参数确定模块71确定的叠加参数，将三维特征图分解为多个目标二维特征图。
[0106]
卷积处理模块73，用于分别对特征图分解模块72得到的多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图。
[0107]
特征确定模块74，用于基于卷积处理模块73得到的多个初始特征图，确定三维特征图对应的目标特征图。
[0108]
本公开上述实施例提供的一种三维特征图的特征提取装置，通过基于深度信息和叠加参将待处理三维特征图分解为多个目标二维特征图，使支持二维卷积处理的硬件设备可以对目标二维特征图进行处理，并基于目标二维特征图处理得到的初始特征图确定待处
理三维特征图对应的目标特征图，即通过二维卷积处理实现对三维特征图的三维卷积处理，由于处理过程仅依赖于二维卷积处理实现，因此，无需改变硬件结构，实现仅基于支持二维卷积处理的硬件即可实现对三维特征图的三维卷积处理。
[0109]
图8是本公开另一示例性实施例提供的特征提取装置的结构示意图。如图8所示，本实施例提供的装置，其中，参数确定模块71包括：
[0110]
权重确定单元711，用于确定对三维特征图进行三维卷积处理时对应的三维卷积核中的权重值。
[0111]
叠加参数单元712，用于基于三维卷积核中对应深度维度的第一权重值，确定叠加参数。
[0112]
在一些可选的实施例中，特征图分解模块72，包括：
[0113]
深度信息分解单元721，用于对三维特征图在深度方向上进行分解，将三维特征图分解为第一数量的二维特征图。
[0114]
其中，第一数量为大于2的整数。
[0115]
通道扩展单元722，用于分别基于叠加参数对第一数量的二维特征图中每个二维特征图中的通道维度进行扩展，得到第一数量的目标二维特征图。
[0116]
可选地，深度信息分解单元721，具体用于基于叠加参数在三维特征图的深度信息方向进行设定步长的移动；基于第一数量次移动得到的第一数量组二维图像组，确定第一数量的目标二维特征图。
[0117]
可选地，深度信息分解单元721，还用于基于第一数量次移动中每次移动，获得一组包括叠加参数数量的二维特征图的所述二维特征图组；以二维特征图组中的每个二维特征图作为目标二维特征图中的一个通道的特征图，得到第一数量的通道数量为叠加参数数量的目标二维特征图。
[0118]
在一些可选的实施例中，卷积处理模块73，包括：
[0119]
卷积核确定单元731，用于基于对三维特征图进行三维卷积处理时对应的三维卷积核，确定二维卷积处理中对应的二维卷积核。
[0120]
二维卷积单元732，用于基于二维卷积核分别对多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图。
[0121]
可选地，卷积核确定单元731，具体用于将三维卷积核中对应深度维度的第一取值与三维卷积核中对应通道维度的第二取值进行合并，得到第三取值；基于第三取值作为二维卷积核中对应的通道维度值，得到维度数量压缩的二维卷积核。
[0122]
在一些可选的实施例中，特征确定模块74，包括：
[0123]
叠加单元741，用于将多个初始特征在深度方向上进行叠加。
[0124]
目标特征单元742，用于得到深度信息对应初始特征的数量值的目标特征图。
[0125]
示例性电子设备
[0126]
下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
[0127]
图9图示了根据本公开实施例的电子设备的框图。
[0128]
如图9所示，电子设备90包括一个或多个处理器91和存储器92。
[0129]
处理器91可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。
[0130]
存储器92可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器91可以运行所述程序指令，以实现上文所述的本公开的各个实施例的三维特征图的特征提取方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0131]
在一个示例中，电子设备90还可以包括：输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0132]
例如，在该电子设备是第一设备100或第二设备200时，该输入装置93可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置93可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
[0133]
此外，该输入装置93还可以包括例如键盘、鼠标等等。
[0134]
该输出装置94可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0135]
当然，为了简化，图9中仅示出了该电子设备90中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
[0136]
示例性计算机程序产品和计算机可读存储介质
[0137]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维特征图的特征提取方法中的步骤。
[0138]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0139]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维特征图的特征提取方法中的步骤。
[0140]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0141]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0142]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0143]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0144]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0145]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
技术特征：1.一种三维特征图的特征提取方法，包括：基于待处理的三维特征图的深度信息，确定叠加参数；基于所述深度信息和所述叠加参数，将所述三维特征图分解为多个目标二维特征图；分别对所述多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图；基于所述多个初始特征图，确定所述三维特征图对应的目标特征图。2.根据权利要求1所述的方法，其中，所述基于待处理的三维特征图的深度信息，确定叠加参数，包括：确定对所述三维特征图进行三维卷积处理时对应的三维卷积核中的权重值；基于所述三维卷积核中对应深度维度的第一权重值，确定所述叠加参数。3.根据权利要求1或2所述的方法，其中，所述基于所述深度信息和所述叠加参数，将所述三维特征图分解为多个目标二维特征图，包括：对所述三维特征图在深度方向上进行分解，将所述三维特征图分解为第一数量的二维特征图；其中，所述第一数量n为大于2的整数；分别基于所述叠加参数对所述第一数量的二维特征图中每个二维特征图中的通道维度进行扩展，得到第一数量的所述目标二维特征图。4.根据权利要求3所述的方法，其中，所述分别基于所述叠加参数对所述第一数量的二维特征图中每个二维特征图中的通道维度进行扩展，得到第一数量的所述目标二维特征图，包括：基于所述叠加参数在所述三维特征图的深度信息方向进行设定步长的移动；基于第一数量次移动得到的第一数量组二维图像组，确定第一数量的所述目标二维特征图。5.根据权利要求4所述的方法，其中，所述基于第一数量次移动得到的第一数量组二维图像组，确定第一数量的所述目标二维特征图，包括：基于所述第一数量次移动中每次移动，获得一组包括所述叠加参数数量的二维特征图的所述二维特征图组；以所述二维特征图组中的每个所述二维特征图作为目标二维特征图中的一个通道的特征图，得到第一数量的通道数量为叠加参数数量的所述目标二维特征图。6.根据权利要求1-5任一所述的方法，其中，所述分别对所述多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图，包括：基于对所述三维特征图进行三维卷积处理时对应的三维卷积核，确定二维卷积处理中对应的二维卷积核；基于所述二维卷积核分别对所述多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图。7.根据权利要求6所述的方法，其中，所述基于对所述三维特征图进行三维卷积处理时对应的三维卷积核，确定二维卷积处理中对应的二维卷积核，包括：将所述三维卷积核中对应深度维度的第一取值与所述三维卷积核中对应通道维度的第二取值进行合并，得到第三取值；基于所述第三取值作为所述二维卷积核中对应的通道维度值，得到维度数量压缩的所
述二维卷积核。8.根据权利要求1-7任一所述的方法，其中，所述基于所述多个初始特征，确定所述三维特征图对应的目标特征图，包括：将所述多个初始特征在深度方向上进行叠加；得到深度信息对应所述初始特征的数量值的所述目标特征图。9.一种三维特征图的特征提取装置，包括：参数确定模块，用于基于待处理的三维特征图的深度信息，确定叠加参数；特征图分解模块，用于基于所述深度信息和所述参数确定模块确定的叠加参数，将所述三维特征图分解为多个目标二维特征图；卷积处理模块，用于分别对所述特征图分解模块得到的多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图；特征确定模块，用于基于所述卷积处理模块得到的多个初始特征图，确定所述三维特征图对应的目标特征图。10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的三维特征图的特征提取方法。11.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的三维特征图的特征提取方法。
技术总结公开了一种三维特征图的特征提取方法和装置、可读存储介质、电子设备,其中，方法包括：基于待处理的三维特征图的深度信息，确定叠加参数；基于所述深度信息和所述叠加参数，将所述三维特征图分解为多个目标二维特征图；分别对所述多个目标二维特征图中的每个目标二维特征图执行二维卷积处理，得到多个初始特征图；基于所述多个初始特征图，确定所述三维特征图对应的目标特征图。征图对应的目标特征图。征图对应的目标特征图。
技术研发人员：张祎男 李德林 李建军
受保护的技术使用者：北京地平线机器人技术研发有限公司
技术研发日：2022.04.22
技术公布日：2022/7/5
