1.本公开涉及计算机技术领域，尤其涉及虚拟/增强现实、计算机视觉技术领域。
背景技术：2.三维建模，将真实场景的三维物体在计算机中构建数学模型的过程，是计算机图形学和计算机视觉中重要研究领域。三维建模通过获取、分析现实世界中物体和场景的外形结构、几何信息等，以模拟数字空间中的三维交互和感知，全方位的展示真实物体的特性。
3.三维建模具有相当广泛的用途，其中，对于建模及导航、视觉监控、虚拟现实、人机交互、计算机辅助设计等领域，是场景目标感知与理解的基础和关键技术。
技术实现要素：4.本公开提供了一种用于三维重建的方法、装置、设备、介质及产品。
5.根据本公开的一方面，提供了一种三维重建方法，包括：获取包括目标物体的图像集合；提取所述图像集合中图像的特征点；确定对所述图像集合中图像进行排序的顺序，并基于所述顺序对所述图像进行排序；根据所述图像的特征点，对排序后的所述图像进行特征点匹配，得到特征点匹配对；基于所述特征点匹配对，对所述目标物体进行三维重建。
6.根据本公开的另一方面，提供了一种三维重建装置，包括：获取模块，用于获取包括目标物体的图像集合；提取模块，用于提取所述图像集合中图像的特征点；确定模块，用于确定对所述图像集合中图像进行排序的顺序，并基于所述顺序对所述图像进行排序，并根据所述图像的特征点，对排序后的所述图像进行特征点匹配，得到特征点匹配对；重建模块，用于基于所述特征点匹配对，对所述目标物体进行三维重建。
7.根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项所述的三维重建方法。
8.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项所述的三维重建方法。
9.根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一项所述的三维重建方法。
10.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.附图用于更好地理解本方案，不构成对本公开的限定。其中：
12.图1是根据本公开的三维重建方法的流程示意图；
13.图2是根据本公开的图像特征点匹配示意图；
14.图3a-图3b示出了本公开实施例中，目标物体相对于拍摄台处于第一放置姿态、第二放置姿态的示意图；
15.图4a-图4b示出了根据本公开实施例获取的第一图像集合以及第二图像集合示意图；
16.图5是根据本公开的确定对图像集合中图像进行排序的顺序方法的流程示意图；
17.图6a-图6b示出了根据本公开实施例获取的第一图像集合以及第二图像集合的掩膜图像示意图；
18.图7是根据本公开的基于图像掩膜以及图像的特征点，确定特征图像对方法的流程示意图；
19.图8示出了本公开一示例性实施例中示出的确定特征点匹配对数量最多的图像示意图；
20.图9是根据本公开的基于特征图像对，确定图像集合中图像的排列顺序方法的流程示意图；
21.图10是根据本公开的根据图像的特征点，对排序后的图像进行特征点匹配，得到特征点匹配对方法的流程示意图；
22.图11a-图11c示出了未添加标记物、添加标记物采用传统技术进行三维重建以及添加标记物采用本公开实施例提供的三维重建方式下对应三维重建效果对比图；
23.图12是根据本公开的三维重建装置的框图；
24.图13是用来实现本公开实施例的三维重建方法的电子设备的框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.随着人工智能技术被广泛应用于生活生产，三维建模成为人工智能中视觉部分的关键组成，是计算机图形学和计算机视觉中的重要研究领域。其目标是高质量地捕捉物体和场景的三维形状和外观，以模拟数字空间中的三维交互和感知，通过三维重建所得的模型能够较好反映真实世界中的物体的特征。
27.当前技术中，三维重建方法主要可以分为稀疏重建和稠密重建两部分，稀疏重建主要采用运动恢复结构(structure from motion，sfm)，稠密重建主要采用多视图立体视觉(multi-view stereo，mvs)来计算稠密的点云模型。其中，sfm利用两个场景或多个场景自动恢复相机运动和场景结构，自动完成相机追踪与运动匹配，以计算相机拍摄图像时所在的空间位置和方向。在进行三维重建时，sfm算法提取图像中的特征点进行匹配以确定相机位姿，因此必须保证所有图像中提取到的特征点保持不变。这就要求在对于重建物品进行拍摄时，物品及其背景的相对位置不能改变，限制了对于物品进行拍摄的拍摄方式，由于拍摄方式的限制，难以拍摄物品所有角度的图像。而且对于物品表面纹理特征不够丰富的物品，sfm计算出来的相机位姿不准确或者无法确定相机的位姿。
28.鉴于此，本公开实施例提供了一种三维重建的方法，有效提升图像三维重建中对于缺乏纹理物体的重建完整性。
29.图1是根据本公开的三维重建方法的流程示意图，参照图1，该方法包括以下步骤。
30.在步骤s101中，获取包括目标物体的图像集合。
31.本公开实施例中，在对目标物体进行三维重建时，首先获取目标物体的图像集合。其中，图像集合可以是通过图像采集设备对目标物体进行采集得到的。例如，可以是将目标物体设置于拍摄台上，目标物体与拍摄台之间的相对位置保持不变，图像采集装置设置于固定位置处，拍摄台可以承托目标物体转动，图像采集装置获取目标物品在不同角度对应的图像。
32.在步骤s102中，提取图像集合中图像的特征点。
33.在本公开实施例中，对图像集合中的图像进行特征点检测。其中，特征点可以是目标物体表面的边缘点、角点等具有特征的点。可以理解地，本公开实施例进行目标物体的特征点提取时，可以采用加速稳健特征(speeded up robust features，sruf)、尺度不变特征变换(scale-invariant feature transform，sift)、akaze(kaze的加速版本)、深度学习网络等方法，本公开实施例对此不作限定。其中，kaze用于在非线性尺度空间中进行特征点的检测和描述。
34.在步骤s103中，确定对图像集合中图像进行排序的顺序，并基于顺序对图像进行排序。
35.在步骤s104中，根据图像的特征点，对排序后的图像进行特征点匹配，得到特征点匹配对。
36.图2是根据本公开的图像特征点匹配示意图，在对图像集合进行排序，并得到图像集合中各图像的特征点后，可以对排序后的图像进行特征点匹配，得到匹配的特征点，匹配得到的特征点构成特征点匹配对。图2中左右两部分图像中，通过虚线相连的即为一对匹配的特征点，即特征点匹配对，特征点匹配对用于确定图像之间的关系，以用于网格重建。在进行特征点匹配时，可以采用近似最近邻搜索(approximate nearest neighbor，ann)、光流(optical flow)等方法进行匹配。
37.在步骤s105中，基于特征点匹配对，对目标物体进行三维重建。
38.在本公开实施例中，在得到特征点匹配对后，利用特征点匹配对集合进行三维重建，可以是确定匹配特征点集中各特征点的三维坐标，根据各三维坐标进行三维重建，得到三维重建模型。
39.在确定各匹配特征点的三维坐标后，可以将其作为稀疏点云。结合sfm位姿，可以确定出其中目标物体中各像素点的三维坐标，得到稠密点云。在计算稠密点云时，可以利用多视图簇聚(clustering multi-view stereo，cmvs)、基于面片的多视图簇聚(patch-based multi-view stereo，pmvs)、深度学习算法等实现。
40.通过稠密点云进行表面网格重建，可以根据稠密点云中各点的三维坐标，构建三角面片。将各三角面片连接，能够得到三维重建模型。其中，本公开实施例中还可以利用poisson重建算法等实现三维重建。
41.综上，根据本公开实施例提供的三维重建方法，通过对图像集合中的图像进行排序，对排序后的图像进行特征点匹配，能够减少目标物体与背景发生明显位置变化时导致
的匹配失败，提高sfm位姿计算精确度，优化目标物体的三维重建过程，改善三维重建效果。
42.在本公开示例性的实施方式中，目标物体的图像集合包括第一图像集合与第二图像集合，第一图像集合由多个第一图像构成，第二图像集合由多个第二图像构成，第一图像与第二图像中包括相同的目标物体。第一图像为目标物体相对于拍摄台处于第一放置姿态放置时获取的，第二图像为目标物体相对于拍摄台处于第二放置姿态放置时获取的。第一图像与第二图像中包括相同的随机标记物，随机标记物相对于拍摄台的位置固定设置。
43.例如，可以是通过如下方式获取包括目标物体的第一图像集合，以及第二图像集合。拍摄台表面固定设置随机标记物，随机标记物可以是一个也可以是多个，可以将包括任意图案、文字、线条等纹理相对丰富的物体作为标记物。首先，将目标物体相对于拍摄台以第一放置姿态放置，随着拍摄台以预设方向转动，通过图像采集装置在预设采集位置、依次采集目标物体的第一图像，预设采集位置可以是拍摄台的初始位置，以及，由初始位置每经过预设角度是进行采集的预设采集位置进行，在预设采集位置一次进行图像采集得到第一图像集合。可以理解地，相邻的预设采集位置之间的夹角可以根据需要进行确定，但应满足在相邻的预设采集位置进行采集得到的图像之间，具有一定的重合度，即目标物体与背景之间的相对位置改变较小，保证采集图像的数量的合理，并能够得到三维重建效果。然后，改变目标物体相对于拍摄台的放置姿态，即将目标物体相对于拍摄台以第二放置姿态放置，使拍摄台仍以相同的预设方向转动，重复上述图像采集过程，得到第二图像集合。
44.其中，第一图像集合中的第一图像是按照顺序排列的，也即，第一图像中的第一图像按照相对于拍摄台转动的初始位置逐渐远离的顺序排列。同理，第二图像中的第二图像按照相对于拍摄台转动的初始位置逐渐远离的顺序排列。对于目标物体，存在拍摄于相同的预设采集位置的第一图像与第二图像，也即，第一图像集合中的各第一图像与第二图像集合中的各第二图像一一对应，对应的第一图像和第二图像在同一预设采集位置采集。
45.图3a-图3b示出了本公开实施例中，目标物体相对于拍摄台处于第一放置姿态、第二放置姿态的示意图。其中，目标物体为拍摄台中心的玩偶，第一放置姿态对应玩偶的站立姿态，第二放置姿态对应同一玩偶的卧倒姿态，拍摄台为可以绕通过拍摄台中心的轴旋转，拍摄台表面边缘处贴有随机噪音图案的标记物。
46.图4a-图4b示出了根据本公开实施例获取的第一图像集合以及第二图像集合示意图。参照图4a，目标物体为拍摄台中心的玩偶，拍摄装置固定设置，不随拍摄台的转动而转动，目标物体相对于拍摄台处于第一放置姿态、即站姿，第一图像集合中的第一图像是由玩偶正面朝向拍摄装置的视角，随着拍摄台的顺时针转动，玩偶随着拍摄台转动，玩偶相对于拍摄装置转动，其相对位置逐渐变化，偏离玩偶正面且角度逐渐增大，经过360度的旋转，回复至正面朝向拍摄装置的视角。图3b中示出了相同的拍摄台对相同目标物体的拍摄，且图4b中的目标物体相对于拍摄台处于第二放置姿态、即卧姿，第二图像集合中的各个第二图像与第一图像集合中的各第一图像，与拍摄装置所成角度的变化关系是一一对应的。
47.综上，根据本公开实施例提供的三维重建方法，通过引入随机噪声，优化三维重建过程，提高sfm位姿计算的精确度，从而实现对缺乏表面纹理特征的物体进行有效三维重建。
48.图5是根据本公开的确定对图像集合中图像进行排序的顺序方法的流程示意图，参照图5，该方法包括以下步骤。
49.在步骤s501中，对图像集合中的每个图像进行掩膜处理，得到每个图像中目标物体对应的图像掩膜。
50.图6a-图6b示出了根据本公开实施例获取的第一图像集合以及第二图像集合的掩膜图像示意图。
51.在本公开实施例中，对目标图像的第一图像集合以及第二图像集合中的每个图像进行掩膜(mask)处理，得到对于每个图像、图像中目标物体对应的图像掩膜。其中，可以通过图像掩膜的坐标，确定各图像的掩膜区域。
52.在步骤s502中，基于图像掩膜以及图像的特征点，确定特征图像对。
53.在步骤s503中，基于特征图像对，确定对图像集合中图像进行排序的排列顺序。
54.在本公开实施例中，第一图像集合中的各第一图像与第二图像集合中的各第二图像分别进行特征点匹配，得到各图像中的特征点匹配对，可以根据各图像的掩膜区域，确定各图像的掩膜区域内的特征点匹配对。基于图像掩膜以及图像的特征点，确定特征图像对。其中，特征图像对为一对图像，包括一个第一图像与一个第二图像。可以理解地，第一图像集合中的各第一图像彼此之间，目标物体相对于背景的位置变化较小。第二图像集合中的各第二图像彼此之间，目标物体相对于背景的位置变化较小。确定特征图像对后，基于特征图像对，分别确定对第一图像集合以及第二图像集合中的图像进行排序的排列顺序。使经过排序的图像集合中，经过排序的第一图像集合与经过排序的第二图像集合，首尾相连，构成一个有序排列的图像集合。且特征图像对由目标物体掩膜区域中特征点匹配对数量最多的第一图像、第二图像组成，经过上述排序，使得排序后的图像组合中，相邻的图像之间，重合度较大。
55.综上，根据本公开实施例提供的三维重建方法，通过对图像集合中的每个图像中目标物体对应的掩膜，能够屏蔽掉图像中的背景，确定由第一图像以及第二图像组成的特征图像对，并基于特征图像对，确定对图像集合中图像进行排序的排列顺序，以对第一图像集合与第二图像集合中的各图像进行排序，对排序后的图像进行特征点匹配，能够减少目标物体与背景发生明显位置变化时导致的特征点匹配失败。
56.图7是根据本公开的基于图像掩膜以及图像的特征点，确定特征图像对方法的流程示意图，参照图7，该方法包括以下步骤。
57.在步骤s701中，将第一图像集合与第二图像集合中的图像，两两之间进行特征点匹配，得到特征点匹配对。
58.在步骤s702中，确定图像集合的各图像中，位于掩膜区域的特征点匹配对数量，并在第一图像集合中确定第三图像，在第二图像集合中确定第四图像，第三图像为第一图像集合中特征点匹配对数量的最大值对应的图像，第四图像为第二图像集合中特征点匹配对数量的最大值对应的图像。
59.在步骤s703中，将第三图像与第四图像确定为特征图像对。
60.在本公开实施例中，第一图像集合中的各第一图像与第二图像集合中的各第二图像两两之间分别进行特征点匹配，得到图像集合中各图像的特征点匹配对。基于各图像的掩膜区域，确定各图像中位于其掩膜区域的特征点匹配对数量。然后，在第一图像集合中确定位于图像中掩膜区域的特征点匹配对数量最多的第三图像，在第二图像集合中确定位于图像中掩膜区域的特征点匹配对数量最多的第四图像，并将第三图像与第四图像确定为特
征图像对。
61.图8示出了本公开一示例性实施例中示出的确定特征点匹配对数量最多的图像示意图。参阅图8所示，第一图像集合中包括的图像分别为：1-1、1-2、1-3、1-4、1-5、1-6以及1-7。第二图像集合中包括的图像分别为：2-1、1-2、2-3、2-4、2-5、2-6以及2-7。假设1-5和2-3是掩膜区域内的特征匹配对数量最多的图像对，则1-5为第三图像，2-3为第四图像。
62.综上，根据本公开实施例提供的三维重建方法，通过对图像集合中的每个图像中目标物体对应的掩膜，确定由第一图像以及第二图像组成的特征图像对，并基于特征图像对，对图像集合中图像进行排序，通过对排序后的图像进行特征点匹配，能够减少目标物体与背景发生明显位置变化时导致的特征点匹配失败。
63.图9是根据本公开的基于特征图像对，确定图像集合中图像的排列顺序方法的流程示意图，参照图9，该方法包括以下步骤。
64.在步骤s901中，分别确定特征图像对中的图像在第一图像集合中的第一排列位置，以及在第二图像集合中的第二排列位置。
65.在步骤s902中，基于第一排列位置对第一图像集合进行排序，并基于第二排列位置对第二图像集合进行排序。
66.在步骤s903中，基于特征图像对中图像的位置关系，确定第一图像集合与第二图像集合的排列顺序，排列顺序用于排列第一图像集合中的图像与第二图像集合中的图像。
67.在本公开实施例中，确定包括一个第一图像与一个第二图像的特征图像对后，基于确定的特征图像对，对图像集合中图像进行排序。在进行排序时，分别对第一图像集合与第二图像集合中的图像进行排序，并连接排序后的第一图像集合与第二图像集合，使连接后的图像集合中，特征图像对中的两个图像彼此相邻。
68.为了便于描述，将第一图像记为i
1_i
，将第二图像记为i
2_i
，第一图像集合与第二图像集合中分别包括n个图像。将第一图像集合中的每一第一图像与每一第二图像进行匹配。确定第一图像集合与第一图像集合中，在图像中的掩膜区域内的特征匹配对数量最多的图像对。例如，第三图像i
1_j
和第四图像i
2_k
，将i
1_j
与i
2_k
确定为特征图像对。且i
1_j
与i
2_k
的排列顺序可以是i
1_j
在特征图像对的前位，也可以是i
2_k
处于特征图像对的前位。分别确定i
1_j
在第一图像集合中的位置，并确定i
2_k
在第二图像集合中的位置。在确定特征图像对中的第一图像、第二图像分别在第一图像集合以及第二图像集合中的位置时，分别对第一图像集合、第二图像集合进行排序，使得i
1_j
位于排序后的第一图像集合中的首位或者尾位，并使得排序后的第二图像集合中i
2_k
位于首位或者尾位。
69.若特征图像对中图像的位置关系为i
1_j
、i
2_k
。为了实现第一图像集合与第二图像集合排序后，组成特征图像对的第一图像与第二图像保持相邻。本公开一示例中，先排序第一图像集合，使第二图像集合与第一图像集合相连接，将i
1_j
确定为第一图像集合中的结束图像。此时，i
1_j+1
作为第一图像集合中的起始图像，并将i
2_k
确定为第二图像集合中的起始图像，i
2_k-1
确定为第二图像集合中的结束图像。上述示例中，排序后的图像集合中的图像顺序可以表示为：i
1_j+1
、i
1_j+2
、
……i1_j-1
、i
1_j
、i
2_k
、i
2_k+1
、
……i2_k-1。
70.若特征图像对中图像的位置关系为i
2_k
、i
1_j
。为了实现排序后第一图像与第二图像保持相邻，将i
1_j
作为第一图像集合中的起始图像、i
1_j-1
作为第一图像集合中的结束图像，并将i
2_k+1
确定为第二图像集合中的起始图像，i
2_k
确定为第二图像集合中的结束图像。
先排序第二图像集合，使第二图像集合与第一图像集合相连接。上述示例中，排序后的图像集合中的图像顺序可以表示为：i
2_k+1
、i
2_k+2
、
……i2_k-1
、i
2_k
、i
2_k+1
、i
1_j
、i
1_j+1
…i1_j-1
。
71.综上，根据本公开实施例提供的三维重建方法，通过对第一图像集合以及第二图像集合组成的图像集合进行排序，并基于特征图像对，使第一图像集合与图像集合相连，实现了排序后、相邻图像的重合度较高，通过对排序后的图像进行特征点匹配，能够减少目标物体与背景发生明显位置变化时导致的特征点匹配失败，提升目标物体三维重建的重建效率和重建效果。
72.图10是根据本公开的根据图像的特征点，对排序后的图像进行特征点匹配，得到特征点匹配对方法的流程示意图，参照图10，该方法包括以下步骤。
73.在步骤s1001中，在排序后的图像中，确定第五图像集合，第五图像集合包括特征图像对，以及与特征图像对相邻的预设数量个图像。
74.在步骤s1002中，基于第五图像集合中的各图像的特征点，确定第五图像集合中的各图像位于掩膜区域中的特征点匹配对。
75.在步骤s1003中，将特征点匹配对确定为第五图像集合中的各图像的特征点匹配对。
76.在本公开实施例中，目标物体的图像集合包括的第一图像集合与第二图像集合，分别对应目标物体相对于拍摄台处于不同位置拍摄得到。基于特征图像对，分别对第一图像集合与第二图像集合进行排序，并确定第一图像集合与第二图像集合之间集合的先后顺序，将排序后的第一图像集合与第二图像集合顺序连接。第一图像集合与第二图像集合相互连接的特征图像对，以及与特征图像对相邻的、第一图像以及第二图像，图像中的目标物体和背景间位置的变化明显，将排序后的图像中，特征图像对以及与特征图像对相邻的预设数量个图像确定为第五图像集合。对于第五图像集合中的图像，利用目标物体的图像掩膜去除相邻图像间相对背景位置变化的影响。即，基于第五图像集合中的各图像的特征点，确定第五图像集合中的各图像位于掩膜区域中的特征点匹配对。而对于图像集合中，第五图像集合以外的其他图像，按照图像排列的先后顺序，依次进行匹配，得到特征点匹配对。基于特征点匹配对，对目标物体进行三维重建。
77.图11a、图11b以及图11c示出了未添加标记物、添加标记物采用传统技术进行三维重建以及添加标记物采用本公开实施例提供的三维重建方式下对应三维重建效果对比图。以目标物体包括呈近似垂直状态的两种摆放方式为例进行说明。其中，三维重建后的效果理想情况也应为近似垂直的状态。参阅图11a、图11b以及图11c所示，三棱锥代表相机，黑色点是目标物体的稀疏重建点云。从三棱锥可以看出每一张图像的拍摄位姿。参阅图11a所示，未添加标记物的场景中，由于待重建物品的表面特征较少，只能计算出少量几个相机的位姿，故稀疏重建可能会失败。参阅图11b所示，添加标记物但采用传统技术进行三维重建(例如顺序匹配或暴力匹配的方式)，虽然可以计算出所有相机的位姿，但明目标物体的空间位置错误。参阅图11c所示，添加标记物采用本公开实施例提供的三维重建方式，可以得到所有相机的正确位姿。即，通过本公开实施例提供的三维重建方法，使得稀疏重建可以计算出相机在拍摄每张图像时的空间位姿(位置和姿态)。
78.根据本公开实施例，通过对图像集合进行排序，对排序后特征图像对及其相邻图像，只进行掩膜区域的特征点匹配，去除图像相对于背景位置变化产生的影响，减少目标物
体与背景发生明显位置变化时导致的特征点匹配失败，且特征图像对及其相邻图像中，目标物品表面纹理丰富，从而提升该方法进行特征匹配的鲁棒性，改善目标物体三维重建的重建效果。
79.基于相同的构思，本公开实施例还提供一种三维重建的装置。
80.可以理解的是，本公开实施例提供的装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
81.图12是根据本公开的三维重建装置的框图。
82.如图12所示，本公开实施例的三维重建的装置1200，包括：获取模块1201、提取模块1202、确定模块1203和重建模块1204。
83.获取模块1201，用于获取包括目标物体的图像集合。
84.提取模块1202，用于提取图像集合中图像的特征点。
85.确定模块1203，用于确定对图像集合中图像进行排序的顺序，并基于顺序对图像进行排序，并根据图像的特征点，对排序后的图像进行特征点匹配，得到特征点匹配对。
86.重建模块1204，用于基于特征点匹配对，对目标物体进行三维重建。
87.在本公开示例性的实施方式中，图像集合包括第一图像集合与第二图像集合，第一图像集合包括多个第一图像，第一图像为目标物体相对于拍摄台处于第一放置姿态时、在预设采集位置采集得到的，第一图像集合中的多个第一图像按照预设采集的顺序依次排列；第二图像集合包括多个第二图像，第二图像为目标物体相对于拍摄台处于第二放置姿态时、在预设采集位置采集得到的，第二图像集合中的多个第二图像按照预设采集的顺序依次排列；第一图像与第二图像中包括相同的随机标记物，随机标记物相对于拍摄台的位置固定设置。
88.在本公开示例性的实施方式中，确定模块1203还用于：对图像集合中的每个图像进行掩膜处理，得到每个图像中目标物体对应的掩膜；基于掩膜以及图像的特征点，确定特征图像对；基于特征图像对，确定对图像集合中图像进行排序的排列顺序。
89.在本公开示例性的实施方式中，确定模块1203还用于：将第一图像集合与第二图像集合中的图像，两两之间进行特征点匹配，得到特征点匹配对；确定图像集合的各图像中，位于掩膜区域的特征点匹配对数量，并在第一图像集合中确定第三图像，在第二图像集合中确定第四图像，第三图像为第一图像集合中特征点匹配对数量的最大值对应的图像，第四图像为第二图像集合中特征点匹配对数量的最大值对应的图像；将第三图像与第四图像确定为特征图像对。
90.在本公开示例性的实施方式中，确定模块1203还用于：分别确定特征图像对中的图像在第一图像集合与第二图像集合中的第一排列位置与第二排列位置；基于第一排列位置对第一图像集合进行排序，并基于第二排列位置对第二图像集合进行排序；基于特征图像对中图像的位置关系，确定第一图像集合与第二图像集合的排列顺序，排列顺序用于排列第一图像集合中的图像与第二图像集合中的图像。
91.在本公开示例性的实施方式中，确定模块1203还用于：在排序后的图像中，确定第五图像集合，第五图像集合包括特征图像对，以及与特征图像对相邻的预设数量个图像；基于第五图像集合中的各图像的特征点，确定第五图像集合中的各图像位于掩膜区域中的特征点匹配对；将特征点匹配对确定为第五图像集合中的各图像的特征点匹配对。
92.综上，根据本公开实施例提供的三维重建装置，通过对图像集合中的图像进行排序，对排序后的图像进行特征点匹配，能够减少目标物体与背景发生明显位置变化时导致的匹配失败，提高sfm位姿计算精确度，优化目标物体的三维重建过程，改善三维重建效果。
93.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
94.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
95.图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
96.如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(rom)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(ram)1303中的计算机程序，来执行各种适当的动作和处理。在ram 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、rom 1302以及ram 1303通过总线1304彼此相连。输入/输出(i/o)接口1305也连接至总线1304。
97.设备1300中的多个部件连接至i/o接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
98.计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如三维重建的方法。例如，在一些实施例中，三维重建的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由rom 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到ram 1303并由计算单元1301执行时，可以执行上文描述的三维重建的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行三维重建的方法。
99.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实
现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
100.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
101.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
102.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
103.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
104.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
105.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
106.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明
白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
技术特征：1.一种三维重建方法，包括：获取包括目标物体的图像集合；提取所述图像集合中图像的特征点；确定对所述图像集合中图像进行排序的顺序，并基于所述顺序对所述图像进行排序；根据所述图像的特征点，对排序后的所述图像进行特征点匹配，得到特征点匹配对；基于所述特征点匹配对，对所述目标物体进行三维重建。2.根据权利要求1所述的方法，其中，所述图像集合包括第一图像集合与第二图像集合，所述第一图像集合包括多个第一图像，所述第一图像为所述目标物体相对于拍摄台处于第一放置姿态时、在预设采集位置采集得到的，所述第一图像集合中的多个所述第一图像按照预设采集的顺序依次排列；所述第二图像集合包括多个第二图像，所述第二图像为所述目标物体相对于拍摄台处于第二放置姿态时、在所述预设采集位置采集得到的，所述第二图像集合中的多个所述第二图像按照预设采集的顺序依次排列；所述第一图像与所述第二图像中包括相同的随机标记物，所述随机标记物相对于所述拍摄台的位置固定设置。3.根据权利要求2所述的方法，其中，所述确定对所述图像集合中图像进行排序的顺序，包括：对所述图像集合中的每个图像进行掩膜处理，得到所述每个图像中目标物体对应的图像掩膜；基于所述图像掩膜以及所述图像的特征点，确定特征图像对；基于所述特征图像对，确定对所述图像集合中图像进行排序的排列顺序。4.根据权利要求3所述的方法，其中，所述基于所述图像掩膜以及所述图像的特征点，确定特征图像对，包括：将所述第一图像集合与所述第二图像集合中的图像，两两之间进行特征点匹配，得到特征点匹配对；确定所述图像集合的各图像中，位于掩膜区域的特征点匹配对数量，并在所述第一图像集合中确定第三图像，在所述第二图像集合中确定第四图像，所述第三图像为所述第一图像集合中所述特征点匹配对数量的最大值对应的图像，所述第四图像为所述第二图像集合中所述特征点匹配对数量的最大值对应的图像；将所述第三图像与所述第四图像确定为所述特征图像对。5.根据权利要求3所述的方法，其中，所述基于所述特征图像对，确定对所述图像集合中图像进行排序的排列顺序，包括：分别确定所述特征图像对中的图像在所述第一图像集合中的第一排列位置，以及在所述第二图像集合中的第二排列位置；基于所述第一排列位置对所述第一图像集合进行排序，并基于所述第二排列位置对所述第二图像集合进行排序；基于所述特征图像对中图像的位置关系，确定所述第一图像集合与所述第二图像集合的排列顺序，所述排列顺序用于排列所述第一图像集合中的图像与所述第二图像集合中的
图像。6.根据权利要求3-5中任意一项所述的方法，其中，所述根据所述图像的特征点，对排序后的所述图像进行特征点匹配，得到特征点匹配对，包括：在所述排序后的图像中，确定第五图像集合，所述第五图像集合包括所述特征图像对，以及与所述特征图像对相邻的预设数量个图像；基于所述第五图像集合中的各图像的特征点，确定所述第五图像集合中的各图像位于掩膜区域中的特征点匹配对；将所述特征点匹配对确定为所述第五图像集合中的各图像的特征点匹配对。7.一种三维重建装置，包括：获取模块，用于获取包括目标物体的图像集合；提取模块，用于提取所述图像集合中图像的特征点；确定模块，用于确定对所述图像集合中图像进行排序的顺序，并基于所述顺序对所述图像进行排序，并根据所述图像的特征点，对排序后的所述图像进行特征点匹配，得到特征点匹配对；重建模块，用于基于所述特征点匹配对，对所述目标物体进行三维重建。8.根据权利要求7所述的装置，其中，所述图像集合包括第一图像集合与第二图像集合，所述第一图像集合包括多个第一图像，所述第一图像为所述目标物体相对于拍摄台处于第一放置姿态时、在预设采集位置采集得到的，所述第一图像集合中的多个所述第一图像按照预设采集的顺序依次排列；所述第二图像集合包括多个第二图像，所述第二图像为所述目标物体相对于拍摄台处于第二放置姿态时、在所述预设采集位置采集得到的，所述第二图像集合中的多个所述第二图像按照预设采集的顺序依次排列；所述第一图像与所述第二图像中包括相同的随机标记物，所述随机标记物相对于所述拍摄台的位置固定设置。9.根据权利要求8所述的装置，其中，所述确定模块还用于：对所述图像集合中的每个图像进行掩膜处理，得到所述每个图像中目标物体对应的图像掩膜；基于所述图像掩膜以及所述图像的特征点，确定特征图像对；基于所述特征图像对，确定对所述图像集合中图像进行排序的排列顺序。10.根据权利要求9所述的装置，其中，所述确定模块还用于：将所述第一图像集合与所述第二图像集合中的图像，两两之间进行特征点匹配，得到特征点匹配对；确定所述图像集合的各图像中，位于掩膜区域的特征点匹配对数量，并在所述第一图像集合中确定第三图像，在所述第二图像集合中确定第四图像，所述第三图像为所述第一图像集合中所述特征点匹配对数量的最大值对应的图像，所述第四图像为所述第二图像集合中所述特征点匹配对数量的最大值对应的图像；将所述第三图像与所述第四图像确定为所述特征图像对。11.根据权利要求9所述的装置，其中，所述确定模块还用于：
分别确定所述特征图像对中的图像在所述第一图像集合的第一排列位置，以及在所述第二图像集合中的第二排列位置；基于所述第一排列位置对所述第一图像集合进行排序，并基于所述第二排列位置对所述第二图像集合进行排序；基于所述特征图像对中图像的位置关系，确定所述第一图像集合与所述第二图像集合的排列顺序，所述排列顺序用于排列所述第一图像集合中的图像与所述第二图像集合中的图像。12.根据权利要求9-11中任意一项所述的装置，其中，所述确定模块还用于：在所述排序后的图像中，确定第五图像集合，所述第五图像集合包括所述特征图像对，以及与所述特征图像对相邻的预设数量个图像；基于所述第五图像集合中的各图像的特征点，确定所述第五图像集合中的各图像位于掩膜区域中的特征点匹配对；将所述特征点匹配对确定为所述第五图像集合中的各图像的特征点匹配对。13.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的三维重建方法。14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的三维重建方法。15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
技术总结本公开提供了一种三维重建方法、装置、设备、介质及产品，涉及计算机领域，尤其涉及虚拟/增强现实、计算机视觉领域。具体实现方案为：获取包括目标物体的图像集合；提取所述图像集合中图像的特征点；确定对所述图像集合中图像进行排序的顺序，并基于所述顺序对所述图像进行排序；根据所述图像的特征点，对排序后的所述图像进行特征点匹配，得到特征点匹配对；基于所述特征点匹配对，对所述目标物体进行三维重建。本公开能够减少目标物体与背景发生明显位置变化时导致的匹配失败，改善三维重建效果。建效果。建效果。
技术研发人员：毋戈 周宇
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.03.21
技术公布日：2022/7/5
