1.本技术涉及图像处理技术领域，尤其涉及一种抠图网络训练方法、抠图方法及装置。
背景技术：2.目前主流的抠图算法可分为三种，一种是基于三分图(trimap)的方法，通过该方法可获取较高精度的前景图像，但其需要对给定图像进行人工标注，而人工标注方式对用户十分不友好，使得该方法实用性较差；另外一种是无trimap的抠图方法，即采用纯rgb图像直接预测前景，但该方法对场景比较敏感，多元化场景泛化性能仍需提升。
3.为了平衡前两种方法的优缺点，主流抠图算法中的第三种方法为采用软分割作为背景分割的先验图像并通过rgb图像及背景图像获取前景图像，但该方法需要使用结构复杂的分割网络，以致计算量大且速度较慢，难以达到实时性；此外，该方法还需额外拍摄一张背景图像，容易造成用户体验不佳。
技术实现要素：4.有鉴于此，本技术实施例提供了一种抠图网络训练方法、抠图方法及装置，可以解决相关技术中的至少一个技术问题。
5.第一方面，本技术一实施例提供了一种抠图网络训练方法，包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。
6.本实施例对深度特性进行模拟获得三分图，不再需要人工标注三分图，降低了人工成本，提高了效率。
7.第二方面，本技术一实施例提供了一种抠图方法，包括：获取包含前景且对齐的彩色图像及深度图像；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图输入如第一方面所述的抠图网络训练方法得到的所述目标抠图网络，得到仅包含所述前景的蒙版。
8.第三方面，本技术一实施例提供了一种抠图网络训练装置，包括：获取单元，用于获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；预处理单元，用于获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；训练执行单元，用于将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初
始抠图网络进行迭代优化，得到目标抠图网络。
9.第四方面，本技术一实施例提供了一种抠图装置，包括：获取单元，用于获取包含前景且对齐的彩色图像及深度图像；预处理单元，用于基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；抠图执行单元将所述彩色图像及其对应的三分输入如第三方面实施例所述的抠图网络训练装置得到的所述目标抠图网络，得到仅包含所述前景的蒙版。
10.第五方面，本技术一实施例提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面实施例所述的抠图网络训练方法；或实现如第二方面实施例所述的抠图方法。
11.第六方面，本技术一实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例所述的抠图网络训练方法；或实现如第二方面实施例所述的抠图方法。
12.第七方面，本技术一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面实施例所述的抠图网络训练方法；或执行如第二方面实施例所述的抠图方法。
13.应理解，第二方面至第七方面实施例的有益效果可以参见第一方面实施例的相关描述，此处不再赘述。
附图说明
14.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1是本技术一实施例提供的一种抠图网络训练方法的实现流程示意图；
16.图2是本技术一实施例提供的一种步骤s120的过程示意图；
17.图3是本技术一实施例提供的四张彩色合成图像及其各自对应的蒙版的示意图；
18.图4是本技术另一实施例提供的一种步骤s120的过程示意图；
19.图5是本技术一实施例提供的一种抠图网络的结构示意图；
20.图6是本技术一实施例提供的一种抠图方法的实现流程示意图；
21.图7是本技术一实施例提供的一种抠图网络训练装置的结构示意图；
22.图8是本技术一实施例提供的一种抠图装置的结构示意图；
23.图9是本技术一实施例提供的一种电子设备的结构示意图。
具体实施方式
24.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
25.在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
26.在本技术说明书中描述的“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
27.此外，在本技术的描述中，“多个”的含义是两个或两个以上。术语“第一”和“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
28.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
29.图1是本技术一实施例提供的一种抠图网络训练方法的实现流程示意图，本实施例中的抠图网络训练方法可由电子设备执行。电子设备包括但不限于计算机、平板电脑、服务器、手机、相机或可穿戴设备等。其中，服务器包括但不限于独立服务器或云服务器等。如图1所示，抠图网络训练方法可以包括步骤s110至步骤s130。
30.s110，获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像。
31.在本技术实施例中，获取的图像数据可包括两部分，第一部分为真实图像数据，即直接通过采集得到的图像数据；另一部分是合成图像数据，包括彩色合成图像，即利用彩色前景图像和彩色背景图像进行合成得到的图像。相对于真实图像数据，合成图像数据可理解为虚拟图像数据，其中，本技术中所使用的真实图像数据的数量远少于合成图像数据的数量，从而可减少人工采集训练图像的人工成本，并且还可以提高效率。
32.在一些可能的实现方式中，以前景为人体进行示例性说明。一方面，可通过相机直接采集同一场景且包括人体的彩色图像及其对应的深度图像得到真实图像数据。进一步地，本实施例中获取彩色图像和深度图像后需将图像进行对齐，即各图像中的像素点进行一一对齐。另一方面，可通过爬取工具从网络上爬取多张彩色前景图像以及多张彩色背景图像，后利用每张彩色前景图像和任意一张彩色背景图像进行合成得到彩色合成图像。
33.s120，获取彩色合成图像中的蒙版，并对蒙版进行深度特性模拟得到彩色合成图像对应的三分图；基于彩色图像与深度图像的对齐关系，利用深度图像获取软分割图像并对软分割图像进行深度特性模拟得到彩色图像对应的三分图。
34.步骤s120为数据增强阶段，分为两部分，一部分是针对少量的真实图像数据，另一部分是针对大量的合成图像数据。该阶段不再由人工标注三分图，而是通过数据增强获取三分图，进一步减少了人工成本，并且提升了效率。
35.对于采集的少量真实图像数据，在一些实施例中，先用距离阈值切分深度图像获取软分割图像，然后在软分割图像上进行深度特性模拟获得第一图像，再利用形态学的腐蚀和膨胀操作对第一图像进行三分图生成。在其他一些实施例中，如图2所示，先用距离阈值切分深度图像获取软分割图像，然后利用形态学的腐蚀和膨胀操作对软分割图像进行中间三分图生成，再对中间三分图进行深度特性模拟获得三分图像。其中，进行深度特性模拟包括在图像上进行随机打洞，以此模拟真实的深度遮挡问题以增强深度图像的深度特性。例如，在半身人像的边缘和/或内部进行随机打洞采样，将对应的像素值赋予0。
36.需要说明的是，基于步骤s110的彩色图像与深度图像的对齐关系，可将深度图像获取的三分图转换为彩色图像对应的三分图。
37.对于大量的彩色合成图像数据，需先获取彩色合成图像数据的蒙版(mask)，即仅包括前景的二值化图像，如图3所示。进一步地，在获取彩色合成图像数据的蒙版后，可对蒙版进行深度特性模拟获得第二图像，再利用形态学的腐蚀和膨胀操作对第二图像进行三分图生成。在其他一些实施例中，如图4所示，先利用形态学的腐蚀和膨胀操作对蒙版进行中间三分图生成，再对中间三分图进行深度特性模拟获得三分图像。其中，进行深度特性模拟包括在图像中前景的边缘和内部进行随机打洞，以此模拟真实的深度遮挡问题。例如，在半身人像的边缘和内部进行随机打洞采样，将对应的像素值赋予0。
38.通过对真实图像数据及合成图像数据进行深度特性模拟以增强图像的深度特性，并将其作为输入图像训练抠图网络模型，可使得训练后的抠图网络模型具备深度补全能力。
39.在一些实施例中，利用形态学的腐蚀和膨胀操作对图像(例如软分割图像或蒙版等)进行三分图(或中间三分图)生成，包括：先对图像进行多次膨胀操作得到膨胀图像，对图像进行多次腐蚀操作得到腐蚀图像，然后基于膨胀图像和腐蚀图像获得三分图。具体地，可以将膨胀图像减去腐蚀图像获得三分图。在一个可能的实现方式中，膨胀操作和腐蚀操作的次数可以为三次，既可以保证数据处理效率，又可以保证结果的准确度。需要说明的是，本实施例中不对膨胀腐蚀的次数进行限制。
40.s130，利用彩色图像及其对应的三分图、彩色合成图像及其对应的三分图对初始抠图网络进行迭代优化，得到目标抠图网络。
41.其中，初始抠图网络预先存储在电子设备中，作为待训练的网络模型。初始抠图网络络包含一组待学习的网络参数。初始抠图网络经训练后得到目标抠图网络，目标抠图网络具备与初始抠图网络相同的网络结构，两者网络参数不一样。
42.在一些实施例中，初始抠图网络(或目标抠图网络)可以包括基于深度学习的神经网络模型。例如resnet或vgg等网络。
43.在一些实施例中，初始抠图网络(或目标抠图网络)的网络结构如图5所示，包括一个阶段网络(stage)或多个串联的阶段网络(stage)并通过具体的网络设计实现轻量化。进一步地，该初始抠图网络使用了彩色图像image(即包含前景的彩色图像和彩色合成图像)和各对应模拟深度特性depth的三分图作为输入，并经过多次逐级输出精细化前景图像，从而实现更可靠的前景分割预测。
44.在一个实施例中，stage包括环境组合模块(context combining module，ccm)、主干区块stem和预测模块predictor。ccm模块用于经过特征交换后输出低阶特征和高阶特征；主干区块stem优选包括特征融合模块(feature fusion module，ffm)，用于基于注意力机制融合低阶特征和高阶特征得到融合特征，预测模块用于根据融合特征输出预测蒙版。
45.具体地，利用ccm模块对2个输入图像进行特征交换产生两个输出特征，一个低阶特征f
l
和一个高阶特征fh。先对每个输入图像对应的低阶特征单独编码为特征f
1i
＝e
1i
(image)，和f
1s
＝e
1s
(depth)，然后将它们拼接以产生一个整体的低阶特征f
l
＝cat(f
1i
,f
1s
)，其中cat表示串联操作。在另一分支中，每个低阶特征被进一步下采样到单个高阶特征f
2i
＝e
2i
(f
1i
)，和f
2s
＝e
2s
(f
1s
)。通过将2个单个高阶特征融合，得到cat(f
2i
,f
2s
)，并用fh＝cis
(cat(f
2ib
,f
2s
))得到整体的高阶特征fh。在网络的主干区块stem，先由编码器e3对高阶特征fh进行下采样，再由解码器d3进行上采样，然后用第一特征融合模块ffm1对其进行融合，得到特征f2＝ffm1(fh,d3(e3(fh)))。进一步通过第二特征融合模块ffm2将低阶特征f
l
合并到主干区块中，得到融合特征f1＝ffm2(f
l
,d2(f2))。最后，用α＝d1(f1)得到预测蒙版，以便后续利用预测蒙版进行图像合成。
46.上述过程称为一个stage。为了预测更精细的结构细节，在本技术一些实施例中可以采用另一个stage对前一个stage的输出做进一步的精细化，用上一个stage的预测蒙版作为下一个stage的先验蒙版，而上一个stage输入的彩色图像image继续作为下一个stage的先验。这个过程可以重复多次，形成串联的网络结构。优选地，stage的数量为2。
47.需要说明的是，图5提供了一个更轻量的主干网络(即stage)，仅需进行3次下采样。此外，本技术提供的注意力机制可使网络模型通过使用用较少的权重便能实现特征的提取；阶段网络采用ccm模块来交换彩色图像与三分图的上下文信息，充分提取边界特征。本示例拓展到2个输入，ccm模块对单个输入图像进行融合后，再对融合后的特征做进一步的后融合，使得不同输入的特征信息实现更加有效的匹配和学习。另外，ccm模块利用较少的卷积层来提取单个输入的特征，然后将它们拼接起来；通过这样的设计，ccm模块比对应的resnet模块更轻量化，因为在串联之前引入了更少的卷积通道。
48.在一个实施例中，使用负责特征融合的ffm模块取代传统的拼接操作，以通过利用注意力机制来实现更好的编码器特征和解码器特征的融合。在编码器中结构特征经过层层提取形成高阶的语义特征，语义特征有利于模型利用更广阔的感受野(receptive field)范围来判断分割边缘的位置。比如当前景和背景颜色相近时(如黑色人体头部和黑色背景)，直接根据局部的结构信息很难判断边界(头部和黑色背景的边界)，但是利用高阶的语义信息可以通过图像识别的经验信息(如人的头部通常时圆形)来辅助分割位置的确定。ffm模块将编码器的高阶语义特征转化为空间注意力蒙版，用于指导解码器中结构信息的还原。由于只有高阶的语义特征才能提供准确的空间注意力，因此来自编码器的低阶特征并不适合采用ffm模块。所以在网络设计时仅将ffm模块应用于内部的跳跃连接(inner skip connection)，而并不应用于外部跳跃连接(outer skip connection)。
49.由此可见，该网络从三个方面进行了轻量化设计。一是网络深度较浅；与resnet和googlenet等传统的主干网络不同，它们对输入进行5次下采样以提取丰富的语义线索，由于采用软分割先验，背景抠图变成一个对语义依赖较少但对结构信息依赖较多的任务，因此网络不必太深；只对输入进行3次下采样，得到的语义信息就已经足够，并保留了丰富的结构线索。二是通道较少，因为背景抠图是并不是一个分类任务，因此一个通道可以为多个对象服务；此外，输入的三分图提供了现成的特征，因此信息提取所需的通道更少。第三，ccm模块比其对应的残差网络更轻量化。
50.在一个实施例中，利用包含多种不同损失函数，例如包含均方误差(mse)损失、合成损失(compositional loss，cl)的混合损失函数来训练网络。mse损失函数是常规像素回归损失。cl损失函数是基于预测蒙版合成一个新的彩色图像，然后和原始彩色图像进行损失计算；其中，新的彩色图像是需要通过预测蒙版与原始彩色图像相乘获取预测前景，并利用预测前景和背景图像进行合成得到的，背景图像为原始彩色图像中的背景相同。由于使用了混合损失函数，能够更精确的检测出前景和边界。在一个实施例中，采用两个不同的损
失函数的加权作为混合损失函数，或称为联合损失函数，其定义为：
51.l＝λ1l
mse
+λ2l
cl
。
52.其中，λ1，λ2，为两个不同损失函数各自的权重系数。l
mse
为mse损失，l
mse
定义为：
[0053][0054]
其中，h，w分别表示图像高度和宽度；α
i,j
和分别表示预测蒙版和先验蒙版。l
cl
为合成损失，l
cl
定义为：
[0055][0056]
其中，表示输入的第i个彩色图像，表示利用第i个彩色图像预测出的蒙版αn合成的彩色图像，σ是常数。
[0057]
本技术另一实施例提供了一种抠图方法。抠图方法可以应用于电子设备，电子设备提前部署有抠图网络。抠图网络可以采用前述实施例的抠图网络训练方法进行训练得到。
[0058]
如图6所示，抠图方法可以包括步骤s610至步骤s630。需要说明的是，抠图方法实施例中与前述实施例相同或相似支持，此处不再赘述，请参见前述。
[0059]
s610，获取包含前景且对齐的彩色图像及深度图像。
[0060]
在一些实施例中，可通过采集装置采集包括前景的彩色图像及深度图像，并进一步将彩色图像与深度图像的各像素进行一一对齐。需要说明的是，采集装置可包括深度相机和彩色相机，深度相机可为结构光相机、tof相机、双目相机等，此处不作限制。
[0061]
s620，基于彩色图像与深度图像的对齐关系，利用深度图像获取软分割图像并对软分割图像进行处理得到彩色图像对应的三分图。
[0062]
在一些实施例中，用距离阈值切分深度图像获得软分割图像，然后对软分割图像进行腐蚀和膨胀操作并生成三分图。
[0063]
s630，将彩色图像及其对应的三分图输入抠图网络，得到仅包含前景的蒙版。
[0064]
应理解，采用抠图网络进行抠图的过程可以参照前述抠图网络训练过程的相关描述，此处不再赘述。
[0065]
本技术实施例基于采集的真实数据和合成数据通过数据增强生成三分图，减少了人工标注，降低了人工成功，提升了效率，也保证了模型准确度。此外，提出一个轻量化实时背景抠图网络。对网络进行了较浅的结构设计，同时提出了两个网络模块，ffm模块可以实现更好的高层特征融合，ccm模块相比对应的传统的残差模块更加轻量化，有利于上下文信息的融合过程。这两个模块都在一定程度上提高了精度。为了实现更好的边界预测和前景预测，引入了一种混合损失函数，该函数综合了两种损失的优点。
[0066]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0067]
本技术一实施例还提供一种抠图网络训练装置。该抠图网络训练装置中未详细描述之处请详见前述抠图网络训练方法实施例中的描述。
[0068]
图7是本技术一实施例提供的一种抠图网络训练装置的示意框图。所述抠图网络训练装置包括：获取单元71、预处理单元72和训练执行单元73。
[0069]
其中，获取单元71，用于获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像。
[0070]
预处理单元72，用于获取彩色合成图像中的蒙版，并对蒙版进行深度特性模拟得到彩色合成图像对应的三分图；基于彩色图像与深度图像的对齐关系，利用深度图像获取软分割图像并对软分割图像进行深度特性模拟得到彩色图像对应的三分图。
[0071]
训练执行单元73，用于利用彩色图像及其对应的三分图、彩色合成图像及其对应的三分图对初始抠图网络进行迭代优化，得到目标抠图网络。
[0072]
在一些实施例中，预处理单元72，具体用于对软分割图像进行随机打洞获得第一图像，对第一图像进行腐蚀和膨胀操作并生成彩色图像对应的三分图；或，对软分割图像进行腐蚀和膨胀操作并生成第一中间三分图，对第一中间三分图进行随机打洞获得彩色图像对应的三分图；以及，对蒙版进行随机打洞获得第二图像，对第二图像进行腐蚀和膨胀操作并生成彩色合成图像对应的三分图；或，对蒙版进行腐蚀和膨胀操作并生成第二中间三分图，对第二中间三分图进行随机打洞获得彩色合成图像对应的三分图。
[0073]
在一些实施例中，初始抠图网络包括至少一个阶段网络或多个串联的阶段网络。优选地，阶段网络包括串联的环境组合模块、主干区块和预测模块。环境组合模块用于经过特征交换后输出低阶特征和高阶特征，主干区块用于基于注意力机制融合低阶特征和高阶特征得到融合特征，预测模块用于根据融合特征输出预测蒙版。
[0074]
在一些实施例中，所述阶段网络包括3次下采样。
[0075]
在一些实施例中，所述主干区块包括基于注意力机制的特征融合模块。
[0076]
在一些实施例中，训练执行模块73采用混合损失函数，混合损失函数包括均方误差损失和合成损失。
[0077]
本技术一实施例还提供一种抠图装置。该抠图装置中未详细描述之处请详见前述抠图方法实施例中的描述。
[0078]
图8是本技术一实施例提供的一种抠图装置的示意框图。所述抠图装置包括：采集单元81、预处理单元82，和抠图执行单元83。
[0079]
其中，获取单元81，用于获取包含前景且对齐的彩色图像及深度图像。
[0080]
预处理单元82，用于基于彩色图像与深度图像的对齐关系，利用深度图像获取软分割图像并对软分割图像进行处理得到所述彩色图像对应的三分图。
[0081]
抠图执行单元83，将彩色图像及其对应的三分图输入抠图网络，输出仅包含所述前景的蒙版。
[0082]
本技术一实施例还提供了一种电子设备，如图9所示，电子设备可以包括一个或多个处理器100(图9中仅示出一个)，存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102，例如，抠图网络训练的程序和/或图像抠图的程序。一个或多个处理器100执行计算机程序102时可以实现抠图网络训练方法和/或抠图方法实施例中的各个步骤。或者，一个或多个处理器100执行计算机程序102时可以实现抠图网络训练装置和/或抠图装置实施例中各模块/单元的功能，此处不作限制。
[0083]
本领域技术人员可以理解，图9仅仅是电子设备的示例，并不构成对电子设备的限
定。电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0084]
在一个实施例中，所称处理器100可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0085]
在一个实施例中，存储器101可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及电子设备所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
[0086]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0087]
本技术一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现抠图网络训练方法和/或抠图方法实施例中的步骤。
[0088]
本技术一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备可实现抠图网络训练方法和/或抠图方法实施例中的步骤。
[0089]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0090]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0091]
在本技术所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或
单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0092]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0093]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0094]
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0095]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。
技术特征：1.一种抠图网络训练方法，其特征在于，包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。2.如权利要求1所述的抠图网络训练方法，其特征在于，所述对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图，包括：对所述蒙版进行随机打洞获得第二图像，对所述第二图像进行腐蚀和膨胀操作并生成所述彩色合成图像对应的三分图；或，对所述蒙版进行腐蚀和膨胀操作并生成第二中间三分图，对所述第二中间三分图进行随机打洞获得所述彩色合成图像对应的所述三分图。3.如权利要求1所述的抠图网络训练方法，其特征在于，所述基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图，包括：利用所述深度图像获取软分割图像，对所述软分割图像进行随机打洞获得第一图像，对所述第一图像进行腐蚀和膨胀操作并生成所述彩色图像对应的三分图；或，对所述软分割图像进行腐蚀和膨胀操作并生成第一中间三分图，对所述第一中间三分图进行随机打洞获得所述深度图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，将所述深度图像对应的三分图转换为所述彩色图像的三分图。4.如权利要求1至3任一项所述的抠图网络训练方法，其特征在于，训练所述初始抠图网络采用混合损失函数监督，所述混合损失函数包括均方误差损失和合成损失。5.如权利要求1至3任一项所述的抠图网络训练方法，其特征在于，所述初始抠图网络包括至少一个阶段网络或多个串联的阶段网络；所述阶段网络包括串联的环境组合模块、主干区块和预测模块，所述环境组合模块用于经过特征交换后输出低阶特征和高阶特征，所述主干区块用于基于注意力机制融合所述低阶特征和所述高阶特征得到融合特征，所述预测模块用于根据所述融合特征输出预测蒙版。6.一种抠图方法，其特征在于，包括：获取包含前景且对齐的彩色图像及深度图像；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图输入如权利要求1至5任一项所述的抠图网络训练方法得到的所述目标抠图网络，得到仅包含所述前景的蒙版。7.一种抠图网络训练装置，其特征在于，包括：获取单元，用于获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；预处理单元，用于获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利
用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；训练执行单元，用于将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。8.一种抠图装置，其特征在于，包括：获取单元，用于获取包含前景且对齐的彩色图像及深度图像；预处理单元，用于基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；抠图执行单元，将所述彩色图像及其对应的三分图输入如权利要求7所述的抠图网络训练装置得到的所述目标抠图网络，得到仅包含所述前景的蒙版。9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的抠图网络训练方法，或实现如权利要求6所述的抠图方法。10.如权利要求9所述的电子设备，其特征在于，包括采集装置，用于采集彩色图像和深度图像以供所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的抠图网络训练方法，或实现如权利要求6所述的抠图方法。11.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的抠图网络训练方法，或实现如权利要求6所述的抠图方法。
技术总结本申请涉及图像处理技术领域，尤其涉及一种抠图网络训练方法、抠图方法及装置。该抠图网络训练方法包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。本申请实施例不再需要人工标注三分图，降低了人工成本，提高了效率。提高了效率。提高了效率。
技术研发人员：李淼 杨飞宇 钱贝贝
受保护的技术使用者：奥比中光科技集团股份有限公司
技术研发日：2022.03.28
技术公布日：2022/7/5
