本发明涉及图像处理、神经网络，特别涉及一种对经过dibr处理后生成的虚拟视图中的空洞进行填充的方法。
背景技术：
1、近年来，虚拟现实(vr)和增强现实(ar)系统取得了重大进展，并获得了广泛的普及。在这些系统中，任意虚拟视图的合成通常对于各种应用来说都是必不可少的。因此，用于生成任意虚拟视图的视图合成算法已成为此类系统中最重要的技术之一。一种常用的视图合成算法是基于深度图像的渲染(depth-image-based rendering，dibr)算法。该算法可以从一个参考视图序列及其相关深度图(即rgbd或v+d序列)中生成任意视图(目标视图)。由于基于dibr的vr/ar系统仅需要传输一个视频通道及其相应的深度图来生成虚拟视图，因此与传统的3d视频相比，其传输带宽更低，后者需要传输左眼和右眼两个视频通道。此外，基于dibr的vr/ar系统在编码方面比使用传统3d视频格式的系统更高效。此外，它可以轻松支持2d到3d转换或任意视点切换等应用。因此，dibr算法被广泛用于视图合成。
2、然而，由于深度图中的深度急剧变化，经过dibr处理后生成的虚拟视图中会出现大空洞，严重降低图像质量。如何填补这些空洞是dibr算法面临的主要问题。近年来已经提出了许多空洞填充方法。这些方法可以根据其技术特点分为四种类型：(1)深度图预处理。这种方法使用平滑滤波器平滑深度图以减少或完全消除空洞。近年来，提出了许多滤波器，如不对称高斯滤波器、定向高斯滤波器(dgf)和加权中值滤波器，以减少/消除空洞。然而，这些方法的一个共同问题是它们可能会向目标图像引入几何失真，从而降低图像质量。(2)使用多视图视频加深度(multiview video-plus-depth，mvd)。在这种类型的方法中，两个或更多的视频流被传输到接收端，以便视图合成算法可以使用多个参考视图来合成一个目标视图。虽然这种方法可以实现高质量的图像，但在当前的vr/ar系统中实现它是有挑战性的。例如，使用hdmi标准1.4的vr/ar系统不支持mvd传输，因此这种方法不可行。此外，即使有mvds，仍然存在重大挑战，如由于不同视频流之间的照明条件变化导致的颜色不一致，以及增加的带宽需求和处理复杂性。(3)基于修复的方法。在这种类型的方法中，空洞是通过从rgbd序列或由此序列生成的扭曲目标视图中的空间或时间域中的参考视图中采样的像素来填充的。该类别中的传统算法包括gautier的方法和ahn的方法。然而，这些方法在处理大空洞时通常非常复杂且不稳定。(4)基于gan的方法。深度学习的最新进展已将生成对抗网络(gans)引入基于修复的方法中，通过学习复杂的纹理和结构来生成视觉上合理的空洞内容。在这些方法的空洞填充任务中，gans是必不可少的。它们主要用于填充生成的虚拟视图中的大空洞。在深度图可用的情况下，gans可以在动态场景中保持时间一致性，并通过添加与深度相关的损失约束来改进深度学习模型。这可以大大提高dibr生成图像的视觉质量。此外，与传统技术相比，基于gan的方法提供了更快的推理速度，尽管需要进行模型训练。然而，这些方法仍可能产生伪影。例如，原本打算用背景纹理填充的空洞可能会被前景对象的纹理填充。一些文献将这种伪影称为“前景渗透”。
3、说明书附图1显示了这种伪影的一个示例，图1中(a)图是由相机捕获的图合成的带有空洞的虚拟视图。(b)为空洞填充结果，由lama填充。红色线条圈出的区域是伪影，本应该被背景纹理填充。这种伪影是由于用于训练模型的数据集包含前景和背景元素的纹理而产生的。因此，训练后的模型可能同时表现出这两种特征，可能在空洞填充过程中将前景纹理错误地放置到背景区域中。值得注意的是，在dibr系统中，目标视图中前景对象与相邻背景区域之间经常会出现大空洞，特别是在深度急剧变化的位置。这是因为随着视点的变化，被遮挡的背景区域变得可见。重要的是，这些空洞区域是背景的组成部分，因此需要在填充这些大空洞时优先考虑背景纹理。
技术实现思路
1、有鉴于此，本发明的目的是提供一种基于深度感知分解和分层重建的分层空洞填充方法，以解决基于深度图像的渲染(depth-image-based rendering，dibr)算法生成虚拟目标视图时，对目标视图中的空洞进行填充的技术问题。
2、本发明种基于深度感知分解和分层重建的分层空洞填充方法包括以下步骤：
3、i)将单一通道视频中t时刻的图像分解为前景对象和背景部分，生成表示前景对象的掩膜
4、ii)将图像扭曲到目标位置，根据图像图像对应的深度图像和前景对象的掩膜生成图像对图像对以及扭曲前景对象的掩膜为第t帧带有空洞和前景对象的目标视图，为与目标视图对应的空洞掩膜；为第t帧带有空洞且无前景对象的目标视图，为与目标视图对应的空洞掩膜；
5、iii)对步骤i)所述单一通道视频中的图像进行预处理，经图像预处理得到由背景纹理图像和对应的空洞掩膜组成的数据集，由该数据集训练生成对抗网络，随后分别将图像对输入训练好的生成对抗网络的生成器以修复和分别生成和为第t帧填充空洞后的无前景对象的目标视图，为第t帧填充空洞后的
6、iv)将和合并成一个最终的填充空洞后的目标视图
7、进一步，在步骤i)中分解图像包括：
8、1)对参考视图进行实例分割操作，以识别图像中的各个对象，过程用公式表示如下：
9、
10、其中，表示实例分割图，其中表示分割的实例，1≤i≤n，fi表示实例分割操作，每个像素都标有对应于其相关实例的标识符；因此，构成了一个包含分割和类别信息的结构化实例表示；
11、2)采用深度感知选择算法识别并选择分割实例中的前景对象包括：
12、对实例分割图中实例的边缘像素点e计算最大深度变化d(e)，
13、d(e)＝max|s(e)|-min|s(e)| (2)
14、以边缘像素点e为中心、边长为7个像素的小方块，该小方块内的所有像素点的像素深度最大值为max|s(e)|，该小方块内的所有像素点的像素深度最小值为min|s(e)|；
15、对图像对应的深度图设置阈值将d(e)与进行比较，若d(e)大于表示该边缘点e具有显著深度变化，否则表示该边缘点e不具有显著深度变化；
16、若实例的边缘像素点中具有显著深度变化的点的比例超过了设定的阈值tf，则判断该实例为前景对象；否则判定该实例为背景部分。
17、进一步，所述阈值通过如下方法确定：
18、将图像中相邻的点和先投影到空间点u1和u2处，再将点u1和u2分别投影到目标视图中的点和处，三维图像变换的关系由如下方程表示：
19、
20、其中点的坐标均以归一化齐次坐标表示满足u1和u2的坐标是相对于世界坐标系xwywzw的归一化齐次坐标；pr为视图的投影矩阵，pt为目标视图的投影矩阵，kr拍摄图像的摄像机的内参，kt表示拍摄目标视图的虚拟摄像机的内参，rr和rt表示3×3的旋转矩阵，cr和ct代表两个摄像机的光心，符号0表示列向量[0 0 0]t；和分别是和相对于世界坐标系的深度值；和分别是和相对于虚拟摄像机坐标系的深度值；
21、深度图中点u＝[u v 1]t的深度值z(u,v)通过以下公式获得：
22、
23、由公式(3)和公式(4)得到：
24、
25、其中，(·)3表示向量的第三个分量；因此，由图像中两个水平相邻像素生成的空洞的水平宽度按如下方式计算：
26、
27、逐行扫描使用公式(7)计算由相邻像素点生成的所有大空洞的水平宽度，并计算相应的深度跃变并选取最小的深度跃变作为阈值：
28、
29、进一步，在步骤ii)中采用命名为m3diw的算法来生成图像对图像对以及扭曲前景对象的掩膜包括：
30、以图像深度图像和前景对象的掩膜作为m3diw的算法的输入，然后m3diw算法进行如下操作：
31、首先将和初始化为0，将和初始化为1，然后对于每一个点ur，将ur根据三维图像变换的方程(3)和(4)变换到让中点ut的像素值等于对应的点ur的像素值，并让对应的空洞掩膜中中的点ut的像素值设为0；再进行以下判断：
32、如果前景对象的掩膜中的ur对应点的像素值为0，则让不含前景对象的目标视图中的对应点ut的像素值等于图像中对应像素点ur的像素值，并让空洞掩膜中点ut处的像素值为0；以及让扭曲前景对象的掩膜中点ut的像素值等于前景对象掩膜中对应的点ur的像素值；然后结束判断，并输出图像对图像对以及扭曲前景对象的掩膜
33、进一步，步骤iii)中所述图像预处理包括：将图像裁剪为大小为256x 256的图像，并为这些裁剪后的图像生成随机的空洞掩膜；裁剪图像包括：(1)均匀裁剪并排除任何包含对应的前景对象像素的图像；(2)在前景对象轮廓附近裁剪采样。
34、进一步，所述生成对抗网络为lama，所述lama使用以下最终损失函数来实现空洞填充：
35、
36、其中，κ,α,β,γ∈r+是不同损失函数的权重；公式(8)中的每项损失函数如下所述：
37、为对抗损失，确保模型生成自然的局部细节，其计算公式为：
38、
39、其中，sgvar阻止相对于var的梯度传播，下标var用于表示θ和ξ，是生成器损失，是优化的联合损失，公式(11)表示最小化相对于生成器参数θ和判别器参数ξ的损失函数，在计算时冻结生成器参数θ的梯度，在计算时冻结判别器参数ξ的梯度；
40、为高感受野感知损失，负责监督信号和全局结构的一致性，其计算公式为：
41、
42、其中[·-·]2是逐元素操作，是两阶段均值操作；变量x表示原始彩色图像，表示模型生成的修复图像；φhrf(x)和是使用具有高感受野的网络φhrf(·)提取的原始和修复图像的特征表示；
43、为基于判别器的感知损失，也负责生成自然的局部细节；
44、为梯度惩罚，梯度惩罚用于稳定lama的训练过程，其数学定义为：
45、
46、其中，dξ(·)表示判别器，梯度惩罚应用于判别器，通过惩罚判别器输出相对于输入的梯度来工作，具体为梯度惩罚鼓励梯度变小。
47、进一步，步骤iv)将和合并成一个最终的填充空洞后的目标视图包括：
48、以和作为命名为分层合并算法的输入，并以为参考，然后通过分层合并算法进行如下分层合并操作：
49、用作为初始的然后对于每一个点u，如果含有前景对象的空洞掩膜中点u对应的值为1，则进行如下判断：
50、如果经过变换后的扭曲前景对象的掩膜中点u对应的值为1，则经过空洞填充后的最终目标视图中点u的像素值等于中点u的像素值；否则经过空洞填充后的最终目标视图中点u的像素值等于目标视图中点u的像素值；然后结束判断并输出目标视图。
51、本发明的有益效果：
52、1、本发明基于深度感知分解和分层重建的分层空洞填充方法，其能使合成视频中没有空洞。
53、2、本发明基于深度感知分解和分层重建的分层空洞填充方法，提出了一种基于深度感知的图像分解方法，能在图像中准确地将前景对象与背景区域分离。并且该图像分解方法引入了一个自适应阈值该阈值根据每帧的深度信息确定，以识别前景对象，使其能够适应不同的场景。
54、3、本发明基于深度感知分解和分层重建的分层空洞填充方法，提出了一种基于gan增强的背景重建方法，用于重建填充空洞且没有前景对象的目标视图。该方法包含两个部分：数据预处理，确保用于gan训练的数据集仅包含背景纹理；以及gan本身，它专注于从背景纹理中学习，以预测和重建能够填充由掩码指示的缺失区域的背景内容。通过仅关注背景纹理，gan避免了在这些区域中错误地放置前景纹理，从而提高了合成视图的整体视觉质量和逼真度。
55、4、本发明基于深度感知分解和分层重建的分层空洞填充方法，引入了m3diw(masked 3d image warping)和lm(layered mergence)算法，用于分层填充前景对象和背景区域。m3diw通过生成带有和不带有前景对象的目标视图及其相应的掩码来准备场景，便于对前景对象和背景区域进行“分层”处理。lm算法无缝地将重建的背景与原始前景相结合，采用分层方法来减少它们之间错误交互产生的伪影。
56、5、通过实验结果表明，本发明基于深度感知分解和分层重建的分层空洞填充方法与其他方法相比，在平均psnr上提高了7.1％，在平均ssim上提高了1.8％，在平均lpips上降低了28.8％，在平均fid上降低了28.9％。这些结果强调了本发明所提供的方法在空洞填充和整体视觉质量方面相对于现有技术的显著改进，也表明了它可以作为ar/vr系统中任意虚拟视图生成的一种有价值的方法。
1.一种基于深度感知分解和分层重建的分层空洞填充方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于深度感知分解和分层重建的分层空洞填充方法，其特征在于：在步骤i)中分解图像包括：
3.根据权利要求2所述的基于深度感知分解和分层重建的分层空洞填充方法，其特征在于：所述阈值通过如下方法确定：
4.根据权利要求3所述的基于深度感知分解和分层重建的分层空洞填充方法，其特征在于：在步骤ii)中采用命名为m3diw的算法来生成图像对图像对以及扭曲前景对象的掩膜包括：
5.根据权利要求1所述的基于深度感知分解和分层重建的分层空洞填充方法，其特征在于：步骤iii)中所述图像预处理包括：将图像裁剪为大小为256x256的图像，并为这些裁剪后的图像生成随机的空洞掩膜；裁剪图像包括：(1)均匀裁剪并排除任何包含对应的前景对象像素的图像；(2)在前景对象轮廓附近裁剪采样。
6.根据权利要求1所述的基于深度感知分解和分层重建的分层空洞填充方法，其特征在于：所述生成对抗网络为lama，所述lama使用以下最终损失函数来实现空洞填充：
7.根据权利要求1所述的基于深度感知分解和分层重建的分层空洞填充方法，其特征在于：步骤iv)将和合并成一个最终的填充空洞后的目标视图包括：
