本发明涉及视频编辑与图像合成领域，具体一种涉及基于网格纹理的单目视频服装纹理替换方法。
背景技术：
1、当今快速发展的广告与电商行业促成了巨大的市场，而不断增长的市场使得从业人员对在线服装展示的需求越加旺盛。在线服装展示通常面临同一种剪裁款式的服装与不同的花纹的组合的场景，这样商家便可选择多次尝试花纹，选择最佳外观呈现给顾客。然而现今的工作流通常需要使用不同花纹布料制作同一款服装并由模特穿着尝试，或依赖人工手动编辑拍摄的服装视频，费时费力。
2、当今实现人体外观替换的主流方法是为图片或视频中人体部分估计出逐像素的uv，并结合给定的纹理实现自动的外观替换。例如，一些研究者利用光流将视频中的场景分为前景与背景多个层次，并为每一个层次赋予独立的uv。或者，训练网络并推理，为视频中的人体每个像素寻找uv对应关系。还有一些研究者为身体的每个部分，例如头部、身体，手臂等，都独立地估计uv，使得对外观的编辑更加精细。另一些人将视频中人体的uv估计推广到衣服上，使得外观编辑能迁移到例如裙子这样的宽松衣物。
3、然而，这些方法不适用于具有复杂结构的服装，产生的结果质量不足以支撑后续应用。且这类方法仅适用于服装紧贴人体的情形，不适用于宽松的服装，如裙子。虽然有些研究者通过人体表面获得的法向量信息，恢复符合服装表面褶皱特点的uv，产生了真实的纹理替换效果。然而该方法无法使用在具有自遮挡与折叠的服装上，面对宽松的裙子时，无法体现裙子重叠的效果。
4、另一类外观替换方法是基于给定纹理的方法。例如，使用一种彩色三角纹理制作服装，并重建出服装几何，进一步编辑几何外观。或者，使用排列整齐的彩色圆点纹理，并同样使用多视角重建服装几何。或者，进一步使用了彩色网格纹理，并使用高精度多视角摄像机拍摄，完成服装几何重建，并实现了外观编辑。然而，以上路径主要是为3d服装重建而设计的，并不适用于基于单个视频的服装外观编辑。这是因为重建的服装仍然很难准确捕捉服装的褶皱细节，且大多数用户难以承担在摄影棚里使用若干个同步的高精度摄像机拍摄的代价。进一步的，以上方法还难以处理任意拍摄环境、运动模糊与复杂的人体动作，限制了其在实际中的应用。
技术实现思路
1、针对现有技术的不足，本发明提出一种基于网格纹理的单目视频服装纹理替换方法。模特穿着一件印有特定网格纹理的服装，并由摄像师手持一般摄录设备(如相机或手机)拍摄一段模特穿着该服装的动作视频，采用本发明的方法便可自动的恢复出视频里网格纹理服装的uv。结合提取的阴影与用户给定的纹理图片，该视频服装便可替换为其他的具有真实感的纹理外观。本发明对设备要求低，适用于各种光照环境，对运动模糊不敏感，适用于模特做出各种具有挑战性的动作。本发明可以应用于电商行业与广告行业，从业人员可以方便地调整模特外观，以呈现出最佳的展示效果。
2、本发明的目的通过如下的技术方案来实现：
3、一种基于网格纹理的单目视频服装纹理替换方法，包括以下步骤：
4、步骤一：使用物理仿真器仿真一块网格纹理布料，并使用渲染器渲染得到结果，作为合成训练数据；
5、步骤二：构建并训练基于u-net架构的格点网络、颜色网络、阴影网络和uv梯度网络，所述格点网络、颜色网络、阴影网络的输入均为h×w×3的原图，所述格点网络的输出为h×w×3的图，图上的每个像素包含三个通道，分别表示该像素为网格中心点的概率、该像素为网格角点的概率、该像素为其他的概率；所述颜色网络的输出为h×w×8的图，图上的每个像素包含八个通道，分别表示该像素为网格纹理八种颜色的概率；其中，八种颜色包括红色、蓝色、黄色、绿色、青色、紫色、白色和黑色，黑色为网格的边界颜色，其余为网格本身的颜色；所述阴影网络的输出为h×w×1的图，即阴影层；所述uv梯度网络的输入为h×w×3的原图和h×w×4的uv梯度方向，输出为h×w×4的uv梯度；
6、步骤三：使用与步骤一相同网格纹理的布料，裁剪服装并由模特穿着，拍摄模特动作，生成视频；
7、步骤四：将步骤三的视频的每一帧分别输入训练后的格点网络、颜色网络、阴影网络、uv梯度网络和光流预测网络，分别逐帧提取服装部分的图像的角点、中心点和颜色类别信息，阴影层、uv梯度，以及视频相邻两帧的前向和后向光流；并基于每帧图像服装部分的角点、中心点和颜色类别信息，采用对应点检测算法识别uv对应点；
8、步骤五：构建并训练混合参数多层感知机，所述混合参数多层感知机包括基于随机傅里叶特征的维度提升层，以及四个尺寸为256的隐藏层，所述混合参数多层感知机为视频的每个关键帧定义一组mlp参数,且mlp参数随时间t连续变化；所述混合参数多层感知机的输入为每帧的序号和该帧图像的像素坐标，输出为uv坐标；训练所述混合参数多层感知机时，设置uv对应点约束和时序约束；
9、步骤六：将步骤三得到的视频的每一帧输入训练后的混合参数多层感知机，得到每一帧每个像素的uv坐标，并得到uv梯度方向；将uv梯度方向和视频的每一帧输入训练后的uv梯度网络，逐帧提取服装部分的uv梯度；基于uv梯度，再次训练混合参数多层感知机，并额外施加uv梯度约束，得到二次训练后的混合参数多层感知机；
10、步骤七：通过二次训练后的混合参数多层感知机得到每一帧每个像素的uv坐标，结合步骤三得到的逐帧提取服装部分的阴影层，得到具有真实阴影效果的服装纹理替换结果。
11、进一步地，所述步骤一包括如下子步骤：
12、(1.1)在仿真器中构造一块布料，置于不规则几何体上，驱动所述不规则几何体运动，带动布料运动，获取布料仿真序列；
13、(1.2)在渲染器中为所述布料仿真序列附上网格纹理，渲染得到原图、阴影层、网格角点和中心点、网格颜色类别、uv坐标。
14、进一步地，对得到的uv坐标施加sobel卷积核，得到uv梯度；将uv梯度的大小归一化，得到uv梯度方向。
15、进一步地，所述步骤四中，基于每帧图像服装部分的角点、中心点和颜色类别信息，采用对应点检测算法识别uv对应点，具体包括如下子步骤：
16、(1)将角点与中心点连线获得异构图，将中心点与中心点连线获取同构图；
17、(2)在同构图中提取3x3网格颜色，获取uv对应点；
18、(3)采用多张网格纹理投票算法，确定每个uv对应点的网格纹理；采用uv对应点增长算法，从同构图边界出发，进一步搜寻更多的uv对应点。
19、进一步地，所述步骤五中，对于一段总帧数为t的视频，每隔s帧为关键帧，共定义个mlp参数；mlp参数θi表示第i个mlp参数，定义在时间i*s上；对于第t帧，混合参数多层感知机参数定义为参数集合的线性组合；混合参数多层感知机具有以下形式：
20、
21、其中，α是线性组合参数，通过三次样条差值来计算；x为像素坐标，f为多层感知机网络。
22、进一步地，训练所述混合参数多层感知机时，设置的uv对应点约束ldata为：
23、
24、其中，为第t帧的第i个对应点的像素坐标和uv。
25、进一步地，所述时序约束包括修补约束和连续约束；将同构图覆盖的uv坐标作为准确uv坐标，未被覆盖的uv坐标作为不准确uv坐标，所述修补约束具体为提取出相邻帧中的准确uv坐标，修补当前帧的不准确uv坐标。
26、一种基于网格纹理的单目视频服装纹理替换系统，该系统包括一个或多个处理器，用于实现基于网格纹理的单目视频服装纹理替换方法。
27、一种电子设备，包括：
28、一个或多个处理器；
29、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述电子设备执行时，使得所述电子设备实现基于网格纹理的单目视频服装纹理替换方法。
30、一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现基于网格纹理的单目视频服装纹理替换方法。
31、本发明的有益效果如下：
32、(1)本发明提出了混合参数多层感知机，并使用其回归uv对应点，以获取视频中服装部分逐像素的uv。为了使回归得到的uv能正确体现服装的褶皱、折叠与遮挡，同时减少纹理的扭曲效果，该方法在上述uv回归过程中采用了一种新颖的uv梯度约束。进一步，为了提升uv在时序变化中的连续性，减少最终纹理替换后的闪烁，该方法使用了时序约束，使用相近帧的uv来约束当前帧的uv。该方法还从视频中服装部分提取阴影层，以体现真实的光影效果。最后，使用上述步骤所得到的逐像素uv和阴影层，再结合用户给定的替换纹理，用户就可以为视频中服装部分替换新的具有真实感的纹理。该方法适用于各种款式服装、各类环境光照和具有挑战性的人体动作。
33、(2)本发明易于使用，设备要求低，对任意新模特，该模特只需穿着上述特定网格纹理服装，并由摄像师手持设备直接拍摄，不需要在诸如摄影棚中多相机环境下拍摄。本发明具有鲁棒性，适用于各种环境光照。模特做出诸如跳跃、舞蹈、旋转、蹲下与站立等较难动作下，该方法同样适用，并产生高质量的结果。相比于人工手动编辑视频来获取替换服装外观的结果，该方法能大大减少逐帧处理视频的人力成本。
34、(3)该方法首次提出了基于给定纹理的单目视频高质量服装纹理替换方法，在时尚、电商与广告领域具有丰富的使用前景。
1.一种基于网格纹理的单目视频服装纹理替换方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于网格纹理的单目视频服装纹理替换方法，其特征在于，所述步骤一包括如下子步骤：
3.根据权利要求2所述的基于网格纹理的单目视频服装纹理替换方法，其特征在于，对得到的uv坐标施加sobel卷积核，得到uv梯度；将uv梯度的大小归一化，得到uv梯度方向。
4.根据权利要求1所述的基于网格纹理的单目视频服装纹理替换方法，其特征在于，所述步骤四中，基于每帧图像服装部分的角点、中心点和颜色类别信息，采用对应点检测算法识别uv对应点，具体包括如下子步骤：
5.根据权利要求1所述的基于网格纹理的单目视频服装纹理替换方法，其特征在于，所述步骤五中，对于一段总帧数为t的视频，每隔s帧为关键帧，共定义个mlp参数；mlp参数θi表示第i个mlp参数，定义在时间i*s上；对于第t帧，混合参数多层感知机参数定义为参数集合的线性组合；混合参数多层感知机具有以下形式：
6.根据权利要求5所述的基于网格纹理的单目视频服装纹理替换方法，其特征在于，训练所述混合参数多层感知机时，设置的uv对应点约束ldata为：
7.根据权利要求6所述的基于网格纹理的单目视频服装纹理替换方法，其特征在于，所述时序约束包括修补约束和连续约束；将同构图覆盖的uv坐标作为准确uv坐标，未被覆盖的uv坐标作为不准确uv坐标，所述修补约束具体为提取出相邻帧中的准确uv坐标，修补当前帧的不准确uv坐标。
8.一种基于网格纹理的单目视频服装纹理替换系统，其特征在于，该系统包括一个或多个处理器，用于实现权利要求1～7中任一项所述的基于网格纹理的单目视频服装纹理替换方法。
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1～7中任一项所述的基于网格纹理的单目视频服装纹理替换方法。
