本申请实施例涉及人工智能，特别涉及一种样本净化方法、装置、设备及介质。
背景技术：
1、大型视觉-语言模型（large vision-language models，lvlm）被广泛定义为可以从图像和文本中学习的多模态模型。大型视觉-语言模型（简称视觉语言模型）在处理任务时易受到对抗样本的影响，对抗样本是通过对干净样本进行微小修改或者扰动，使得视觉语言模型产生错误预测的样本。
2、相关技术中，通过对输入视觉语言模型的图像进行一些预处理操作，从而实现对抗样本的净化。例如，对图像进行平滑操作，即应用平滑滤波器减少图像噪声，从而降低对抗攻击的影响；又例如，对图像进行尺度变化操作，即通过改变图像的尺度（例如缩放）来改变图像特征，减少对抗攻击的有效性。
3、然而，相关技术中针对对抗样本的净化主要依赖于传统的图像处理技术，导致针对对抗样本的净化效果并不理想，在实际应用中对抗样本仍然会对视觉语言模型的任务输出（预测结果）产生影响。
技术实现思路
1、本申请提供了一种样本净化方法、装置、设备及介质，所述技术方案如下：
2、根据本申请的一方面，提供了一种样本净化方法，所述方法包括：
3、获取对抗样本，所述对抗样本是对干净样本执行对抗攻击后生成的样本；
4、向所述对抗图像添加第一噪声后得到加噪图像，所述加噪图像为向所述对抗图像执行第一扰动后的图像；
5、计算所述加噪图像对应的加噪跨模态注意力，所述加噪跨模态注意力用于描述所述加噪图像和所述文本的注意力分布；
6、基于所述加噪跨模态注意力向所述对抗图像添加第二噪声。
7、根据本申请的一方面，提供了一种样本净化装置，所述装置包括：
8、获取模块，用于获取对抗样本，所述对抗样本是对干净样本执行对抗攻击后生成的样本，所述对抗样本中包括对抗图像和文本；
9、添加模块，用于向所述对抗图像添加第一噪声，得到加噪图像；
10、计算模块，用于计算所述加噪图像对应的加噪跨模态注意力，所述加噪跨模态注意力用于描述所述加噪图像和所述文本的注意力分布；
11、控制模块，用于基于所述加噪跨模态注意力向所述对抗图像添加第二噪声，得到净化图像。
12、根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如上方面所述的样本净化方法。
13、根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如上方面所述的样本净化方法。
14、根据本申请的另一方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行如上方面所述的样本净化方法。
15、本申请提供的技术方案带来的有益效果至少包括：
16、视觉语言模型基于对抗样本会产生错误的预测，通过针对对抗样本中的对抗图像执行净化操作后得到净化图像，进而可以得到净化样本。具体地，通过针对对抗图像进行随机加噪处理得到加噪图像，由于加噪图像的加噪跨模态注意力非常接近干净图像对应的跨模态注意力，因此可以将加噪图像的加噪跨模态注意力为优化目标，向对抗图像中加入随机噪声，进而使得对抗图像的对抗跨模态注意力接近加噪图像的加噪跨模态注意力，以完成针对对抗图像的净化并得到净化图像。本申请以加噪跨模态注意力为引导，通过在对抗图像中添加噪声以实现对抗图像的净化，视觉语言模型基于净化图像可以得到正确的预测结果，这种净化方式增强了视觉语言模型的鲁棒性。
17、进一步地，以加噪跨模态注意力为估计方向引导对抗图像添加随机噪声的方式，不仅是在优化对抗图像，同时也在优化跨模态注意力本身，这种优化使得注意力机制能够更准确地聚焦于图像中的关键信息，从而提高视觉语言模型输出预测结果的准确性。
1.一种样本净化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述以最小化第一注意力差异值为目标，向所述对抗图像添加第二噪声，得到所述净化图像，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述每个像素的梯度确定所述每个像素的加噪方式，按照所述每个像素的加噪方式为所述每个像素添加第二噪声，得到所述净化图像，包括：
5.根据权利要求3或4所述的方法，其特征在于，所述梯度包括强度信息，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述梯度的强度信息确定所述对抗图像中每个像素对应的第二噪声，包括：
7.根据权利要求6所述的方法，其特征在于，所述扰动因子为第一归一化值和第一取值中的最大值，所述第一取值为第二归一化值和第二取值中的最小值，所述第二取值为所述梯度标准值和所述梯度标准值的平均值的商，所述第一归一化值为0，所述第二归一化值为1。
8.根据权利要求1至7任一所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1至7任一所述的方法，其特征在于，所述视觉语言模型包括视觉编码器和语言模型分词器；
10.根据权利要求1至9任一所述的方法，其特征在于，所述第一噪声基于在第一分布区间伪随机采样得到的第一噪声值确定，所述第一分布区间为均匀分布的区间范围。
11.根据权利要求1至9任一所述的方法，其特征在于，所述第二噪声基于在第二分布区间伪随机采样得到的第二噪声值确定，所述第二分布区间为均匀分布的区间范围。
12.一种样本净化装置，其特征在于，所述装置包括：
13.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条计算机程序，至少一条所述计算机程序由所述处理器加载并执行以实现如权利要求1至11中任一项所述的样本净化方法。
14.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如权利要求1至11中任一项所述的样本净化方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行如权利要求1至11中任一项所述的样本净化方法。
