本发明涉及模型优化，尤其是涉及一种基于多目标优化的文生图大模型优化方法及系统。
背景技术：
1、随着扩散模型（sd）和变分自编码器（vaes）等生成模型的发展，文本到图像生成（text-to-image synthesis）领域取得了显著进展。这些技术使得计算机可以根据输入的自然语言描述生成对应的图像，从而在艺术创作、广告设计、游戏开发等领域具有广泛的应用前景。然而，现有的文生图大模型通常需要处理多维度的复杂优化问题，以生成高质量且符合文本描述的图像。
2、在实际应用中，生成的图像不仅需要符合文本描述的语义信息，还需要在视觉质量、内容多样性等方面表现良好。然而，现有的文生图模型在这方面往往存在不足之处。例如，生成图像的质量可能不够高，或者生成的内容与文本描述不完全一致。这些问题的存在意味着模型需要进一步的优化和微调，以提高生成图像的整体表现。
3、nsga-ii是一种多目标优化算法，能够同时优化多个目标函数，并通过进化过程寻找全局最优解。通过将nsga-ii应用于文生图模型的微调过程，可以在保持文本描述一致性的同时，优化生成图像的质量和多样性，从而实现更优的生成效果。
4、这种微调方法可以广泛应用于需要高质量图像生成的场景，如个性化广告创作、虚拟场景生成以及自动化设计等领域。通过结合nsga-ii优化算法，文生图模型能够更好地适应不同的应用需求，提供更高的生成图像质量和更丰富的内容表达。
5、因此亟需一种将nsga-ii算法和文生图模型相结合的方法。
技术实现思路
1、为了解决上述提到的问题，本发明提供一种基于多目标优化的文生图大模型优化方法及系统。
2、第一方面，本发明提供的一种基于多目标优化的文生图大模型优化方法，采用如下的技术方案：
3、一种基于多目标优化的文生图大模型优化方法，包括：
4、获取文本数据；
5、构建基于扩散模型的文生图大模型；
6、基于优化变量构建多目标优化问题，基于多目标优化问题并利用nsga-ii算法对文生图大模型进行参数优化；
7、基于参数优化，利用文生图大模型进行反向扩散生成最终的用户需求图像。
8、进一步地，所述构建基于扩散模型的文生图大模型，包括基于扩散模型的可拓展模型架构构建文生图大模型，其中，扩散模型的反向生成过程为：
9、
10、条件生成时的反向sde为：
11、
12、利用贝叶斯公式对sde进行求导，表示为：
13、
14、其中，导数梯度为0.将上式带入条件生成sde可得：
15、
16、其中，是以x 作为条件，时间为t对应条件y的概率。是一个分类神经网络。
17、进一步地，所述基于优化变量构建多目标优化问题，包括建立文生图图像感质量最大化的优化问题，目标是通过调节模型输入和生成机制，生成具有高感知质量的图像，表示为：
18、
19、其中，图像感知质量 q，潜在变量 z，文本描述 t，描述图像x。
20、进一步地，所述基于优化变量构建多目标优化问题，还括基于语义一致性最大的优化问题，目标是文生图与输入文本描述在语义上一致，表示为：
21、
22、其中，s(x,t,z)表示生成图像 x 和文本描述 t的语义一致性评分，z潜在变量。
23、进一步地，所述基于优化变量构建多目标优化问题，还包括建立内容多样性最大化的优化问题，目标是生成一组内容多样化的样本，表示为：
24、
25、其中，d(x)是生成的样本集 x={x1,x2,…,xn}的多样性度量。
26、进一步地，所述基于多目标优化问题并利用nsga-ii算法对扩散模型进行参数优化，包括利用nsga-ii算法对扩散模型参数进行优化以图像质量最大化、语义一致性、内容多样性为优化目标，结合优化算法的输出解训练扩散模型优化图像的生成质量。
27、进一步地，所述基于参数优化，利用文生图大模型进行反向扩散生成最终的用户需求图像，包括利用噪声预测器估计潜在空间中图像的噪声，并逐步去除这些噪声，从而生成清晰的图像，描述为：
28、
29、其中，xt 是在时间步 t 的图像，θ(xt,t) 是噪声预测器对当前图像 xt 和时间步 t的噪声估计。
30、第二方面，一种基于多目标优化的文生图大模型优化系统，包括：
31、数据获取模块，被配置为，获取文本数据；
32、模型构建模块，被配置为，构建基于扩散模型的文生图大模型；
33、优化模块，被配置为，基于优化变量构建多目标优化问题，基于多目标优化问题并利用nsga-ii算法对文生图大模型进行参数优化；
34、反向扩散模块，被配置为，基于参数优化，利用文生图大模型进行反向扩散生成最终的用户需求图像。
35、第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于多目标优化的文生图大模型优化方法。
36、第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于多目标优化的文生图大模型优化方法。
37、综上所述，本发明具有如下的有益技术效果：
38、（1）本发明提出的文生图优化微调方法能够同时优化多个互相冲突的目标。对于文生图模型的微调，可以同时提高图像的清晰度、色彩逼真度和细节表现。同时，确保生成的图像与输入文本在语义上保持高度一致。
39、（2）本发明的文生图优化微调方法方法通过对多方目标进行综合考虑建模可以更好地平衡不同方的利益和目标。能够有效区分不同的解，并维护多样性。对于文生图模型来说，这可以帮助生成不同类型和风格的图像，保证微调后的模型具备生成不同风格和高质量图像的能力。相比于其他多目标优化算法，nsga-ii 通过采用精简的排序和选择机制，在计算复杂度上具有优势。对于文生图大模型的微调，尤其是在处理大规模数据时，nsga-ii可以在较低的计算资源开销下完成多目标的优化过程。
1.一种基于多目标优化的文生图大模型优化方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多目标优化的文生图大模型优化方法，其特征在于，所述构建基于扩散模型的文生图大模型，包括基于扩散模型的可拓展模型架构构建文生图大模型，其中，扩散模型的反向生成过程为：
3.根据权利要求2所述的一种基于多目标优化的文生图大模型优化方法，其特征在于，所述基于优化变量构建多目标优化问题，包括建立文生图图像感质量最大化的优化问题，目标是通过调节模型输入和生成机制，生成具有高感知质量的图像，表示为：
4.根据权利要求3所述的一种基于多目标优化的文生图大模型优化方法，其特征在于，所述基于优化变量构建多目标优化问题，还括基于语义一致性最大的优化问题，目标是文生图与输入文本描述在语义上一致，表示为：
5.根据权利要求4所述的一种基于多目标优化的文生图大模型优化方法，其特征在于，所述基于优化变量构建多目标优化问题，还包括建立内容多样性最大化的优化问题，目标是生成一组内容多样化的样本，表示为：
6.根据权利要求5所述的一种基于多目标优化的文生图大模型优化方法，其特征在于，所述基于多目标优化问题并利用nsga-ii算法对扩散模型进行参数优化，包括利用nsga-ii算法对扩散模型参数进行优化以图像质量最大化、语义一致性、内容多样性为优化目标，结合优化算法的输出解训练扩散模型优化图像的生成质量。
7.根据权利要求6所述的一种基于多目标优化的文生图大模型优化方法，其特征在于，所述基于参数优化，利用文生图大模型进行反向扩散生成最终的用户需求图像，包括利用噪声预测器估计潜在空间中图像的噪声，并逐步去除这些噪声，从而生成清晰的图像，描述为：
8.一种基于多目标优化的文生图大模型优化系统，其特征在于，包括：
9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的方法。
10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1所述的方法。
