本技术实施例涉及音频处理领域，尤其涉及图像生成模型训练方法、基于音频的图像生成方法及设备。
背景技术：
1、为了给用户提供更好的使用体验，现有音频应用通常会向用户提供歌曲画像生成功能，用户使用该功能可以为歌单中的歌曲生成用户的人物形象。
2、一般的，现有技术方案中音频处理和图像生成技术大多数情况下都是分开进行的。比如，分别提取音频特征并基于音频特征生成用户的人物形象。这种处理方式，无法确定所生成的人物形象与输入的音频特征之间存在明确的语义联系，甚至不存在明确的关联性。并且多模态的训练数据也需要很大的标注成本。也就是说，现有技术生成的人物形象与用户歌单中歌曲的匹配程度不高，用户使用歌曲画像功能的体验欠佳。
技术实现思路
1、本技术实施例提供了图像生成模型训练方法、基于音频的图像生成方法及设备，用于生成对应的形象特点与音频样本的人声特点匹配的画像。
2、本技术实施例第一方面提供一种图像生成模型的训练方法，包括：
3、获取训练数据，所述训练数据包括第一音频数据、第二音频数据、图像数据、以及与第一音频数据和图像数据对应的年龄和性别标签；
4、使用所述训练数据中的年龄和性别标签以及所述第一音频数据训练得到音频分类器；
5、使用所述训练数据中的年龄和性别标签以及所述图像数据训练得到图像分类器；
6、基于预训练的图像生成模型处理所述第二音频数据，获得所述第二音频数据对应的预测图像，所述第一音频数据与所述第二音频数据不完全相同；
7、将所述第二音频数据输入所述音频分类器，获得所述第二音频数据对应的预测人声特点标签，并将所述预测图像输入所述图像分类器，获得所述预测图像对应的预测人像特点标签；
8、基于所述预测人声特点标签以及所述预测人像特点标签调整所述预训练的图像生成模型的参数，得到训练好的图像生成模型。
9、在一些具体实现方式中，所述基于所述预测人声特点标签以及所述预测人像特点标签调整所述预训练的图像生成模型的参数，得到训练好的图像生成模型，包括：
10、将所述预测人声特点标签以及所述预测人像特点标签之间的距离作为第一训练损失，并基于第一训练损失调整所述预训练的图像生成模型的参数，得到训练好的图像生成模型；
11、或者，
12、将所述预测人声特点标签以及所述预测人像特点标签输入匹配模型，获得所述预测人声特点标签以及所述预测人像特点标签之间的匹配程度；
13、将所述预测人声特点标签以及所述预测人像特点标签之间的匹配程度作为第一训练损失，并基于所述第一训练损失调整所述预训练的图像生成模型的参数，得到训练好的图像生成模型。
14、在一些具体实现方式中，所述使用所述训练数据中的年龄和性别标签以及所述第一音频数据训练得到音频分类器，包括：
15、将所述第一音频数据输入初始的音频分类器，获得所述第一音频数据对应的预测年龄和性别标签；
16、基于所述第一音频数据对应的预测年龄和性别标签以及所述训练数据中的年龄和性别标签之间的距离调整所述初始的音频分类器的参数，获得所述音频分类器；
17、所述使用所述训练数据中的年龄和性别标签以及所述图像数据训练得到图像分类器，包括：
18、将所述图像数据输入初始的图像分类器，获得所述图像数据对应的预测年龄和性别标签；
19、基于所述图像数据对应的预测年龄和性别标签以及所述训练数据中的年龄和性别标签之间的距离调整所述初始的图像分类器的参数，获得所述图像分类器。
20、在一些具体实现方式中，所述获取训练数据，包括：
21、获取多个存量音频数据；
22、将部分所述存量音频数据作为所述第一音频数据，并获取用户输入的每个所述第一音频数据对应的图像数据，以及与第一音频数据和图像数据对应的年龄和性别标签；
23、确定除所述第一音频数据之外的存量音频数据为所述第二音频数据。
24、在一些具体实现方式中，所述方法还包括：
25、将所述第一音频数据输入初始的图像生成模型，获得所述第一音频数据对应的预测图像；
26、将所述第一音频数据对应的预测图像以及所述训练数据中的图像数据之间的距离，作为第二训练损失；
27、基于所述第二训练损失调整所述初始的图像生成模型的参数，获得所述预训练的图像生成模型。
28、6.根据权利要求1所述的方法，其特征在于，所述预测人声特点标签包括年龄和性别标签，所述预测人像特点标签与所述预测人声特点标签一致。
29、本技术实施例第二方面提供一种基于音频的图像生成方法，包括：
30、获取待处理的音频数据；
31、将所述待处理的音频数据输入训练好的图像生成模型，获得所述待处理的音频数据对应的图像，所述训练好的图像生成模型基于权利要求1至6中任一项所述图像生成模型的训练方法训练得到。
32、在一些具体实现方式中，所述方法还包括：
33、响应于用户发起的歌声图像生成指令，从所述用户的歌单和/或所述用户演唱的歌曲中，确定至少一首歌曲作为所述待处理的音频数据。
34、本技术实施例第三方面提供一种计算机设备，包括：
35、中央处理器，存储器以及输入输出接口；
36、所述存储器为短暂存储存储器或持久存储存储器；
37、所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行第一方面或第二方面所述的方法。
38、本技术实施例第四方面提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面或第二方面所述的方法。
39、本技术实施例第五方面提供一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如第一方面或第二方面的方法。
40、从以上技术方案可以看出，本技术实施例具有以下优点：获取训练数据，训练数据包括第一音频数据、第二音频数据、图像数据、以及与第一音频数据和图像数据对应的年龄和性别标签；使用训练数据中的年龄和性别标签以及第一音频数据训练得到音频分类器；使用训练数据中的年龄和性别标签以及图像数据训练得到图像分类器；基于预训练的图像生成模型处理第二音频数据，获得第二音频数据对应的预测图像，第一音频数据与第二音频数据不完全相同；将第二音频数据输入音频分类器，获得第二音频数据对应的预测人声特点标签，并将预测图像输入图像分类器，获得预测图像对应的预测人像特点标签；基于预测人声特点标签以及预测人像特点标签调整预训练的图像生成模型的参数，得到训练好的图像生成模型。如此，基于训练好的图像生成模型可以生成对应的人像特点与所输入音频数据的人声特点匹配的图像，即生成的图像与输入的音频数据之间能存在足够的语义联系，可提升用户体验。另外，本技术实施例对预训练的图像生成模型进行训练的过程中，无需使用预先标注的年龄和性别标签以及图像数据。这意味着在对预训练的图像生成模型进行训练的过程中，可以采用无标注的音频数据作为第二音频数据，大大降低了训练数据的标注成本，有效提升了模型训练效率。
1.一种图像生成模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述预测人声特点标签以及所述预测人像特点标签调整所述预训练的图像生成模型的参数，得到训练好的图像生成模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述使用所述训练数据中的年龄和性别标签以及所述第一音频数据训练得到音频分类器，包括：
4.根据权利要求1所述的方法，其特征在于，所述获取训练数据，包括：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述预测人声特点标签包括年龄和性别标签，所述预测人像特点标签与所述预测人声特点标签一致。
7.一种基于音频的图像生成方法，其特征在于，包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.一种计算机设备，其特征在于，包括：中央处理器，存储器以及输入输出接口；
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1至6任一项所述的图像生成模型的训练方法或7至8中任一项所述的基于音频的图像生成方法。
