1.本技术涉及计算机技术领域,尤其涉及一种虚拟物品信息处理及模型训练方法、装置及电子设备。
背景技术:2.目前虚拟物品服务平台通常可以提供基于虚拟物品价值的排序及信息展示、虚拟物品的匹配和回收等功能,从而实现虚拟物品的搜索、推荐、交易等,提升推荐、搜索等场景流量分发的效率和虚拟物品的动销率。其中虚拟物品可以是以下任意一种:数字卡号类商品,包括各种网络游戏的游戏点卡、手机充值卡等;虚拟身份类商品,包括各种网站的会员资格、网络游戏账号等;虚拟物品类商品,包括网游中的虚拟宠物、虚拟道具等。对于数字卡号类商品、会员资格、普通的虚拟宠物和虚拟道具等的价值,通常是固定的、或基于简单属性可以确定价值的标品,能够准确获知其价值。但是,对于网络游戏账号、某些特殊的虚拟宠物、虚拟道具等并非标品的虚拟物品,具有唯一性,不同虚拟物品之间具有一定的差异,价值随市场波动大,时效性与供求关系等因素相比实物商品更加敏感,无标价可参考且价值跨度大。
3.目前,虚拟物品服务平台中依赖于人工估计录入虚拟物品的价值,无法精准确定非标品类的虚拟物品的价值信息,导致平台所展示的虚拟物品的价值信息不够精准、虚拟物品匹配的精准度低,从而导致基于匹配结果进行的虚拟物品的推荐及搜索的精准度低。
技术实现要素:4.本技术提供一种虚拟物品信息处理及模型训练方法、装置及电子设备,用以精准确定虚拟物品的价值信息,提高平台所展示的虚拟物品的价值信息的精准度和虚拟物品匹配的精准度。
5.第一方面,本技术提供一种虚拟物品信息处理方法,包括:获取虚拟物品的文本描述信息、图像信息、元数据和所述虚拟物品关联的交互行为日志;提取所述图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;根据所述交互行为日志和元数据,提取所述虚拟物品的特征信息;将所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络确定所述虚拟物品的价值信息;根据所述虚拟物品的价值信息进行后续数据处理,所述后续数据处理包括以下至少一项:信息展示、匹配处理。
6.第二方面,本技术提供一种模型训练方法,包括:获取当前应用领域的虚拟物品的交易数据,并根据每一次交易数据生成对应的训练样本,所述训练样本包括虚拟物品的文本描述信息、图像信息、交互行为日志和元数据,
以及所述虚拟物品的成交价值、所述成交价值所在的价值区间;提取所述训练样本的图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;根据所述训练样本中的所述交互行为日志和元数据,提取所述虚拟物品的特征信息,所述特征信息包括以下至少一项:属性特征、市场特征、卖家特征;将根据每一所述训练样本确定的所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络的分类预测模块确定所述虚拟物品对应的区间类别,并通过所述深度学习网络的回归预测模块确定所述虚拟物品的价值信息的预测值;根据所述虚拟物品的价值信息的预测值与所述虚拟物品的成交价值间的差异,以及所述虚拟物品对应的区间类别与所述虚拟物品的所述成交价值所在的价值区间的差异,对所述深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络。
7.第三方面,本技术提供一种虚拟物品信息处理装置,包括:数据处理模块,用于获取虚拟物品的文本描述信息、图像信息、元数据和所述虚拟物品关联的交互行为日志;所述数据处理模块还用于提取所述图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;所述数据处理模块还用于根据所述交互行为日志和元数据,提取所述虚拟物品的特征信息;价值信息确定模块,用于将所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络确定所述虚拟物品的价值信息;价值信息应用模块,用于根据所述虚拟物品的价值信息进行后续数据处理,所述后续数据处理包括以下至少一项:信息展示、匹配处理。
8.第四方面,本技术提供一种模型训练装置,包括:数据处理模块,用于获取当前应用领域的虚拟物品的交易数据,并根据每一次交易数据生成对应的训练样本,所述训练样本包括虚拟物品的文本描述信息、图像信息、交互行为日志和元数据,以及所述虚拟物品的成交价值、所述成交价值所在的价值区间;所述数据处理模块还用于提取所述训练样本的图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;所述数据处理模块还用于根据所述训练样本中的所述交互行为日志和元数据,提取所述虚拟物品的特征信息,所述特征信息包括以下至少一项:属性特征、市场特征、卖家特征;价值信息确定模块,将根据每一所述训练样本确定的所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络的分类预测模块确定所述虚拟物品对应的区间类别,并通过所述深度学习网络的回归预测模块确定所述虚拟物品的价值信息的预测值;联合训练模块,用于根据所述虚拟物品的价值信息的预测值与所述虚拟物品的成
交价值间的差异,以及所述虚拟物品对应的区间类别与所述虚拟物品的所述成交价值所在的价值区间的差异,对所述深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络。
9.第五方面,本技术提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现第一方面或第二方面所述的方法。
10.第六方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面或第二方面所述的方法。
11.本技术提供的虚拟物品信息处理及模型训练方法、装置及电子设备,通过获取虚拟物品的文本描述信息、图像信息、元数据和虚拟物品关联的交互行为日志;提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征,从而修正与完善虚拟物品的关键信息;根据交互行为日志和元数据,提取虚拟物品的多维特征信息,将虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息作为输入数据,利用训练好的深度学习网络基于输入数据精准地确定虚拟物品的价值信息,充分考虑了虚拟物品的多维因素对虚拟物品价值信息的影响,并针对不同形态的数据进行定制化的信息提取流程,完成多模态特征提取,基于虚拟物品的多模态特征对虚拟物品进行个性化建模,构建了一个多模态的虚拟物品的估值模型,能够精准地确定虚拟物品的价值信息,从而提高平台所展示的虚拟物品的价值信息的精准度,基于虚拟物品的精准的价值信息进行虚拟物品的匹配处理,能够提高虚拟物品匹配的精准度,应用于虚拟物品推荐/搜索场景时,能够提高虚拟物品的推荐/搜索的精准度。
附图说明
12.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
13.图1为本技术所基于的一种网络架构的示意图;图2 为本技术一示例性实施例提供的一种虚拟物品信息处理方法流程图;图3 为本技术另一示例性实施例提供的精准确定虚拟物品的价值信息的方法流程图;图4为本技术实施例提供的一种精准确定虚拟物品的价值信息的框架图;图5为本技术实施例提供的一种训练好的深度学习网络的架构图;图6为本技术一示例性实施例提供的深度学习网络的模型训练方法流程图;图7为本技术实施例提供的一种模型训练时深度学习网络的架构图;图8为本技术一示例性实施例提供的虚拟物品信息处理装置的结构示意图;图9为本技术一示例性实施例提供的模型训练装置的结构示意图;图10为本技术一示例实施例提供的电子设备的结构示意图。
14.通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图
和文字描述并不是为了通过任何方式限制本技术构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
15.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
16.首先对本技术所涉及的名词进行解释:bert:bidirectional encoder representation from transformers,是一个预训练的语言表征模型。
17.resnet:residual network,残差网络,其内部的残差块使用了跳跃连接,缓解了在深度神经网络中增加深度带来的梯度消失问题,该系列网络广泛用于计算机视觉领域的任务中。resnet50是其中一种经典的网络结构,包含50个conv2d操作。
18.attention机制:又称为注意力机制,是一种能让模型对重要信息重点关注并充分学习吸收的技术。
19.fc:fully connected layer,深度学习网络中的全连接层。
20.本技术提供的虚拟物品信息处理方法,可以该应用于虚拟物品服务平台,用于精准地确定虚拟物品的价值信息,并基于虚拟物品的价值信息实现信息展示、进行虚拟物品的匹配从而实现虚拟物品的推荐、搜索、交易等功能。
21.示例性地,游戏交易平台是一种典型的虚拟物品服务平台,通过游戏交易平台可以实现游戏凭证、游戏道具和游戏账号等虚拟物品的搜索、推荐、交易等功能。其中而游戏账号的交易是核心业务场景,占据游戏交易平台交易总额的绝大部分。游戏交易平台基于精准确定的虚拟物品的价值信息,官方进行游戏账号回收以及引入b端商家进行游戏账号回收,可以有效提升人工回收效率和回收成功率,提升游戏账号的动销率;通过展示虚拟物品的价值信息,提供虚拟物品价值指导服务,协助卖家更合理的设定虚拟物品的价值,以保障市场更加合理;通过精准地确定虚拟物品的价值信息,能够更精准的进行买家与虚拟物品的匹配,有助于提升推荐、搜索等的精准度,提高场景流量分发的效率;除此之外,还可以为游戏直播等场景提供虚拟物品的参考价值信息的增值服务,提升平台收益。而以上所有场景均极大地依赖于平台精准地确定虚拟物品的价值信息,因此,精准地确定虚拟物品的价值信息是游戏交易平台优化需要解决的关键问题。
22.示例性地,游戏账号属于虚拟物品,无原价可参考,且价值跨度大;游戏账号具有唯一性,每个账号之间均具有一定的差异,并非标品;游戏账号的价值随市场波动大,时效性与供求关系等因素相比实物商品更加敏感;游戏账号的重要信息缺失严重,游戏更新快、玩法机制复杂等原因导致重要信息的不准确;游戏账号价值会受大量玩法元素的综合影响,且内部元素信息具有极强关联性,比如阵容搭配等。人工很难精准地确定的游戏账号的价值信息,并效率很低,导致平台所展示的游戏账号的价值信息的精准度低,搜索游戏账号、推荐游戏账号时的精准度较低。
23.综上,对于游戏账号和部分游戏道具等非标品的虚拟物品,具有唯一性,不同虚拟
物品之间具有一定的差异,价值随市场波动大,时效性与供求关系等因素相比实物商品更加敏感,无标价可参考且价值跨度大交易,人工确定的虚拟物品的价值的精准度较低,且效率很低,导致平台所展示的虚拟物品的价值信息的精准度低,搜索虚拟物品、推荐虚拟物品时的精准度较低。
24.本技术提供的虚拟物品信息处理方法,旨在解决现有技术的如上技术问题。
25.示例性地,图1为本技术所基于的一种网络架构的示意图,图1所示网络架构具体可包括服务器以及终端。
26.其中,服务器具体可为设置在云端的服务器集群,该服务器用于实现虚拟物品服务平台的功能,该服务器存储有虚拟物品的文本数据、图像数据、元数据和交互行为日志等数据,深度学习网络相关的模型数据,以及用于模型训练的数据,通过服务器中预设运算逻辑,服务器可实现深度学习网络的模型训练、以及根据虚拟物品的文本数据、图像数据、元数据和交互行为日志等数据,利用训练好的深度学习网络精准地确定虚拟物品的价值信息,并根据虚拟物品的价值信息进行后续的信息展示、虚拟物品匹配等数据处理。
27.终端具体可为具有网络通信功能、运算功能以及信息显示功能的硬件设备,其包括但不限于智能手机、平板电脑、台式电脑、物联网设备等。
28.通过与服务器的通信交互,终端可将用户输入的请求信息发送至服务器,服务器获取到用户输入的请求信息之后,根据虚拟物品的价值信息进行相应地数据处理流程,并将数据处理结果展示反馈给终端。
29.示例性地,终端可以将包含用户输入的虚拟物品的数据的价值查询请求发送至服务器,服务器根据虚拟物品的数据,利用训练好的深度学习网络精准地确定该虚拟物品的价值信息,并将虚拟物品的价值信息反馈给终端,终端展示虚拟物品的价值信息。
30.另外,服务器还可以定期地根据当前虚拟物品的数据更新各个虚拟物品的价值信息,并存储各个虚拟物品的价值信息,基于已存储的虚拟物品的精准的价值信息,提供虚拟物品的搜索、推荐、交易等功能。
31.示例性地,终端可以将用户的虚拟物品价值查询请求发送至服务器,服务器获取待查询的虚拟物品的标识,根据已存储的所有虚拟物品的价值信息,以及待查询的虚拟物品的标识,查找该虚拟物品的价值信息,并将该虚拟物品的价值信息反馈给终端,终端展示该虚拟物品的价值信息。
32.示例性地,终端可以将包含虚拟物品的价值区间的虚拟物品搜索请求发送至服务器,服务器根据精准确定的所有虚拟物品的价值信息,查找价值信息在虚拟物品的价值区间内的虚拟物品,根据查找结果将找到的价值信息在虚拟物品的价值区间内的虚拟物品的信息反馈给终端。终端对价值信息在虚拟物品的价值区间内的虚拟物品的信息进行展示。用户可以根据所展示的虚拟物品的信息,选择其中一个或多个虚拟物品进行交易。
33.示例性地,终端可以将包含当前用户标识的虚拟物品搜索请求发送至服务器,服务器根据当前用户标识获取当前用户对同类虚拟物品的历史浏览信息和历史购买信息,确定当前用户可接受的价值区间,根据当前用户可接受的价值区间对搜索结果进行筛选,保留价值信息在当前用户可接受的价值区间内的虚拟物品,得到最终的搜索结果;将最终的搜索结果反馈给终端。终端对最终的搜索结果进行展示。
34.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述
技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
35.图2 为本技术一示例性实施例提供的一种虚拟物品信息处理方法流程图。本实施例提供的虚拟物品信息处理方法具体可以应用于前述提及的服务器。如图2所示,该方法具体步骤如下:步骤s201、获取虚拟物品的文本描述信息、图像信息、元数据和虚拟物品关联的交互行为日志。
36.其中,文本描述信息包含虚拟物品的描述文本的信息,可以根据虚拟物品的描述文本等文本数据生成。虚拟物品的描述文本等文本数据可以由用户通过终端设备输入并上传至服务器。
37.图像信息是根据包含虚拟物品的相关信息的图像数据确定的图像特征。示例性地,包含虚拟物品的相关信息图像数据可以是展示有虚拟物品的相关信息的页面的图像,可以由用户通过终端设备采集并上传,也可以由服务器自动截取虚拟物品相关页面得到。
38.元数据包含虚拟物品的属性、标签等虚拟物品本身具有的数据信息,可以是发布虚拟物品时提供的虚拟物品的属性、卖家的属性、物品的标签、卖家的偏好标签等。
39.虚拟物品关联的交互行为日志是指与虚拟物品相关的交互行为的日志数据,例如,虚拟物品的发布、搜索、交易、浏览等行为的日志数据。
40.本实施例中,针对非标品的虚拟物品具有唯一性,不同虚拟物品之间具有一定的差异的特点,获取虚拟物品的文本描述信息、图像信息、元数据和虚拟物品关联的交互行为日志等多种模态的信息,从而对不同的虚拟物品进行个性化的分布式建模,为精准地确定虚拟物品的价值信息提供多模态、全面、丰富的数据基础。
41.步骤s202、提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征。
42.在实际应用中,用户为了尽快完成发布、往往省略某些影响虚拟物品价值信息的关键信息,使得虚拟物品的元数据中缺失部分影响虚拟物品价值信息的关键信息。该步骤中,针对虚拟物品的关键信息严重缺失的问题,从虚拟物品的图像信息中提取虚拟物品关键元素的信息,从而修正与完善虚拟物品的关键信息。
43.其中,虚拟物品的关键元素是指影响虚拟物品的价值信息的元素,虚拟物品的关键元素可以根据实际应用场景进行配置和调整,不同种类的虚拟物品的关键元素可以不同,此处不做具体限定。
44.步骤s203、根据交互行为日志和元数据,提取虚拟物品的特征信息。
45.示例性地,可以将交互行为日志和元数据划分为属性数据、市场数据和卖家数据这三个域,分别从不同域的数据中提取虚拟物品的属性特征、市场特征和卖家特征。
46.其中,属性特征是根据虚拟物品的属性数据获取的特征信息,可以包括文本特征和统计类数值特征。
47.文本特征可以是虚拟物品属性信息中的关键文本内容,可以通过用户输入(如勾选、填写)、对虚拟物品的文本类的属性信息进行关键内容提取、对包含虚拟物品的文本特征的图像进行识别等方式确定。
48.统计类数值特征也可以通过用户输入、对虚拟物品的已知属性进行统计、对包含
虚拟物品的统计类数值特征的图像进行识别等方式确定。
49.对于不同场景下的同类虚拟物品,或者同一场景下的不同类的虚拟物品,需要提取的虚拟物品的属性特征可以不同,具体可以根据具体应用场景和虚拟物品的种类进行配置和调整,此处不做具体限定。
50.示例性地,以某一战略网络游戏为例,其游戏账号的属性信息可以包括:拥有的核心五星武将、核心战法、红度信息、阵容信息、当前赛季、账号类型、客户端信息、使用服务器信息等。游戏账号的文本特征可以包括:是否高红、是否满红、核心战法名、所在战区、战法是否齐全等。游戏账号的统计类特征可以包括:五星武将数量、红度总数、核心战法数、高红/满红的五星武将数、阵容数、赛季限定武将数、在架时间等等。本实施例中,针对虚拟物品随市场波动影响大的特点,根据交互行为日志和元数据,提取虚拟物品的大量市场维度的市场特征,包括虚拟物品的供销情况、搜索情况及相关时间特征。示例性地,虚拟物品的供销情况包括但不限于供求曲线、滞销度、畅销度等。虚拟物品的搜索情况包括但不限于搜索次数、浏览次数等。
51.卖家特征包括但不限于发布该虚拟物品的卖家的标签、卖家历史交易信息和信用特征等。
52.步骤s204、将虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过深度学习网络确定虚拟物品的价值信息。
53.本实施例中,获取虚拟物品的文本描述信息、图像信息,提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征;通过根据交互行为日志和元数据,提取虚拟物品的属性特征、市场特征、卖家特征等特征信息,将虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息作为输入数据,利用训练好的深度学习网络基于输入数据精准地确定虚拟物品的价值信息,充分考虑了虚拟物品的商品因素、市场因素、卖家因素等多维因素对虚拟物品价值信息的影响,并针对不同形态的数据进行定制化的信息提取流程,完成多模态特征提取,基于虚拟物品的多模态特征对虚拟物品进行个性化建模,构建了一个多模态的深度学习网络模型,用于精准地确定虚拟物品的价值信息,能够应用于游戏垂类交易平台中精准确定虚拟物品价值信息这一关键问题,并在多个业务场景下进行赋能,实现具体场景的数据处理。
54.步骤s205、根据虚拟物品的价值信息进行后续数据处理,后续数据处理包括以下至少一项:信息展示、匹配处理。
55.本实施例中,在精准地确定虚拟物品的价值信息之后,可以对虚拟物品的价值信息进行展示,以提供虚拟物品的价值信息的指导服务;或者,还可以在线地基于虚拟物品的价值信息进行虚拟物品匹配,得到匹配结果,并展示匹配结果,以实现虚拟物品的搜索、推荐、交易等服务。
56.本实施例中,通过获取虚拟物品的文本描述信息、图像信息、元数据和虚拟物品关联的交互行为日志;提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征,从而修正与完善虚拟物品的关键信息;根据交互行为日志和元数据,提取虚拟物品的多维特征信息,将虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息作为输入数据,利用训练好的深度学习网络基于输入数据精准地确定虚拟物品的价值信息,充分考虑了虚拟物品的多维因素对虚拟物品价值信息的影响,并针对不同形态的数据进行定制
化的信息提取流程,完成多模态特征提取,基于虚拟物品的多模态特征对虚拟物品进行个性化建模,构建了一个多模态的虚拟物品的估值模型,能够精准地确定虚拟物品的价值信息,从而提高平台所展示的虚拟物品的价值信息的精准度,基于虚拟物品的精准的价值信息进行虚拟物品的匹配处理,能够提高虚拟物品匹配的精准度,应用于虚拟物品推荐/搜索场景时,能够提高虚拟物品的推荐/搜索的精准度。
57.一种可选地实施例中,对于虚拟物品服务平台上已发布的虚拟物品,服务器可以精准地确定并存储虚拟物品的价值信息,并定期地更新所存储的虚拟物品的价值信息。基于所存储的虚拟物品的价值信息,提供虚拟物品的搜索、推荐、交易等服务。
58.上述步骤s205中根据虚拟物品的价值信息进行后续数据处理,可以采用如下方式实现:响应于用户的虚拟物品查询请求,获取用户的预期价值区间;根据用户的预期价值区间和虚拟物品的价值信息,搜索价值信息处于预期价值区间内的虚拟物品;输出价值信息处于预期价值区间内的虚拟物品的信息,以实现虚拟物品的搜索或推荐功能。
59.可选地,响应于用户的虚拟物品查询请求,获取用户的预期价值区间时,可以从虚拟物品查询请求中提取获取用户输入的预期价值区间。
60.可选地,响应于用户的虚拟物品查询请求,获取用户的预期价值区间时,可以从虚拟物品查询请求中提取当前用户的标识,根据当前用户的标识获取当前用户的搜索虚拟物品的历史搜索日志和/或当前用户购买虚拟物品的历史购买日志等信息,确定当前用户浏览过和/或购买过的同类虚拟物品的价值信息,并根据当前用户浏览过和/或购买过的同类虚拟物品的价值信息的最大值和最小值,确定用户的预期价值区间。
61.可选地,输出价值信息处于预期价值区间内的虚拟物品的信息时,可以将价值信息处于预期价值区间内的虚拟物品的信息直接进行展示;或者,可以将价值信息处于预期价值区间内的虚拟物品的信息,按照价值信息进行排序后展示。
62.本实施例提供了基于虚拟物品的精准的价值信息实现虚拟物品搜索和推荐的场景示例,能够提高虚拟物品的推荐和搜索的精准度。
63.图3 为本技术另一示例性实施例提供的精准确定虚拟物品的价值信息的方法流程图,在上述任一方法实施例的基础上,本实施例中,对于虚拟物品的属性特征,采用残差思想,把虚拟物品的属性特征和对虚拟物品的属性特征进行降维处理(field embedding)后的属性特征向量合并,得到属性合并特征,将属性合并特征作为深度学习网络的输入,能够在信息传递过程中减少信息丢失和损耗,有助于后续不同特征间的相互学习。
64.如图3所示,该方法具体步骤如下:步骤s300、获取虚拟物品的文本数据、图像数据、元数据和交互行为日志。
65.其中,虚拟物品的文本数据包括虚拟物品的名称和描述文本等,可以由虚拟物品的发布者输入并提交到服务平台。示例性地,可以由卖家在发布虚拟物品时输入虚拟物品的文本数据,并提交到服务平台。
66.虚拟物品的图像数据是指包含虚拟物品的相关信息图像数据。示例性地,虚拟物品的图像数据可以包括展示有虚拟物品的相关信息的页面的图像,可以由用户通过终端设备采集并上传,也可以由服务器自动抓取展示虚拟物品相关信息的页面得到。
67.虚拟物品的元数据包含虚拟物品的属性、标签等虚拟物品本身具有的数据信息,
可以是发布虚拟物品时提供的虚拟物品的属性、卖家的属性、物品的标签、卖家的偏好标签等。可以由虚拟物品的发布者输入并提交到服务平台。示例性地,虚拟物品的元数据可以由卖家在发布虚拟物品时输入虚拟物品的元数据,并提交到服务平台。
68.虚拟物品关联的交互行为日志是指与虚拟物品相关的交互行为的日志数据,例如,虚拟物品的发布、搜索、交易、浏览等行为的日志数据。
69.本实施例中,针对非标品的虚拟物品具有唯一性,不同虚拟物品之间具有一定的差异的特点,获取虚拟物品的文本数据、图像数据、元数据和虚拟物品关联的交互行为日志等多种模态的数据,从而对不同的虚拟物品进行个性化的分布式建模,为精准地确定虚拟物品的价值信息提供多模态、全面、丰富的数据基础。
70.步骤s301、虚拟物品的文本数据包括虚拟物品的名称和描述文本;对虚拟物品的名称和描述文本进行文本预处理,得到虚拟物品的文本描述信息。
71.该步骤中,根据虚拟物品的名称和描述文本等文本数据,生成虚拟物品的文本描述信息。虚拟物品的文本描述信息被作为深度学习网络的输入数据输入深度学习网络。
72.具体地,虚拟物品的名称和描述文本都是文本数据,通过对虚拟物品的名称和描述文本进行文本预处理,将文本预处理后的文本信息作为虚拟物品的文本描述信息。
73.示例性地,文本预处理可以包括对文本数据的去噪、分词、拼接、统一格式等中的一种或多种处理流程。另外,本技术中对文本数据进行文本预处理的过程可以采用现有技术中的一种或多种文本预处理的方式实现,此处不再一一列举。
74.步骤s302、对图像数据进行图像预处理,得到虚拟物品的图像信息。
75.该步骤中,对虚拟物品的图像数据进行图像预处理后,将图像预处理后得到的图像作为虚拟物品的图像信息。虚拟物品的图像信息被作为深度学习网络的输入数据输入深度学习网络。
76.其中,图像预处理包括以下至少一项:调整图像大小、色彩变换、角度纠正。另外,对图像数据进行图像预处理的还可以包括用于实现输入图像的标准化、规范化的一种或多种预处理的方式实现,此处不做具体限定。
77.步骤s303、提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征。
78.在实际应用中,用户为了尽快完成虚拟物品的发布等因素,往往省略某些影响虚拟物品价值信息的关键信息,使得虚拟物品的元数据中缺失部分影响虚拟物品价值信息的关键信息。该步骤中,针对虚拟物品的关键信息严重缺失的问题,从虚拟物品的图像信息中提取虚拟物品关键元素的信息,从而修正与完善虚拟物品的关键信息。
79.其中,虚拟物品的关键元素是指影响虚拟物品的价值信息的元素,虚拟物品的关键元素可以根据实际应用场景进行配置和调整,不同种类的虚拟物品的关键元素可以不同,此处不做具体限定。
80.另外,应用于不同的场景时虚拟物品(如不同的网络游戏的游戏账号)的关键元素可以不同。示例性地,针对不同网络游戏配置游戏账号的关键元素,进而对游戏账号的图像信息中的关键元素的信息进行提取,得到虚拟物品的图像关键特征。虚拟物品的图像关键特征也被作为深度学习网络的输入数据输入深度学习网络,能填补虚拟物品缺失的重要信息。
81.示例性地,以某一款战略网络游戏为例,其游戏账号的图像信息中包含该游戏账号内的武将信息、战法信息等等。本实施例可以配置游戏账号的关键元素包括:五星武将名、战法名、武将红度等,这些关键元素往往是游戏账号价值的决定性因素,而在用户提交游戏账号的信息时存在大量漏填、误填的情况。
82.示例性地,以某一款网络游戏为例,对于其一种非标品类的道具,可以配置该道具的关键元素包括:道具名称、等级、武力值等,这些关键元素往往是这类道具价值的决定性因素,而在用户提交道具的信息时存在大量漏填、误填的情况。
83.一种可选地实施方式中,该步骤中可以利用光学字符识别(optical character recognition,简称ocr)模型识别图像信息包含的文本信息来实现。具体地,针对虚拟物品的一种或多种通过文本信息描述的关键元素,可以使用当前虚拟物品的关键元素的真实图像数据及精准标注的文本信息,对预训练好的ocr模型再次进行训练(retrain),得到用于从虚拟物品的图像信息中识别该关键元素的文本信息的ocr模型。
84.该步骤中,获取配置的虚拟物品的关键元素,以及关键元素对应的光学字符识别模型;将图像信息输入关键元素对应的光学字符识别模型,通过光学字符识别模型识别图像信息所包含的关键元素的文本特征;虚拟物品的图像关键特征包括虚拟物品的所有关键元素的文本特征。
85.其中,关键元素的文本特征可以是光学字符识别模型从输入的图像信息中识别该关键元素的文本信息的向量表示。
86.示例性地,ocr模型可以采用dbnet + crnn + ctc算法方案,或者其他任意一种ocr模型架构实现,此处不做具体限定。
87.示例性地,以某一款战略网络游戏为例,配置游戏账号的关键元素包括:五星武将名、战法名。通过基于这一款战略网络游戏中多个游戏账号的包含五星武将名的图像信息,及五星武将名的标注信息,训练ocr模型,得到用于识别游戏账号的五星武将名的第一ocr模型。通过将游戏账号的图像信息输入第一ocr模型,识别出游戏账号的五星武将名。通过基于这一款战略网络游戏中多个游戏账号的包含战法名的图像信息,及战法名的标注信息,训练ocr模型,得到用于识别游戏账号的战法名的第二ocr模型。通过将游戏账号的图像信息输入第二ocr模型,识别出游戏账号的战法名。
88.一种可选地实施方式中,该步骤中可以利用图像识别模型对图像信息进行图像识别确定图像信息中的关键元素的图像特征(也即图像关键特征)。具体地,针对虚拟物品的一种或多种通过图像表示的关键元素,可以使用当前虚拟物品的关键元素的真实图像数据及精准标注的图像特征,对预训练好的图像识别模型进行微调(finetune),得到用于从虚拟物品的图像信息中识别该关键元素的图像特征的图像识别模型。
89.该步骤中,获取配置的虚拟物品的关键元素,以及关键元素对应的图像识别模型;将图像信息输入关键元素对应的图像识别模型,通过图像识别模型识别图像信息中所包含的关键元素的特征信息,得到虚拟物品的图像关键特征。
90.示例性地,图像识别模型可以采用resnet50+rpn+hsv算法方案,或者其他的图像识别算法架构实现,此处不做具体限定。
91.示例性地,示例性地,以某一款战略网络游戏为例,配置游戏账号的关键元素包括:武将红度。武将红度是指武将的进阶信息,在页面中武将红度可以通过对应图标的颜色
来进行区分的,一个对应图标的颜色为“红色”表示一次进阶。通过将游戏账号的图像信息输入图像识别模型,识别出游戏账号的武将红度对应图标是否为红色,从而确定游戏账号武将红度信息。
92.步骤s304、根据交互行为日志和元数据,提取虚拟物品的特征信息,特征信息包括以下至少一项:属性特征、市场特征、卖家特征。
93.该步骤中,可以将交互行为日志和元数据划分为属性数据、市场数据和卖家数据这三个域,分别从不同域的数据中提取虚拟物品的属性特征、市场特征和卖家特征。虚拟物品的属性特征、市场特征和卖家特征被作为深度学习网络的输入数据输入深度学习网络。
94.另外,基于交互行为日志和元数据,还可以确定虚拟物品的物品标签、统计特征等。虚拟物品的物品标签可以基于虚拟物品所属游戏领域的知识图谱确定,可以是知识图谱中已经为虚拟物品打上的标签,也可以是基于知识图谱为虚拟物品生成的标签。虚拟物品的统计特征可以通过对虚拟物品所包含的关键元素等信息进行统计确定的,例如游戏账号包含的武将数量、武将红度、上架时间、被收藏的次数等等。
95.针对虚拟物品随市场波动影响大的特点,根据交互行为日志和元数据,提取虚拟物品的大量市场维度的市场特征,包括同类虚拟物品的供销情况、搜索情况及相关时间特征(如上架/发布时间、成交时间、搜索时间等)。示例性地,虚拟物品的供销情况包括但不限于供求曲线、滞销度、畅销度等。虚拟物品的搜索情况包括但不限于搜索次数、浏览次数等。
96.卖家特征包括但不限于发布该虚拟物品的卖家的标签、卖家历史交易信息及历史交易中的信用特征(如信用等级、违约次数等)等。
97.示例性地,该步骤中服务器可以基于配置的数据处理逻辑,对交互行为日志和元数据进行分析和统计处理,确定其中的虚拟物品的属性数据、市场数据和卖家数据。进一步地,基于属性数据生成虚拟物品的属性特征,基于虚拟物品的市场数据生成虚拟物品的市场特征,基于卖家数据生成虚拟物品的卖家特征。
98.示例性地,该步骤中服务器可以基于配置的属性分析逻辑,对交互行为日志和元数据进行分析处理,确定虚拟物品的属性特征;基于配置的市场分析逻辑,对交互行为日志和元数据进行分析处理,确定虚拟物品的市场特征;基于配置的卖家分析逻辑,对交互行为日志和元数据进行分析处理,确定虚拟物品的卖家特征。
99.步骤s305、将虚拟物品的文本描述信息转换为对应的文本特征向量。
100.本实施例中,并非直接将虚拟物品的文本描述信息输入深度学习网络,而是将虚拟物品的文本描述信息转换为对应的文本特征向量,将文本描述信息对应的文本特征向量输入深度学习网络。
101.示例性地,对于虚拟物品的文本描述信息,可以将文本描述信息输入训练好的语言表征模型,通过语言表征模型生成文本描述信息对应的embedding表示,得到文本描述信息对应的文本特征向量。
102.其中,语言表征模型可以是bert等预训练的语言表征模型,本实施例中通过使用当前应用场景中虚拟物品的历史成交数据确定训练数据,对预训练的语言表征模型进行微调(finetune),以训练得到适用于当前应用场景的语言表征模型。
103.进一步地,还可以对虚拟物品的文本描述信息对应的文本特征向量进行降维处理(field embedding),得到一个连续稠密的向量,作为虚拟物品最终的文本特征向量,将最
终的文本特征向量输入深度学习网络。
104.另外,对虚拟物品的文本描述信息对应的文本特征向量进行降维处理的过程可以采用现有的field embedding的实现方式实现,此处不做具体限定。
105.步骤s306、对虚拟物品的图像信息进行图像特征提取,得到图像特征向量。
106.本实施例中,并非直接将虚拟物品的图像信息输入深度学习网络,而是对虚拟物品的图像信息进行图像特征提取,得到图像特征向量,将图像特征向量输入深度学习网络。
107.示例性地,对于虚拟物品的图像信息,可以将虚拟物品的图像信息输入训练好的图像特征提取模型,通过图像特征提取模型提取图像信息中虚拟物品的图像特征,得到虚拟物品的图像特征向量。
108.其中,图像特征提取模型可以是resnet50等预训练的图像特征提取模型,本实施例中通过使用当前应用场景中虚拟物品的历史成交数据确定训练数据,对预训练的图像特征提取模型进行微调(finetune),以训练得到适用于当前应用场景的图像特征提取模型。
109.进一步地,还可以对虚拟物品的图像特征向量进行降维处理(field embedding),得到一个连续稠密的向量,作为虚拟物品最终的图像特征向量,将最终的图像特征向量输入深度学习网络。
110.另外,对虚拟物品的图像特征向量进行降维处理的过程可以采用现有的field embedding的实现方式实现,此处不做具体限定。
111.步骤s307、对虚拟物品的属性特征进行降维处理生成对应的属性特征向量,并将属性特征与属性特征向量合并,得到属性合并特征。
112.本实施例中,考虑到虚拟物品的属性种类比较多且属性特征间往往具有关联性,对于虚拟物品的属性特征,进行降维处理(field embedding)得到对应的属性特征向量,将对属性特征进行field embedding得到的属性特征向量与属性特征拼接,从而将两者合并生成属性合并特征,将属性合并特征作为深度学习网络的输入,能够在信息传递过程中减少信息丢失和损耗,并充分考虑属性特征之间的相关性,有助于后续不同特征间的相互学习。
113.步骤s308、将属性合并特征、文本特征向量、图像特征向量,以及虚拟物品的图像关键特征、市场特征和卖家特征输入训练好的深度学习网络,通过深度学习网络确定虚拟物品的价值信息。
114.本实施例中,输入到深度学习网络的数据包括物品因素、市场因素和卖家因素这三方面的数据。其中,物品因素方面的数据包括:虚拟物品的属性特征、文本信息、图像信息、图像关键特征,另外物品因素方面的数据还可以包括虚拟物品的物品标签和统计特征。市场因素方面的数据包括虚拟物品的市场特征。卖家因素方面的数据包括虚拟物品的卖家特征。对于输入深度学习网络的文本类的信息,可以通过语言表征模型生成对应的文本特征向量,将文本特征向量输入深度学习网络;对于输入深度学习网络的图像类的信息,可以通过图像特征提取模型提取图像类的信息的图像特征向量,将图像特征向量输入深度学习网络。
115.该步骤中,利用训练好的深度学习网络基于多模态、多维度的输入数据,精准地确定虚拟物品的价值信息。本实施例充分考虑了虚拟物品的商品因素、市场因素、卖家因素等多维因素对虚拟物品价值信息的影响,并针对不同形态的数据进行定制化的信息提取流
程,完成多模态特征提取,基于虚拟物品的多模态特征对虚拟物品进行个性化建模,构建了一个多模态的深度学习网络模型,用于精准地确定虚拟物品的价值信息,能够应用于游戏垂类交易平台中精准确定虚拟物品价值信息这一关键问题,并在多个业务场景下进行赋能,实现具体场景的数据处理。
116.可选地,针对游戏账号等虚拟物品内部关键元素(如玩法、阵容等)关联性强的问题,深度学习网络采用带有注意力机制(也即attention机制)的深度学习网络,通过融入attention机制和残差思想,强化特征学习能力,能够学习不同特征的重要性和相关性,能在一定程度上考虑到特征组合对深度学习网络的影响,例如这种特征组合可以理解为游戏里的“队伍搭配”、“阵容组合”等因素,能够解决游戏账号能够提高所确定的网络游戏中虚拟物品的价值信息的精准度。示例性地,参见图4,图4为本技术实施例提供的一种精准确定虚拟物品的价值信息的框架图。如图4所示,获取虚拟物品相关的文本数据、图像数据、交互行为日志和元数据,对文本数据进行文本预处理,将文本预处理后的文本信息作为深度学习网络的输入;对图像数据进行图像预处理,将图像预处理后的图像信息作为深度学习网络的输入;对图像预处理后的图像信息进行关键信息提取,将关键信息提取后得到的图像关键特征作为深度学习网络的输入;对交互行为日志和元数据进行分析和处理,确定虚拟物品的属性数据、市场数据和卖家数据,并进一步提取虚拟物品的属性特征、市场特征和卖家特征,作为深度学习网络的输入;充分考虑虚拟物品的商品因素、市场因素、卖家因素等多维因素对虚拟物品价值信息的影响,并针对不同形态的数据进行定制化的信息提取流程,完成多模态特征提取,将虚拟物品的多模态特征输入深度学习网络,利用深度学习网络精准地确定虚拟物品的价值信息。
117.示例性地,训练好的深度学习网络包括的分类预测模块和回归预测模块,分类预测模块用于预测虚拟物品对应的区间类别,回归预测模块用于预测虚拟物品的价值信息,分类预测模块和回归预测模块具有相同的网络结构。训练好的深度学习网络通过对分类预测模块和回归预测模块进行联合训练得到,具体训练过程详见图6及后续实施例中的说明,此处不再赘述。
118.示例性地,参见图5,图5为本技术实施例提供的一种训练好的深度学习网络的架构图。如图5所示,获取虚拟物品的物品因素、市场因素和卖家因素等三方面的数据作为深度神经网络的输入数据。其中,物品因素方面的数据包括:虚拟物品的属性特征、文本信息、图像信息、图像关键特征,还可以包括虚拟物品的物品标签和统计特征等。市场因素方面的数据包括虚拟物品的市场特征,如供销情况、搜索情况及相关时间特征等。卖家因素方面的数据包括虚拟物品的卖家特征,如卖家的标签、历史交易信息、信用特征等。对于输入深度学习网络的文本类的信息(如虚拟物品的文本信息),可以通过语言表征模型(如bert等)生成对应的文本特征向量,对文本特征向量进行降维处理(field embedding),将降维处理后的文本特征向量输入深度学习网络;对于输入深度学习网络的图像类的信息(如虚拟物品的图像信息),可以通过图像特征提取模型(如resnet等)提取图像类的信息的图像特征向量,对图像特征向量进行降维处理(field embedding),将降维处理后的图像特征向量输入深度学习网络。
119.进一步地,考虑到虚拟物品的属性种类比较多且属性特征间往往具有关联性,采用残差思想,对于虚拟物品的属性特征,进行降维处理(field embedding)得到对应的属性
特征向量,将对属性特征进行field embedding得到的属性特征向量与属性特征均作为深度学习网络的输入,能够在信息传递过程中减少信息丢失和损耗,并充分考虑属性特征之间的相关性,有助于后续不同特征间的相互学习。
120.进一步地,如图5所示,深度学习网络包括分类预测模块和回归预测模块,分类预测模块和回归预测模块具有相同的结构,均引入注意力机制(attention)。在实际应用时,将虚拟物品的数据分别输入分类预测模块和回归预测模块,通过分类预测模块根据输入数据预测虚拟物品对应的区间类别,从而确定虚拟物品的价值区间;通过回归预测模块根据输入数据确定虚拟物品的价值信息。
121.图6为本技术一示例性实施例提供的深度学习网络的模型训练方法流程图,本实施例提供的模型训练方法用于训练得到前述任一方实施例中深度学习网络。如图6所示,该方法具体步骤如下:步骤s501、获取当前应用领域的虚拟物品的交易数据,并根据每一次交易数据生成对应的训练样本,训练样本包括虚拟物品的文本描述信息、图像信息、交互行为日志和元数据,以及虚拟物品的成交价值、成交价值所在的价值区间。
122.本实施例中,获取虚拟物品所属的当前应用领域内的历史交易数据以及虚拟物品的文本数据、图像数据、交互行为日志及元数据等,基于历史交易数据中每一交易数据,生成对应的训练样本,训练样本包括本次交易的虚拟物品的特征数据及虚拟物品的成交价值及成交价值所在的价值区间。
123.其中,训练样本中虚拟物品的特征数据包括虚拟物品的文本描述信息、图像信息、交互行为日志和元数据,这些数据的获取方式与上述图2或图3对应方法实施例中获取虚拟物品的这些数据的方式类似,此处不再赘述。
124.步骤s502、提取训练样本的图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征。
125.该步骤的具体实现方式与上述步骤s303的实现方式一致,此处不再赘述。
126.步骤s503、根据训练样本中的交互行为日志和元数据,提取虚拟物品的特征信息。
127.其中,虚拟物品的特征信息包括以下至少一项:属性特征、市场特征、卖家特征。
128.该步骤的具体实现方式与上述步骤s304的实现方式一致,此处不再赘述。
129.步骤s504、将根据每一训练样本确定的虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过深度学习网络的分类预测模块确定虚拟物品对应的区间类别,并通过深度学习网络的回归预测模块确定虚拟物品的价值信息的预测值。
130.本实施例中,训练好的深度学习网络的输入数据,与上述图2或图3对应方法实施例中深度学习网络的输入数据类似,可以采用类似方式获取并输入深度学习网络,详细实现方式参见上述图2对应实施例中的步骤s204、以及图3对应实施例中的步骤s300-s308,此处不再赘述。
131.本实施例中,深度学习网络包括回归预测模块和分类预测模块,其中回归预测模块和分类预测模块具有相同的结构,回归预测模块用于根据输入数据确定虚拟物品的价值信息的预测值;分类预测模块用于根据输入数据确定虚拟物品对应的区间类别。
132.在模型训练过程中,将训练样本中虚拟物品的数据分别输入分类预测模块和回归
预测模块,通过分类预测模块根据输入数据预测虚拟物品对应的区间类别;通过回归预测模块根据输入数据确定虚拟物品的价值信息的预测值。
133.步骤s505、根据虚拟物品的价值信息的预测值与虚拟物品的成交价值间的差异,以及虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间的差异,对深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络。
134.在得到虚拟物品对应的区间类别以及虚拟物品的价值信息的预测值之后,对虚拟物品的价值信息的预测值与虚拟物品的成交价值间的差异,以及虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间的差异进行综合,确定综合损失,基于综合损失更新分类预测模块和回归预测模块的参数,从而对深度学习网络的分类预测模块和回归预测模块进行联合训练。在训练结束后,得到训练好的深度学习网络。
135.示例性地,在模型训练的迭代次数达到预设次数阈值、或者模型训练的总时长达到预设训练时长时,或者深度学习网络收敛(如深度学习网络预测虚拟物品的价值信息的精准度达到预设精准度)时,结束训练。其中,预设次数阈值、预设训练时长、深度学习网络收敛的条件可以根据实际应用场景的需要进行设置,另外,结束训练的具体方式可以根据实际应用场景的需要进行设置和调整,此处不做具体限定。
136.本实施例中,采用多任务学习框架,对确定价值区间的分类预测模块和确定具体价值信息的回归预测模块进行联合建模,将同构的分类器和回归器结合起来组成确定虚拟物品的价值信息的深度学习网络模型,充分利用了分类模型和回归模型各自具有的优势,实现对虚拟物品的价值信息的精准确定,通过综合两个预测模块的损失函数把分类模型和回归模型整合起来一起进行模型训练,使得深度学习网络能够学到在一定的价值区间内实现对虚拟物品具体价值的预测,减少价值预测误差,提升深度学习网络用于确定虚拟物品价值信息时的精准度。
137.示例性地,参见图7,图7为本技术实施例提供的一种深度学习网络的架构图。如图7所示,获取训练样本中虚拟物品的物品因素、市场因素和卖家因素等三方面的数据作为深度神经网络的输入数据。其中,物品因素方面的数据包括:虚拟物品的属性特征、文本信息、图像信息、图像关键特征,还可以包括虚拟物品的物品标签和统计特征等。市场因素方面的数据包括虚拟物品的市场特征,如供销情况、搜索情况及相关时间特征等。卖家因素方面的数据包括虚拟物品的卖家特征,如卖家的标签、历史交易信息、信用特征等。对于输入深度学习网络的文本类的信息(如虚拟物品的文本信息),可以通过语言表征模型(如bert等)生成对应的文本特征向量,对文本特征向量进行降维处理(field embedding),将降维处理后的文本特征向量输入深度学习网络;对于输入深度学习网络的图像类的信息(如虚拟物品的图像信息),可以通过图像特征提取模型(如resnet等)提取图像类的信息的图像特征向量,对图像特征向量进行降维处理(field embedding),将降维处理后的图像特征向量输入深度学习网络。进一步地,另外,考虑到虚拟物品的属性种类比较多且属性特征间往往具有关联性,采用残差思想,对于虚拟物品的属性特征,进行降维处理(field embedding)得到对应的属性特征向量,将对属性特征进行field embedding得到的属性特征向量与属性特征均作为深度学习网络的输入,能够在信息传递过程中减少信息丢失和损耗,并充分考虑属性特征之间的相关性,有助于后续不同特征间的相互学习。
138.进一步地,如图7所示,深度学习网络包括分类预测模块和回归预测模块,分类预
测模块和回归预测模块具有相同的结构,均引入注意力机制(attention)。在模型训练过程中,将训练样本中虚拟物品的数据分别输入分类预测模块和回归预测模块,通过分类预测模块根据输入数据预测虚拟物品对应的区间类别;通过回归预测模块根据输入数据确定虚拟物品的价值信息的预测值。根据虚拟物品的价值信息的预测值与虚拟物品的成交价值间的差异,以及虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间的差异,确定综合损失,基于综合损失更新分类预测模块和回归预测模块的参数,从而对深度学习网络的分类预测模块和回归预测模块进行联合训练。在训练结束后,得到训练好的深度学习网络,用于确定虚拟物品的价值信息。
139.一种可选地实施例中,步骤s505具体可以采用如下步骤实现:根据虚拟物品的价值信息的预测值与虚拟物品的成交价值间的差异,确定第一损失;根据虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间的差异,确定第二损失;根据第一损失和第二损失,确定综合损失;根据综合损失,更新深度学习网络的分类预测模块和回归预测模块的参数,实现对深度学习网络的分类预测模块和回归预测模块的联合训练,得到训练好的深度学习网络。
140.示例性地,可以采用第一损失函数,根据虚拟物品的价值信息的预测值与虚拟物品的成交价值,计算第一损失;采用第二损失函数,根据虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间,计算第二损失;对第一损失和第二损失加权求和,得到综合损失。
141.其中,第一损失函数可以采用均方误差(mean square error,简称mse)、均方根误差(root mean squard error,简称rmse)等回归损失函数中的任意一种实现。
142.第二损失函数可以采用交叉熵等分类损失函数中的任意一种实现。
143.可选地,考虑到在进行虚拟物品的交易时,虚拟物品价值在一定范围内的都是可能成交的,在根据虚拟物品的价值信息的预测值与虚拟物品的成交价值,计算第一损失时,可以引入接受度思想,若虚拟物品的价值信息的预测值与虚拟物品的成交价值的差值的绝对值在设置的可接受范围内,则可以认为该虚拟物品的价值信息的预测值是无损失的,仅针对价值信息的预测值与对应的成交价值的差值的绝对值不在可接受范围内的虚拟物品进行第一损失的计算,使得训练得到的深度学习网络更加适用于虚拟物品交易场景中的搜索、推荐等。
144.本实施例中提供对深度学习网络中的分类预测模块和回归预测模块进行联合训练时计算损失的一种实现方式,能够很好地衡量分类预测和回归预测的综合损失。
145.在完成深度学习网络的训练后,对于指定的虚拟物品,通过获取虚拟物品的物品因素、市场因素和卖家因素等三方面的数据作为深度神经网络的输入数据,输入到训练好的深度学习网络中,利用训练好的深度学习网络根据输入数据精准地确定该虚拟物品的价值信息,并基于虚拟物品的价值信息进行后续信息展示、匹配处理等数据处理,以实现虚拟物品的搜索、推荐、交易等功能。
146.图8为本技术一示例性实施例提供的虚拟物品信息处理装置的结构示意图。本技术实施例提供的虚拟物品信息处理装置可以执行虚拟物品信息处理方法实施例提供的处理流程。如图8所示,虚拟物品信息处理装置70包括:数据处理模块701,用于获取虚拟物品的文本描述信息、图像信息、元数据和虚拟
物品关联的交互行为日志。
147.数据处理模块701还用于提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征。
148.数据处理模块701还用于根据交互行为日志和元数据,提取虚拟物品的特征信息,特征信息包括以下至少一项:属性特征、市场特征、卖家特征。
149.价值信息确定模块702,用于将虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过深度学习网络确定虚拟物品的价值信息。
150.价值信息应用模块703,用于根据虚拟物品的价值信息进行后续数据处理,后续数据处理包括以下至少一项:信息展示、匹配处理。
151.本技术实施例提供的装置可以具体用于执行上述图2对应方法实施例所提供的方案,具体功能和所能实现的技术效果此处不再赘述。
152.一种可选地实施例中,在提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征时,数据处理模块701还用于:获取配置的虚拟物品的关键元素,以及关键元素对应的光学字符识别模型;将图像信息输入关键元素对应的光学字符识别模型,通过光学字符识别模型识别图像信息所包含的关键元素的文本特征;虚拟物品的图像关键特征包括虚拟物品的所有关键元素的文本特征。
153.一种可选地实施例中,在提取图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征时,数据处理模块701还用于:获取配置的虚拟物品的关键元素,以及关键元素对应的图像识别模型;将图像信息输入关键元素对应的图像识别模型,通过图像识别模型识别图像信息中所包含的关键元素的特征信息,得到虚拟物品的图像关键特征。
154.一种可选地实施例中,在将虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过深度学习网络确定虚拟物品的价值信息时,价值信息确定模块702还用于:将虚拟物品的文本描述信息转换为对应的文本特征向量;对虚拟物品的图像信息进行图像特征提取,得到图像特征向量;对虚拟物品的属性特征进行降维处理生成对应的属性特征向量,并将属性特征与属性特征向量合并,得到属性合并特征;将属性合并特征、文本特征向量、图像特征向量,以及虚拟物品的图像关键特征、市场特征和卖家特征输入训练好的深度学习网络,通过深度学习网络确定虚拟物品的价值信息;其中深度学习网络为带有注意力机制的深度学习网络。
155.一种可选地实施例中,在获取虚拟物品的文本描述信息时,数据处理模块701还用于:获取虚拟物品的名称和描述文本;对虚拟物品的名称和描述文本进行文本预处理,得到虚拟物品的文本描述信息。
156.一种可选地实施例中,在获取虚拟物品的图像信息时,数据处理模块701还用于:获取包含虚拟物品的相关信息的图像数据;对图像数据进行图像预处理,得到虚拟物品的图像信息;其中,图像预处理包括以下至少一项:调整图像大小、色彩变换、角度纠正。
157.一种可选地实施例中,在根据虚拟物品的价值信息进行后续数据处理时,价值信息应用模块703还用于:响应于用户的虚拟物品查询请求,获取用户的预期价值区间;根据用户的预期价值区间和虚拟物品的价值信息,搜索价值信息处于预期价值区间内的虚拟物品;输出价值信息处于预期价值区间内的虚拟物品的信息。
158.本技术实施例提供的装置可以具体用于执行上述任一方法实施例提供的虚拟物品信息处理方法流程,具体功能和所能实现的技术效果此处不再赘述。
159.图9为本技术一示例性实施例提供的模型训练装置的结构示意图。本技术实施例提供的模型训练装置可以执行模型训练方法实施例提供的处理流程。如图9所示,模型训练装置80包括:数据处理模块801,用于获取当前应用领域的虚拟物品的交易数据,并根据每一次交易数据生成对应的训练样本,训练样本包括虚拟物品的文本描述信息、图像信息、交互行为日志和元数据,以及虚拟物品的成交价值、成交价值所在的价值区间;数据处理模块801还用于提取训练样本的图像信息中虚拟物品的关键元素的信息,得到虚拟物品的图像关键特征;数据处理模块801还用于根据训练样本中的交互行为日志和元数据,提取虚拟物品的特征信息,特征信息包括以下至少一项:属性特征、市场特征、卖家特征;价值信息确定模块802,将根据每一训练样本确定的虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过深度学习网络的分类预测模块确定虚拟物品对应的区间类别,并通过深度学习网络的回归预测模块确定虚拟物品的价值信息的预测值;联合训练模块803,用于根据虚拟物品的价值信息的预测值与虚拟物品的成交价值间的差异,以及虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间的差异,对深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络。
160.本技术实施例提供的装置可以具体用于执行上述图6对应的模型训练方法实施例所提供的方案,具体功能和所能实现的技术效果此处不再赘述。
161.一种可选地实施例中,在根据虚拟物品的价值信息的预测值与虚拟物品的成交价值间的差异,以及虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间的差异,对深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络时,联合训练模块803还用于:根据虚拟物品的价值信息的预测值与虚拟物品的成交价值间的差异,确定第一损失;根据虚拟物品对应的区间类别与虚拟物品的成交价值所在的价值区间的差异,确定第二损失;根据第一损失和第二损失,确定综合损失;根据综合损失,更新深度学习网络的分类预测模块和回归预测模块的参数,实现对深度学习网络的分类预测模块和回归预测模块的联合训练,得到训练好的深度学习网络。
162.本技术实施例提供的装置可以具体用于执行上述任一模型训练方法实施例提供的方案,具体功能和所能实现的技术效果此处不再赘述。
163.图10为本技术一示例实施例提供的电子设备的结构示意图。如图10所示,该电子
设备90包括:处理器901,以及与处理器901通信连接的存储器902,存储器902存储计算机执行指令。
164.其中,处理器执行存储器存储的计算机执行指令,以实现上述任一方法实施例所提供的方案,具体功能和所能实现的技术效果此处不再赘述。本技术提供的电子设备可以为上述提及的服务器。
165.本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现上述任一方法实施例所提供的方案,具体功能和所能实现的技术效果此处不再赘述。
166.本技术实施例还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一方法实施例所提供的方案,具体功能和所能实现的技术效果此处不再赘述。
167.另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
ꢀ“
多个”的含义是两个以上,除非另有明确具体的限定。
168.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求书指出。
169.应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。
技术特征:1.一种虚拟物品信息处理方法,其特征在于,包括:获取虚拟物品的文本描述信息、图像信息、元数据和所述虚拟物品关联的交互行为日志;提取所述图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;根据所述交互行为日志和元数据,提取所述虚拟物品的特征信息;将所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络确定所述虚拟物品的价值信息;根据所述虚拟物品的价值信息进行后续数据处理,所述后续数据处理包括以下至少一项:信息展示、匹配处理。2.根据权利要求1所述的方法,其特征在于,所述提取所述图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征,包括:获取配置的所述虚拟物品的关键元素,以及所述关键元素对应的光学字符识别模型;将所述图像信息输入所述关键元素对应的光学字符识别模型,通过所述光学字符识别模型识别所述图像信息所包含的所述关键元素的文本特征;所述虚拟物品的图像关键特征包括所述虚拟物品的所有关键元素的文本特征。3.根据权利要求1所述的方法,其特征在于,所述提取所述图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征,包括:获取配置的所述虚拟物品的关键元素,以及所述关键元素对应的图像识别模型;将所述图像信息输入所述关键元素对应的图像识别模型,通过所述图像识别模型识别所述图像信息中所包含的所述关键元素的特征信息,得到所述虚拟物品的图像关键特征。4.根据权利要求1所述的方法,其特征在于,所述特征信息包括以下至少一项:属性特征、市场特征、卖家特征,所述将所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络确定所述虚拟物品的价值信息,包括:将所述虚拟物品的文本描述信息转换为对应的文本特征向量;对所述虚拟物品的图像信息进行图像特征提取,得到图像特征向量;对所述虚拟物品的属性特征进行降维处理生成对应的属性特征向量,并将所述属性特征与所述属性特征向量合并,得到属性合并特征;将所述属性合并特征、所述文本特征向量、所述图像特征向量,以及所述虚拟物品的图像关键特征、市场特征和卖家特征输入训练好的深度学习网络,通过所述深度学习网络确定所述虚拟物品的价值信息;其中所述深度学习网络为带有注意力机制的深度学习网络。5.根据权利要求1所述的方法,其特征在于,所述获取虚拟物品的文本描述信息,包括:获取所述虚拟物品的名称和描述文本;对所述虚拟物品的名称和描述文本进行文本预处理,得到所述虚拟物品的文本描述信息。6.根据权利要求1所述的方法,其特征在于,获取虚拟物品的图像信息,包括:获取包含所述虚拟物品的相关信息的图像数据;对所述图像数据进行图像预处理,得到所述虚拟物品的图像信息;
其中,所述图像预处理包括以下至少一项:调整图像大小、色彩变换、角度纠正。7.根据权利要求1或4所述的方法,其特征在于,所述训练好的深度学习网络包括的分类预测模块和回归预测模块,所述分类预测模块用于预测虚拟物品对应的区间类别,所述回归预测模块用于预测所述虚拟物品的价值信息,所述分类预测模块和所述回归预测模块具有相同的网络结构;所述训练好的深度学习网络通过对所述分类预测模块和所述回归预测模块进行联合训练得到。8.根据权利要求1-6中任一项所述的方法,其特征在于,所述根据所述虚拟物品的价值信息进行后续数据处理,包括:响应于用户的虚拟物品查询请求,获取所述用户的预期价值区间;根据所述用户的预期价值区间和所述虚拟物品的价值信息,搜索价值信息处于所述预期价值区间内的虚拟物品;输出价值信息处于所述预期价值区间内的虚拟物品的信息。9.一种模型训练方法,其特征在于,包括:获取当前应用领域的虚拟物品的交易数据,并根据每一次交易数据生成对应的训练样本,所述训练样本包括虚拟物品的文本描述信息、图像信息、交互行为日志和元数据,以及所述虚拟物品的成交价值、所述成交价值所在的价值区间;提取所述训练样本的图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;根据所述训练样本中的所述交互行为日志和元数据,提取所述虚拟物品的特征信息;将根据每一所述训练样本确定的所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络的分类预测模块确定所述虚拟物品对应的区间类别,并通过所述深度学习网络的回归预测模块确定所述虚拟物品的价值信息的预测值;根据所述虚拟物品的价值信息的预测值与所述虚拟物品的成交价值间的差异,以及所述虚拟物品对应的区间类别与所述虚拟物品的所述成交价值所在的价值区间的差异,对所述深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络。10.根据权利要求9所述的方法,其特征在于,所述根据所述虚拟物品的价值信息的预测值与所述虚拟物品的成交价值间的差异,以及所述虚拟物品对应的区间类别与所述虚拟物品的所述成交价值所在的价值区间的差异,对所述深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络,包括:根据所述虚拟物品的价值信息的预测值与所述虚拟物品的成交价值间的差异,确定第一损失;根据所述虚拟物品对应的区间类别与所述虚拟物品的所述成交价值所在的价值区间的差异,确定第二损失;根据所述第一损失和第二损失,确定综合损失;根据所述综合损失,更新所述深度学习网络的分类预测模块和回归预测模块的参数,实现对所述深度学习网络的分类预测模块和回归预测模块的联合训练,得到训练好的深度
学习网络。11.一种虚拟物品信息处理装置,其特征在于,包括:数据处理模块,用于获取虚拟物品的文本描述信息、图像信息、元数据和所述虚拟物品关联的交互行为日志;所述数据处理模块还用于提取所述图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;所述数据处理模块还用于根据所述交互行为日志和元数据,提取所述虚拟物品的特征信息;价值信息确定模块,用于将所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络确定所述虚拟物品的价值信息;价值信息应用模块,用于根据所述虚拟物品的价值信息进行后续数据处理,所述后续数据处理包括以下至少一项:信息展示、匹配处理。12.一种模型训练装置,其特征在于,包括:数据处理模块,用于获取当前应用领域的虚拟物品的交易数据,并根据每一次交易数据生成对应的训练样本,所述训练样本包括虚拟物品的文本描述信息、图像信息、交互行为日志和元数据,以及所述虚拟物品的成交价值、所述成交价值所在的价值区间;所述数据处理模块还用于提取所述训练样本的图像信息中所述虚拟物品的关键元素的信息,得到所述虚拟物品的图像关键特征;所述数据处理模块还用于根据所述训练样本中的所述交互行为日志和元数据,提取所述虚拟物品的特征信息;价值信息确定模块,将根据每一所述训练样本确定的所述虚拟物品的文本描述信息、图像信息、图像关键特征和特征信息输入训练好的深度学习网络,通过所述深度学习网络的分类预测模块确定所述虚拟物品对应的区间类别,并通过所述深度学习网络的回归预测模块确定所述虚拟物品的价值信息的预测值;联合训练模块,用于根据所述虚拟物品的价值信息的预测值与所述虚拟物品的成交价值间的差异,以及所述虚拟物品对应的区间类别与所述虚拟物品的所述成交价值所在的价值区间的差异,对所述深度学习网络的分类预测模块和回归预测模块进行联合训练,得到训练好的深度学习网络。13.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-10中任一项所述的方法。14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-10中任一项所述的方法。
技术总结本申请提供一种虚拟物品信息处理及模型训练方法、装置及电子设备。本申请的方法,通过获取虚拟物品的文本描述信息、图像信息、元数据和虚拟物品关联的交互行为日志;提取图像信息中虚拟物品的关键元素的信息得到虚拟物品的图像关键特征,根据交互行为日志和元数据,提取虚拟物品的属性特征、市场特征、卖家特征等特征信息,提取虚拟物品的多模态特征,利用训练好的深度学习网络根据虚拟物品的多模态特征精准地确定虚拟物品的价值信息,考虑了商品因素、市场因素、卖家因素等多维因素对虚拟物品价值信息的影响,提高了平台展示信息的精准度、基于虚拟物品的价值信息进行虚拟物品的匹配的精准度和虚拟物品的推荐/搜索的精准度。度。度。
技术研发人员:李梦婷 何凯雯
受保护的技术使用者:广州简悦信息科技有限公司
技术研发日:2022.05.31
技术公布日:2022/7/5