1.本技术涉及机器翻译技术领域,尤其涉及一种翻译结果的评估方法、装置、设备及存储介质。
背景技术:2.机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。但是,往往机器翻译的效果不稳定,需要人工对机器翻译结果进行编辑后使用,这个过程称为post-edit(后编辑或后处理)。例如,在实际应用中,想要将视频在全球范围内播放时,就需要对字幕进行翻译。但是,如果字幕翻译全部采用人工翻译的话,成本高、耗时长。如果全部使用机器翻译的话,可能会出现机器翻译错误,比如漏译、错译等。因此需要将两者结合,先进行机器翻译,然后人工修正。
3.实际上,机器翻译的结果,有一部分是不需要修正的,如果能将不需要修正的这部分翻译结果挑选出来,就可以大大提高人工编辑的效率。因此,如何对翻译结果进行准确的评估,从而根据评估结果准确挑选出来不需要修正的这部分翻译,对于提高翻译效率具有十分重要的意义。
技术实现要素:4.本技术提供了一种翻译结果的评估方法、装置、设备及存储介质,用以解决现有技术中,无法对翻译结果进行准确评估,导致翻译效率低的技术问题。
5.第一方面,本技术提供了一种翻译结果的评估方法,包括:
6.获取源语言数据和翻译后的目标语言数据;
7.确定所述源语言数据的第一统计特征以及确定所述目标语言数据的第二统计特征;
8.计算所述源语言数据和所述目标语言数据之间的语义相似度;
9.计算所述目标语言数据的语言质量特征;其中,所述语言质量特征用于表征所述目标语言数据是否符合语法;
10.将所述第一统计特征、所述第二统计特征、所述语义相似度和所述语言质量特征输入到深度神经网络模型中,得到评估结果。
11.可选的,所述确定所述源语言数据的第一统计特征,包括:
12.获取第一语料打分字典;其中,所述第一语料打分字典中包括:至少一个指定文本各自的第一得分,和/或,多个分词的第二得分;
13.从所述源语言数据中,提取至少一个目标指定文本;
14.查询所述第一语料打分字典,确定各所述目标指定文本各自对应的目标第一得分;
15.和/或,
16.对所述源语言数据进行分词,得到多个目标分词;查询所述第一语料打分字典,确
定各所述目标分词各自的目标第二得分;
17.将各所述目标第一得分,和/或,各所述目标第二得分,作为所述第一统计特征。
18.可选的,所述获取第一语料打分字典,包括:
19.获取源语言训练数据;
20.统计源语言训练数据中,至少一个指定文本各自出现的频次;
21.对于每个所述指定文本,根据所述频次,计算所述指定文本的所述第一得分;对应存储所述指定文本和所述第一得分,得到第一对应关系;
22.将所述源语言训练数据进行n-gram分词,得到多个所述分词;其中,n的取值范围是1~3;
23.统计每个所述分词的词频;
24.根据各所述分词各自的词频,分别对所述分词进行打分,得到各所述分词各自的第二得分,对应存储各所述分词以及与所述分词对应的所述第二得分,得到第二对应关系;
25.保存所述第一对应关系和所述第二对应关系,得到所述第一语料打分字典。
26.可选的,所述根据所述频次,计算所述指定文本的所述第一得分,包括:
27.统计所述源语言训练数据中,与所述指定文本属于同一个语料类别的所有文本出现的总次数;
28.对所述频次取对数,得到第一中间结果;
29.对所述总次数取对数,得到第二中间结果;
30.将所述第一中间结果除以所述第二中间结果,得到所述第一得分。
31.可选的,所述根据各所述分词各自的词频,分别对所述分词进行打分,得到各所述分词各自的第二得分,包括:
32.将各所述分词按照所述词频从低到高的顺序进行排序,得到排序结果;
33.将所述排序结果等分成至少两个区间;且每个所述区间对应有一个评分;
34.对于每个所述分词,确定所述词频对应的区间,将所述词频对应的区间的评分,作为所述分词的第二得分。
35.可选的,所述确定所述目标语言数据的第二统计特征,包括:
36.获取第二语料打分字典;其中,所述第二语料打分字典中包括:在双语训练数据中,多组双语对齐词语对应翻译的次数;
37.对所述源语言数据和所述目标语言数据进行对齐,得到多个目标对齐词语对;
38.从所述第二语料打分字典中,确定各所述目标对齐词语对各自对应的次数,将各所述次数作为所述目标语言数据的第二统计特征。
39.可选的,所述获取第二语料打分字典,包括:
40.获取源语言训练数据和目标语言训练数据;
41.对齐所述源语言训练数据和所述目标语言训练数据,得到对齐结果;
42.统计所述对齐结果中,每组双语对齐词语对对齐的次数;
43.对应存储所述双语对齐词语对和所述次数,得到所述第二语料打分字典。
44.可选的,所述计算所述源语言数据和所述目标语言数据之间的语义相似度,包括:
45.获取相似度评分模型;其中,所述相似度评分模型用于计算所述源语言数据和所述目标语言数据的语义相似度;
46.将所述源语言数据和所述目标语言数据输入到所述相似度评分模型,得到所述语义相似度。
47.可选的,所述计算所述目标语言数据的语言质量特征,包括;
48.获取语法评价模型;其中,所述语法评价模型用于判断所述目标语言数据是否符合语法;
49.将所述目标语言数据输入到所述语法评价模型,得到所述语言质量特征。
50.第二方面,本技术提供了一种翻译结果的评分装置,包括:
51.获取模块,用于获取源语言数据和翻译后的目标语言数据;
52.确定模块,用于确定所述源语言数据的第一统计特征以及确定所述目标语言数据的第二统计特征;
53.第一计算模块,用于计算所述源语言数据和所述目标语言数据之间的语义相似度;
54.第二计算模块,计算所述目标语言数据的语言质量特征;其中,所述语言质量特征用于表征所述目标语言数据是否符合语法;
55.评估模块,用于将所述第一统计特征、所述第二统计特征、所述语义相似度和所述语言质量特征输入到深度神经网络模型中,得到评估结果。
56.第三方面,本技术提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;所述存储器,用于存储计算机程序;所述处理器,用于执行所述存储器中所存储的程序,实现第一方面所述的翻译结果的评估方法。
57.第四方面,本技术提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现实现第一方面所述的翻译结果的评估方法。
58.本技术实施例提供的上述技术方案与现有技术相比具有如下优点:本技术实施例提供的该方法,在对翻译结果评估时,融合了源语言数据的第一统计特征、目标语言数据的第二统计特征,源语言数据和目标语言数据之间的语义相似度特征和目标语言数据的语言质量特征,将这些特征输入到深度神经网络模型进行评估,使得得到的评估结果更加准确,进而能够准确筛选出不需要修正的翻译结果,大大节省人工在后期post-edit的时间成本,提高翻译效率,同时,也避免了端到端的网络的复杂性,评估速度快。
附图说明
59.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
60.图1为本技术实施例提供的一种翻译结果的评估方法的流程示意图;
61.图2为本技术实施例提供的一种翻译结果的评估方法的技术构思的流程示意图;
62.图3为本技术实施例提供的一种翻译结果的评估装置的结构示意图;
63.图4为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
64.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例
中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。
65.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
66.为了解决现有技术中,无法对翻译结果进行准确评估,导致翻译效率低的技术问题,本技术实施例提供了一种翻译结果的评估方法,如图1所示,该翻译结果的评估方法主要包括如下步骤:
67.步骤101,获取源语言数据和翻译后的目标语言数据;
68.其中,目标语言数据为针对源语言数据进行翻译后的数据。源语言是指翻译前的语言,目标语言是指翻译后的语言。源语言数据是指,翻译前的语言的文本,例如:中文的字幕;目标语言数据是指,翻译后的语言的文本,例如:英文的字幕。
69.为了便于理解,这里举例说明,在中国的视频网站上播放的中文字幕的视频,想要在m国播放,则需要将中文的字幕翻译成m国语言的字幕。其中,中文即为源语言,m国语言即为目标语言。
70.步骤102,确定源语言数据的第一统计特征以及确定目标语言数据的第二统计特征;
71.首先,对确定源语言数据的第一统计特征的过程进行介绍,该过程主要包括:获取第一语料打分字典;其中,第一语料打分字典中包括:至少一个指定文本各自的第一得分;以及多个分词的第二得分;从源语言数据中,提取至少一个目标指定文本;查询第一语料打分字典,确定各目标指定文本各自对应的目标第一得分;对源语言数据进行分词,得到多个目标分词;查询第一语料打分字典,确定各目标分词各自的目标第二得分;将各目标第一得分和各目标第二得分,作为第一统计特征。
72.其中,指定文本可以是诗句、成语、俚语等;分词具体可以是n-gram分词,其中n的取值范围是1~3,即n-gram分词包括:1-gram(unigram)分词、2-gram(bigram)分词、3-gram(trigram)分词,其中,1-gram分词是指将一段文本中的每一个字划分成一个分词,2-gram分词是指将一段文本中的每两个字划分成一个分词,依次类推,3-gram分词是指一段文本中的每三个字划分成一个分词。为了便于理解,以2-gram分词为例,例如:一句话是:我是中国人,如果按照2-gram进行分词的话,得到的2-gram分词为我是,是中,中国,国人。
73.通过上述确定源语言数据的第一统计特征的方法可以看出,重点是从第一语料打分字典中,查询目标指定文本的得分和/或某个分词的得分,即可得到第一统计特征。
74.下面进一步说明获取第一语料打分字典的方法,其中,第一语料打分字典主要包括两部分:至少一个指定文本的第一得分以及各分词的第二得分。
75.首先介绍得到各指定文本的第一得分的方法,具体包括:
76.获取源语言训练数据;统计源语言训练数据中,至少一个指定文本各自出现的频次;对于每个指定文本,根据频次,计算指定文本的第一得分;对应存储指定文本和第一得分,得到第一对应关系。
77.其中,根据频次,计算指定文本的第一得分包括:统计源语言训练数据中,与指定文本属于同一个语料类别的所有文本出现的总次数;对频次取对数,得到第一中间结果;对总次数取对数,得到第二中间结果;将第一中间结果除以第二中间结果,得到第一得分。
78.其中,为了便于理解同一语料类别,这里举例说明:如果指定文本为诗句,则训练数据中所有的诗句与该指定文本为同一语料类别;如果指定文本为成语,则训练数据中所有的成语与该指定文本为同一语料类别。
79.为了便于理解,这里举例说明,例如:在众多的训练数据中,某个诗句(指定文本)出现的次数为count次,例如:100次,在所有的训练数据中,所有的诗句出现的总次数为total_count次,例如:10000次,则根据频次计算得到该诗句的第一得分为:score=log(count)/log(total_count),即score=log(100)/log(10000)=0.5,则该诗句的第一得分即为0.5。按照同样的办法,能够得到每个指定文本各自的第一得分。
80.下面介绍得到各分词的第二得分的方法,具体包括:
81.获取源语言训练数据;将源语言训练数据进行n-gram分词,得到多个分词;其中,n的取值范围是1~3;统计每个分词的词频;根据各分词各自的词频,分别对分词进行打分,得到各分词各自的第二得分,对应存储各分词以及与分词对应的第二得分,得到第二对应关系;保存第一对应关系和第二对应关系,得到第一语料打分字典。
82.其中,根据各分词各自的词频,分别对分词进行打分,得到各分词各自的第二得分,包括:将各分词按照词频从低到高的顺序进行排序,得到排序结果;将排序结果等分成至少两个区间;且每个区间对应有一个评分;对于每个分词,确定词频对应的区间,将词频对应的区间的评分,作为分词的第二得分。
83.优选的,将排序结果等分成四个区间。每个区间的评分是预先设定好的,可以根据经验值设定。例如:将训练数据进行2-gram分词,可以得到多个分词结果,统计所有分词结果中,各个分词出现的次数,即频率,按照频率从低到高进行排序,并等分成四个区间,其中,第一个区间评分为a,第二个区间评分为b,第三个区间评分为c,第四个区间评分为d。如果某个分词的词频为s,确定s在四个区间中的哪个区间,例如:确定s落在了四个区间中的第三个区间,则第三个区间的评分c即为该分词的第二得分。
84.以上为确定源语言数据的第一统计特征的具体方法,下面介绍确定目标语言数据的第二统计特征的方法,具体包括:
85.获取第二语料打分字典;其中,第二语料打分字典中包括:在双语训练数据中,多组双语对齐词语对应翻译的次数;对源语言数据和目标语言数据进行对齐,得到多个目标对齐词语对;从第二语料打分字典中,确定各目标对齐词语对各自对应的次数,将各次数作为目标语言数据的第二统计特征。
86.其中,获取第二语料打分字典,包括:获取源语言训练数据和目标语言训练数据;对齐源语言训练数据和目标语言训练数据,得到对齐结果;统计对齐结果中,每组双语对齐词语对对齐的次数;对应存储双语对齐词语对和次数,得到第二语料打分字典。
87.在具体实现时,将源语言训练数据和目标语言训练数据进行对齐时,可以采用已有的双语对齐工具进行对齐,也可以采用任何一种双语对齐方法。在所有的对齐结果中,统计某一对双语对齐词语对在所有的训练数据中对齐的次数,例如:在所有的训练数据中,中文“人”与英文“person”对齐的次数为j次,中文“人”与英文“people”对齐的次数为k次,则对应存储中文“人”与英文“person”以及j;以及对应存储中文“人”与英文“people”以及k,按照这个方法可以得到所有双语对齐词语对对应的次数,得到第二语料打分字典。
88.得到第二语料打分字典后,对于实际应用过程中,如果在一段话中,翻译前后对齐
的目标对齐词语对为中文“人”与英文“people”,则从第二语料打分字典中,查询中文“人”与英文“people”对应的次数为k,该次数k即为第二统计特征。
89.步骤103,计算源语言数据和目标语言数据之间的语义相似度;
90.在具体实现时,首先获取相似度评分模型;其中,相似度评分模型用于计算源语言数据和目标语言数据的语义相似度;然后,将源语言数据和目标语言数据输入到相似度评分模型,得到语义相似度。
91.其中,相似度评分模型可采用bert模型,英文全称是bidirectional encoder representation from transformers,是一个预训练的语言表征模型。
92.在实际计算语义相似度之前,首先要训练得到相似度评分模型。在训练时,利用双语语料构建相似度训练语料,语料的基本格式为:源语言-目标语言-标签(label),其中,标签用于表征源语言和目标语言文本之间的语义相似度,例如:中文-外语-label,其中label为1或0,1代表相似,0代表不相似。
93.将翻译前的源语言数据和翻译后的目标语言数据输入到语义相似度模型中,输出这两段数据中各语料的语义相似度,语义相似度的范围在0~1,通过0~1之间的数值来表征翻译前后语义的相似度。
94.此外,还需要说明的是,在实际应用中,对于相似度评分模型还可以采用其他深度神经网络模型,这里并不做限定。
95.步骤104,计算目标语言数据的语言质量特征;其中,语言质量特征用于表征目标语言数据是否符合语法;
96.在具体实现时,首先获取语法评价模型;其中,语法评价模型用于判断目标语言数据是否符合语法;将目标语言数据输入到语法评价模型,得到语言质量特征。
97.其中,语法评价模型可以是gpt模型(gererate pre-training model),本质上是无监督的学习模型。在训练时,利用无监督方法搜集目标语言的单语数据,例如爬虫等方法,共收集到1.2亿条单语数据。利用单语数据训练语言模型,训练好的gpt模型可以用于判断一句话是否符合常用语法,由此得到语法评价模型。
98.需要说明的是,在实际应用中,对于语法评价模型还可以采用其他神经网络模型,这里并不做限定。
99.此外,还需要说明的是,对于步骤102~步骤104,执行的先后顺序这里并不做限定,只要在步骤101之后,步骤105之前即可。
100.步骤105,将第一统计特征、第二统计特征、语义相似度和语言质量特征输入到深度神经网络模型中,得到评估结果。
101.在具体实现时,设计三层深度神经网络拟合多源特征。该任务是一个监督学习任务,首先构建一个训练集,训练集包括多个句子,每个句子的统计双语特征、语义得分、单语得分均已知,将上述三个特征作为模型输入,对dnn模型进行训练,该训练集给不同的句子打分,最高分为5分,最低分为0分。将该任务建模为一个二分类任务,正样本是4分与5分的数据,负样本为1-3分的数据。dnn模型是以训练集中句子的三个特征为输入,以二分类结果作为输出。输出的分数越高,说明翻译的越准确。
102.本技术实施例中,在对翻译结果评估时,融合了源语言数据的第一统计特征、目标语言数据的第二统计特征,源语言数据和目标语言数据之间的语义相似度特征和目标语言
数据的语言质量特征,将这些特征输入到深度神经网络模型进行评估,使得得到的评估结果更加准确,进而能够准确筛选出不需要修正的翻译结果,大大节省人工在后期post-edit的时间成本,提高翻译效率,同时,也避免了端到端的网络的复杂性,评估速度快。
103.如图2所示,为了进一步理解本技术实施例的技术构思,结合图2对本技术实施例提供的一种翻译结果的评估方法做进一步说明。
104.首先,收集翻译前后的双语数据(源语言数据和目标语言数据),统计双语数据的统计特征,计算双语数据的语义得分,即语义相似度,目标语言和源语言的相似度越高,越能表明目标语言(机器翻译结果)的语义越正确;计算单语得分,即目标语言数据的语言质量特征,将双语统计特征、语义得分和单语得分输入到dnn模型中,得到翻译结果的评估得分。在实际筛选时,可以筛选出得分大于或等于预设值的目标语言数据,认为这部分数据不需要修正;或者,筛选出得分小于预设值的目标语言数据进行修正。
105.基于本技术实施例提供的翻译结果的评估方法,在人工构建的评测集上实现了准确率95%,召回率63%,可以大大节省人工在后期post-edit的时间成本,提高翻译效率。
106.基于同一构思,本技术实施例中提供了一种翻译结果的评估装置,该装置的具体实施可参见方法实施例部分的描述,重复之处不再赘述。如图3所示,该装置主要包括:
107.获取模块301,用于获取源语言数据和翻译后的目标语言数据;
108.确定模块302,用于确定所述源语言数据的第一统计特征以及确定所述目标语言数据的第二统计特征;
109.第一计算模块303,用于计算所述源语言数据和所述目标语言数据之间的语义相似度;
110.第二计算模块304,计算所述目标语言数据的语言质量特征;其中,所述语言质量特征用于表征所述目标语言数据是否符合语法;
111.评估模块305,用于将所述第一统计特征、所述第二统计特征、所述语义相似度和所述语言质量特征输入到深度神经网络模型中,得到评估结果。
112.在一个具体实施例中,确定模块302,用于获取第一语料打分字典;其中,所述第一语料打分字典中包括:至少一个指定文本各自的第一得分,和/或,多个分词的第二得分;从所述源语言数据中,提取至少一个目标指定文本;查询所述第一语料打分字典,确定各所述目标指定文本各自对应的目标第一得分;和/或,对所述源语言数据进行分词,得到多个目标分词;查询所述第一语料打分字典,确定各所述目标分词各自的目标第二得分;将各所述目标第一得分,和/或,各所述目标第二得分,作为所述第一统计特征。
113.在一个具体实施例中,确定模块302,用于获取源语言训练数据;统计源语言训练数据中,至少一个指定文本各自出现的频次对于每个所述指定文本,根据所述频次,计算所述指定文本的所述第一得分;对应存储所述指定文本和所述第一得分,得到第一对应关系;将所述源语言训练数据进行n-gram分词,得到多个所述分词;其中,n的取值范围是1~3;统计每个所述分词的词频;根据各所述分词各自的词频,分别对所述分词进行打分,得到各所述分词各自的第二得分,对应存储各所述分词以及与所述分词对应的所述第二得分,得到第二对应关系;保存所述第一对应关系和所述第二对应关系,得到所述第一语料打分字典。
114.在一个具体实施例中,确定模块302,用于统计所述源语言训练数据中,与所述指定文本属于同一个语料类别的所有文本出现的总次数;对所述频次取对数,得到第一中间
结果;对所述总次数取对数,得到第二中间结果;将所述第一中间结果除以所述第二中间结果,得到所述第一得分。
115.在一个具体实施例中,确定模块302,用于将各所述分词按照所述词频从低到高的顺序进行排序,得到排序结果;将所述排序结果等分成至少两个区间;且每个所述区间对应有一个评分;对于每个所述分词,确定所述词频对应的区间,将所述词频对应的区间的评分,作为所述分词的第二得分。
116.在一个具体实施例中,确定模块302,用于获取第二语料打分字典;其中,所述第二语料打分字典中包括:在双语训练数据中,多组双语对齐词语对应翻译的次数;对所述源语言数据和所述目标语言数据进行对齐,得到多个目标对齐词语对;从所述第二语料打分字典中,确定各所述目标对齐词语对各自对应的次数,将各所述次数作为所述目标语言数据的第二统计特征。
117.在一个具体实施例中,确定模块302,用于获取源语言训练数据和目标语言训练数据;对齐所述源语言训练数据和所述目标语言训练数据,得到对齐结果;统计所述对齐结果中,每组双语对齐词语对对齐的次数;对应存储所述双语对齐词语对和所述次数,得到所述第二语料打分字典。
118.在一个具体实施例中,第一计算模块303,用于获取相似度评分模型;其中,所述相似度评分模型用于计算所述源语言数据和所述目标语言数据的语义相似度;将所述源语言数据和所述目标语言数据输入到所述相似度评分模型,得到所述语义相似度。
119.在一个具体实施例中,第二计算模块304,用于获取语法评价模型;其中,所述语法评价模型用于判断所述目标语言数据是否符合语法;将所述目标语言数据输入到所述语法评价模型,得到所述语言质量特征。
120.基于同一构思,本技术实施例中还提供了一种电子设备,如图4所示,该电子设备主要包括:处理器401、存储器402和通信总线403,其中,处理器401和存储器402通过通信总线403完成相互间的通信。其中,存储器402中存储有可被处理器401执行的程序,处理器401执行存储器402中存储的程序,实现如下步骤:
121.获取源语言数据和翻译后的目标语言数据;
122.确定所述源语言数据的第一统计特征以及确定所述目标语言数据的第二统计特征;
123.计算所述源语言数据和所述目标语言数据之间的语义相似度;
124.计算所述目标语言数据的语言质量特征;其中,所述语言质量特征用于表征所述目标语言数据是否符合语法;
125.将所述第一统计特征、所述第二统计特征、所述语义相似度和所述语言质量特征输入到深度神经网络模型中,得到评估结果。
126.上述电子设备中提到的通信总线403可以时外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该通信总线403可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
127.存储器402可以包括随机存取存储器(random access memory,简称ram),也可以
包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器401的存储装置。
128.上述的处理器401可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等,还可以是数字信号处理器(digital signal processing,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field-programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
129.在本技术的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该计算机程序在计算机上运行时,使得计算机执行上述实施例中所描述的翻译结果的评分方法。
130.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时,全部或部分地产生按照本技术实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如dvd)或者半导体介质(例如固态硬盘)等。
131.需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
132.以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
技术特征:1.一种翻译结果的评估方法,其特征在于,包括:获取源语言数据和翻译后的目标语言数据;确定所述源语言数据的第一统计特征以及确定所述目标语言数据的第二统计特征;计算所述源语言数据和所述目标语言数据之间的语义相似度;计算所述目标语言数据的语言质量特征;其中,所述语言质量特征用于表征所述目标语言数据是否符合语法;将所述第一统计特征、所述第二统计特征、所述语义相似度和所述语言质量特征输入到深度神经网络模型中,得到评估结果。2.根据权利要求1所述的翻译结果的评估方法,其特征在于,所述确定所述源语言数据的第一统计特征,包括:获取第一语料打分字典;其中,所述第一语料打分字典中包括:至少一个指定文本各自的第一得分,和/或,多个分词的第二得分;从所述源语言数据中,提取至少一个目标指定文本;查询所述第一语料打分字典,确定各所述目标指定文本各自对应的目标第一得分;和/或,对所述源语言数据进行分词,得到多个目标分词;查询所述第一语料打分字典,确定各所述目标分词各自的目标第二得分;将各所述目标第一得分,和/或,各所述目标第二得分,作为所述第一统计特征。3.根据权利要求2所述的翻译结果的评估方法,其特征在于,所述获取第一语料打分字典,包括:获取源语言训练数据;统计源语言训练数据中,至少一个指定文本各自出现的频次;对于每个所述指定文本,根据所述频次,计算所述指定文本的所述第一得分;对应存储所述指定文本和所述第一得分,得到第一对应关系;将所述源语言训练数据进行n-gram分词,得到多个所述分词;其中,n的取值范围是1~3;统计每个所述分词的词频;根据各所述分词各自的词频,分别对所述分词进行打分,得到各所述分词各自的第二得分,对应存储各所述分词以及与所述分词对应的所述第二得分,得到第二对应关系;保存所述第一对应关系和所述第二对应关系,得到所述第一语料打分字典。4.根据权利要求3所述的翻译结果的评估方法,其特征在于,所述根据所述频次,计算所述指定文本的所述第一得分,包括:统计所述源语言训练数据中,与所述指定文本属于同一个语料类别的所有文本出现的总次数;对所述频次取对数,得到第一中间结果;对所述总次数取对数,得到第二中间结果;将所述第一中间结果除以所述第二中间结果,得到所述第一得分。5.根据权利要求3所述的翻译结果的评估方法,其特征在于,所述根据各所述分词各自的词频,分别对所述分词进行打分,得到各所述分词各自的第二得分,包括:
将各所述分词按照所述词频从低到高的顺序进行排序,得到排序结果;将所述排序结果等分成至少两个区间;且每个所述区间对应有一个评分;对于每个所述分词,确定所述词频对应的区间,将所述词频对应的区间的评分,作为所述分词的第二得分。6.根据权利要求1~5任意一项所述的翻译结果的评估方法,其特征在于,所述确定所述目标语言数据的第二统计特征,包括:获取第二语料打分字典;其中,所述第二语料打分字典中包括:在双语训练数据中,多组双语对齐词语对应翻译的次数;对所述源语言数据和所述目标语言数据进行对齐,得到多个目标对齐词语对;从所述第二语料打分字典中,确定各所述目标对齐词语对各自对应的次数,将各所述次数作为所述目标语言数据的第二统计特征。7.根据权利要求6所述的翻译结果的评估方法,其特征在于,所述获取第二语料打分字典,包括:获取源语言训练数据和目标语言训练数据;对齐所述源语言训练数据和所述目标语言训练数据,得到对齐结果;统计所述对齐结果中,每组双语对齐词语对对齐的次数;对应存储所述双语对齐词语对和所述次数,得到所述第二语料打分字典。8.根据权利要求1所述的翻译结果的评估方法,其特征在于,所述计算所述源语言数据和所述目标语言数据之间的语义相似度,包括:获取相似度评分模型;其中,所述相似度评分模型用于计算所述源语言数据和所述目标语言数据的语义相似度;将所述源语言数据和所述目标语言数据输入到所述相似度评分模型,得到所述语义相似度。9.根据权利要求1所述的翻译结果的评估方法,其特征在于,所述计算所述目标语言数据的语言质量特征,包括;获取语法评价模型;其中,所述语法评价模型用于判断所述目标语言数据是否符合语法;将所述目标语言数据输入到所述语法评价模型,得到所述语言质量特征。10.一种翻译结果的评分装置,其特征在于,包括:获取模块,用于获取源语言数据和翻译后的目标语言数据;确定模块,用于确定所述源语言数据的第一统计特征以及确定所述目标语言数据的第二统计特征;第一计算模块,用于计算所述源语言数据和所述目标语言数据之间的语义相似度;第二计算模块,计算所述目标语言数据的语言质量特征;其中,所述语言质量特征用于表征所述目标语言数据是否符合语法;评估模块,用于将所述第一统计特征、所述第二统计特征、所述语义相似度和所述语言质量特征输入到深度神经网络模型中,得到评估结果。11.一种电子设备,包括:处理器、存储器和通信总线,其中,处理器和存储器通过通信总线完成相互间的通信;所述存储器,用于存储计算机程序;所述处理器,用于执行所述存
储器中所存储的程序,实现权利要求1至9任一项所述的翻译结果的评估方法。12.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的翻译结果的评估方法。
技术总结本申请涉及一种翻译结果的评估方法、装置、设备及存储介质,其中,所述方法包括:获取源语言数据和翻译后的目标语言数据;确定所述源语言数据的第一统计特征以及确定所述目标语言数据的第二统计特征;计算所述源语言数据和所述目标语言数据之间的语义相似度;计算所述目标语言数据的语言质量特征;其中,所述语言质量特征用于表征所述目标语言数据是否符合语法;将所述第一统计特征、所述第二统计特征、所述语义相似度和所述语言质量特征输入到深度神经网络模型中,得到评估结果。本申请用以解决无法对翻译结果进行准确评估,导致翻译效率低的技术问题。效率低的技术问题。效率低的技术问题。
技术研发人员:申利彬
受保护的技术使用者:北京爱奇艺科技有限公司
技术研发日:2022.04.07
技术公布日:2022/7/5