1.本公开涉及数据处理技术领域，具体涉及到一种用于阅读的信息处理方法及装置。
背景技术：2.现有书籍通常采用文字的形式进行展现。
3.相关技术中，通过文字阅读的方式要求阅读者需要一定的理解能力，阅读要求水平高，并且文字阅读的方式需要投入大量的时间，阅读效率不够高效。
技术实现要素：4.本公开的主要目的在于提供一种用于阅读的信息处理方法及装置。
5.为了实现上述目的，根据本公开的第一方面，提供了一种用于阅读的信息处理方法，包括：在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息；基于所述语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3d模型；对所述一组目标3d模型之间建立关联，得到文本内容对应的视频内容。
6.可选地，所述方法还包括：基于所述语义信息，从存储视频素材的库中匹配与所述语义信息相符的视频片段；如果存在语义信息未匹配到相符的视频片段，则基于该语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3d模型。
7.可选地，基于所述语义信息，从预建立的模型库中确定与所语义信息相匹配的一组目标3d模型包括：计算语义信息与模型库中各个3d模型的预设信息之间用于表示相关性的数值；将在预设的置信区间内的所述数值所对应的3d模型确定为匹配模型，其中，语义信息与各个3d模型之间对应有预设的置信区间。
8.可选地，所述方法还包括：基于所述语义信息，生成与文本内容相符的解说用文本；将所述解说用文本与所述视频内容相匹配，得到与所述文本内容相对应的音频内容。
9.可选地，方法还包括：按照章节顺序，对视频内容进行排序。
10.根据本公开的第二方面，提供了一种用于阅读的信息处理装置，包括：语义识别单元，被配置成在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息；匹配单元，被配置成基于所述语义信息，从预建立的模型库中确定与所述一组识别对象相匹配的一组目标3d模型；视频建立单元，被配置成对所述一组目标3d模型之间建立关联，得到文本内容对应的视频内容。
11.可选地，装置还包括：视频匹配单元，被配置成基于所述语义信息，从存储视频素材的库中匹配与所述语义信息相符的视频片段；如果存在语义信息未匹配到相符的视频片段，则基于该语义信息，从预建立的模型库中确定与所述一组识别对象相匹配的一组目标3d模型。
12.可选地，所述匹配单元进一步被配置成：计算语义信息与模型库中各个3d模型的预设信息之间用于表示相关性的数值；将在预设的置信区间内的所述数值所对应的3d模型
确定为匹配模型，其中，语义信息与各个3d模型之间对应有预设的置信区间。
13.根据本公开的第三方面，提供了一种计算机可读存储介质，存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面任意一项实现方式所述的用于阅读的信息处理方法。
14.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项实现方式所述的用于阅读的信息处理方法。
15.在本公开实施例用于阅读的信息处理方法及装置中，包括在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息；基于所述语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3d模型；对一组目标3d模型之间建立关联，得到文本内容对应的视频内容。通过实现将文字阅读方式变更为视频阅读的方式，提高了阅读率和阅读效率，从而解决了相关技术中阅读率和阅读效率低的技术问题。
附图说明
16.为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是根据本公开实施例的用于阅读的信息处理方法的流程图；
18.图2是根据本公开实施例的电子设备的示意图；
19.图3是本公开实施例的用于阅读的信息处理方法的应用场景图。
具体实施方式
20.为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
21.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
23.根据本公开实施例，提供了一种用于阅读的信息处理方法，如图1所示，该方法包括如下的步骤101至步骤103：
24.步骤101：在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息。
25.在本实施例中，待阅读文档可以是电子文档，也可以是纸张形式的文档，当待阅读文档是纸张形式的文档时，可通过扫描设备转为待阅读的电子文档，例如，扫描设备可以是点读设备、也可以是扫描设备等等。
26.对待阅读文档的文本内容进行语义识别，可以是通过预建立的语义识别模型进行识别，得到文本的语义。其中，文本的语义可以包括以段落为单位所识别的语义，还可以是以句子为单位所识别的语义，而为了提高语义识别的精度，同时提高生成视频与文本内容的匹配度，也可以是句子和段落相结合识别得到的语义。
27.语义信息可以用于匹配3d模型和或视频片段。一个语义信息可以包括一个或多个识别对象，该识别对象也可以用于匹配3d模型，和/或，视频片段，识别对象可以是文本所描述的对象。
28.在进行语义识别时，可以在词汇级的词性识别、专有名词、词重要性、同近义词等基础上，搭建句法级的句法结构、主题模型、知识图谱和词向量分析，并最终完成语义识别。
29.例如，“如果到200万年前的东非逛一逛，你很可能会看到一群很像人类的生物：有些妈妈一边哄着婴儿，一边还得把玩儿疯的小孩抓回来，忙得团团转；有些年轻人对社会上的种种规范气愤不满；也有些垂垂老矣的老人家只想图个清静；有肌肉猛男锤着自己的胸膛，只希望旁边的美女能够垂青；有年长的充满智慧的大家长对这一切早就习以为常。”通过段落语义分析可以得到段落的语义识别得到的可以是非洲的人类生活的一个场景，如果基于该语义分析，匹配到与此相关的模型或者视频片段，则可能匹配的精度不高。例如，虽然匹配到与非洲人生活的场景，但文本所描述的细节均未体现。
30.而为了提高视频与文本的匹配度，则可以以句子为单位进行语义识别，得到语义信息。例如“有些妈妈一边哄着婴儿，一边还得把玩儿疯的小孩抓回来，忙得团团转”，其得到的语义可以是妈妈一边哄婴儿，一边该妈妈还抓孩子回来；通过上述语义分析可以得到非洲妈妈一边哄婴儿一边抓孩子回来的信息。再例如，“有肌肉猛男锤着自己的胸膛，只希望旁边的美女能够垂青”，通过语义识别得到的非洲肌肉猛男向旁边的美女做出捶胸动作。
31.通过段落和句子的语义分析相结合可以得到更精确的语义。
32.进一步地，为了提高文档文本内容与模型、和/或视频片段的匹配精度，在进行语义识别时，还可以结合关键信息(如关键字、和/或词)、情感分析、违禁词分析、文本所涉及到的表情分析、正向负向分析来提高识别精度。
33.以情感分析为例，通过情感分析可以提高语义识别精度，例如“妈妈哄孩子”，这里的情感是积极的，基于该些分析可以匹配到妈妈抱着孩子的模型或者视频片段，但是如果这里的情感是消极的，基于该些分析可以匹配到妈妈打孩子的模型或者视频片段。
34.以关键信息为例，如关键字词，在关键词(和/或)的基础上结合识别的语义可以进一步提高语义识别精度，例如“有些妈妈一边哄着婴儿，一边还得把玩儿疯的小孩抓回来，忙得团团转”得到的语义是非洲妈妈一边哄婴儿一边抓孩子回来，同时结合“妈妈”、“哄”“抓”通过该关键字词，可以得到精确的语义信息。
35.步骤102：基于所述语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3d模型。
36.在本实施例中，3d模型可以3d动画模型，其可从存储于3d动画模型库中。可以预先建立动画模型库，并针对各种场景(包括但是不限于，人物之间关系所涉及到的场景、不同地理位置下的自然环境、历史人物之间的场景、战争场景等等如现实生活中发生的任何场景)和事物(包括但是不限于，客观事物)进行3d建模得到3d动画模型，例如，妈妈抱着孩子的场景、山川模型、大海模型、草地模型等等。
37.进一步地，每一个3d模型可关联有描述信息，该描述信息可以是用于描述3d模型的，包括但是不限于模型所表达的场景描述信息、模型所代表的事物的描述信息。在语义信息与3d模型进行匹配时，可以通过语义信息和3d模型关联的描述信息进行匹配。与语义信息相关性最大的描述信息，其所对应的3d模型可以确定为目标3d模型。多个语义信息可匹配到多个目标3d模型，得到一组目标3d模型。
38.作为本实施例一种可选的实现方式，基于所述语义信息，从预建立的模型库中确定与所语义信息相匹配的一组目标3d模型包括：计算语义信息与模型库中各个3d模型的预设信息之间用于表示相关性的数值；将在预设的置信区间内的所述数值所对应的3d模型确定为匹配模型，其中，语义信息与各个3d模型之间对应有预设的置信区间。
39.在本可选的实现方式中，可以预先对训练数据进行训练，以得到置信区间。该置信区间可以根据需求进行调整。
40.示例性地，训练数据，可以是经过预处理(一般是人工标注)后，有相对精确的特征描述，以“样本”形式参与模型开发工作。根据训练数据对算法进行调教，计算得到算法的各个参数，然后可以将算法应用于真实数据获得置信区间。
41.步骤103：对所述一组目标3d模型之间建立关联，得到文本内容对应的视频内容。
42.在本实施例中，如果语义信息能够匹配到一个涵盖语义信息中所有粒度语义信息(即识别对象)的目标3d模型，则该模型则可以直接作为视频的内容，例如，“妈妈一边哄孩子，一边抓另一个孩子回来”匹配到一个与“妈妈哄孩子同时抓另一个孩子”场景的3d模型，该模型可以直接作为视频内容使用。
43.如果语义信息不能够匹配到一个涵盖语义信息中所有粒度语义信息(即识别对象)的目标3d模型，那么可以分别对语义信息中包含的不同粒度的语义信息进行匹配，得到一组目标3d模型。例如与“妈妈哄孩子”相关的3d模型，以及与“妈妈抓孩子回来”相关的3d模型，二个模型通过建立关联得到视频内容。在得到一组目标3d模型之后，可以建立模型间的关系，包括但是不限于，建立模型之间的位置关系、动作逻辑之间的关系等等。模型之间关系的建立可以通过相关的动画制作软件完成。
44.本实施例通过“书本”到“视频”的自动转化，将书籍内容转换为视频，采用视频的方式展现书籍，书籍内容以影像化和动画的方式按照每一章节依次展开，通过生动有趣的视频方式呈现内容。读者只需要看视频即可完整获取书籍要传递的信息和知识，内容清晰直观，容易阅读者的理解。进而提高了阅读率、以及阅读效率。
45.作为本实施例一种可选的实现方式，方法还包括：基于所述语义信息，从存储视频素材的库中匹配与所述语义信息相符的视频片段；如果存在语义信息未匹配到相符的视频片段，则基于该语义信息，从预建立的模型库中确定与所述一组识别对象相匹配的一组目标3d模型。
46.在本可选的实现方式中，为了提高视频的制作效率，可以预先建立视频素材库，基
于语义信息在视频素材库中匹配与该语义信息相关的视频片段，该视频片段即可作为最终的视频内容。
47.在进行视频片段匹配时，可以基于视频片段对应的预设信息进行匹配，预设信息可以是台词、标签、和/或视频的描述等等。示例性地，在进行匹配时可以基于所述语义信息和所存储的视频素材的预设信息，确定用于表示相关性的第一数值；将在预设的第一置信区间内的所述数值所对应的视频素材确定为匹配视频素材，其中，语义信息与各个视频素材之间对应有预设的置信区间。
48.进一步地，如果未匹配到视频片段，则可以基于该待匹配语义信息匹配3d模型，基于该3d模型生成视频内容。
49.进一步地，如果匹配到的视频片段不能涵盖全部语义信息，那么可以针对语义信息中未匹配的语义信息进行3d模型匹配。而后可将视频片段与3d模型建立关联关系，组成视频内容。
50.更进一步地，视频片段的确定步骤还可以是在匹配3d模型步骤之后，即如果未匹配到3d模型，则可继续匹配视频片段；或者如果匹配到的3d模型不能涵盖所有的语义信息，则对未匹配的语义信息匹配视频片段，而后将3d模型和视频片段建立关联，得到视频内容。
51.作为本实施例一种可选的实现方式，方法还包括：基于所述语义信息，生成与文本内容相符的解说用文本；将所述解说用文本与所述视频内容相匹配，得到与所述文本内容相对应的音频内容。
52.在本可选的实现方式中，视频中可以配有解说用文本，以有助于用户进一步对文本的理解。解说用的文本可以是利用语义分析，抽取关键词和文本所表达的核心逻辑得到，在得到该解说用文本。而后可将该文本转换语音数据，并将该语音数据与视频内容进行匹配得到音频内容。
53.作为本实施例一种可选的实现方式，按照章节顺序，对视频内容进行排序。
54.在本可选的实现方式中，在智能合成视频内容后，通过对视频内容的呈现顺序进行排序，能够使视频内容按照文档章节进行播放，从而更有利与读者的阅读。
55.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
56.根据本公开实施例，还提供了一种用于实施上述用于阅读的信息处理方法的装置，该装置包括：语义识别单元，被配置成在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息；匹配单元，被配置成基于所述语义信息，从预建立的模型库中确定与所述一组识别对象相匹配的一组目标3d模型；视频建立单元，被配置成对所述一组目标3d模型之间建立关联，得到文本内容对应的视频内容。
57.作为本实施例一种可选的实现方式，装置还包括：视频匹配单元，被配置成基于所述语义信息，从存储视频素材的库中匹配与所述语义信息相符的视频片段；如果存在语义信息未匹配到相符的视频片段，则基于该语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3d模型。
58.所述匹配单元进一步被配置成：计算语义信息与模型库中各个3d模型的预设信息之间用于表示相关性的数值；将在预设的置信区间内的所述数值所对应的3d模型确定为匹
配模型，其中，语义信息与各个3d模型之间对应有预设的置信区间。
59.上述实施例实现了根据语义分析从视频库中搜索提取相关的视频内容；根据语义分析搭建动画模型和互动过程；以视频的方式按章节呈现书本内容；书本的载体就是视频，以电子文件或者流媒体的形式进行传播。
60.本实施例自动将书籍的文本内容转化为视频，以多媒体视频的形态保存、记录和传播书本内容。“视频书”(视频内容)的每个章节都是一个相对独立的视频，播放过程中通过动画、声音、拍摄内容把书本信息传递给用户。“视频看书系统”生成的视频内容，包括了目录和各个章节，各部分有序排列。
61.本实施例通过系统化的自动流程，利用人类已经拍摄的海量视频片段、动画模型，完成书本到视频的转换。把阅读书籍的门槛进一步降低，通过生动形象的动画和视频，向用户直观地呈现书本内容。各种深奥的概念和复杂的逻辑都可以通过视频进行阐述。方便用户学习新知识，掌握新技能。
62.本公开实施例提供了一种电子设备，如图2所示，该电子设备包括一个或多个处理器21以及存储器22，图2中以一个处理器21为例。
63.该控制器还可以包括：输入装置23和输出装置24。
64.处理器21、存储器22、输入装置23和输出装置24可以通过总线或者其他方式连接，图2中以通过总线连接为例。
65.处理器21可以为中央处理器(centralprocessingunit，cpu)。处理器21还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
66.存储器22作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的控制方法对应的程序指令/模块。处理器21通过运行存储在存储器22中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的方法。
67.存储器22可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
68.输入装置23可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置24可包括显示屏等显示设备。
69.一个或者多个模块存储在存储器22中，当被一个或者多个处理器21执行时，执行如图1所示的方法。
70.参考图3，图3示出了适用于用于阅读的信息处理方法的系统架构，视频看书的系
统通过对原始书本的内容进行语义分析后，结合动画模型库进行模型搭建、和/或通过视频素材库提取视频素材，最终智能合成可用于阅读的视频内容。
71.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
72.虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
技术特征：1.一种用于阅读的信息处理方法，其特征在于，包括：在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息；基于所述语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3d模型；对所述一组目标3d模型之间建立关联，得到文本内容对应的视频内容。2.根据权利要求1所述的用于阅读的信息处理方法，其特征在于，所述方法还包括：基于所述语义信息，从存储视频素材的库中匹配与所述语义信息相符的视频片段；如果存在语义信息未匹配到相符的视频片段，则基于该语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3d模型。3.根据权利要求1所述的用于阅读的信息处理方法，其特征在于，基于所述语义信息，从预建立的模型库中确定与所语义信息相匹配的一组目标3d模型包括：计算语义信息与模型库中各个3d模型的预设信息之间用于表示相关性的数值；将在预设的置信区间内的所述数值所对应的3d模型确定为匹配模型，其中，语义信息与各个3d模型之间对应有预设的置信区间。4.根据权利要求1所述的用于阅读的信息处理方法，其特征在于，所述方法还包括：基于所述语义信息，生成与文本内容相符的解说用文本；将所述解说用文本与所述视频内容相匹配，得到与所述文本内容相对应的音频内容。5.根据权利要求1所述的用于阅读的信息处理方法，其特征在于，方法还包括：按照章节顺序，对视频内容进行排序。6.一种用于阅读的信息处理装置，其特征在于，包括：语义识别单元，被配置成在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息；匹配单元，被配置成基于所述语义信息，从预建立的模型库中确定与所述一组识别对象相匹配的一组目标3d模型；视频建立单元，被配置成对所述一组目标3d模型之间建立关联，得到文本内容对应的视频内容。7.根据权利要求6所述的用于阅读的信息处理装置，其特征在于，装置还包括：视频匹配单元，被配置成基于所述语义信息，从存储视频素材的库中匹配与所述语义信息相符的视频片段；如果存在语义信息未匹配到相符的视频片段，则基于该语义信息，从预建立的模型库中确定与所述一组识别对象相匹配的一组目标3d模型。8.根据权利要求6所述的用于阅读的信息处理装置，其特征在于，所述匹配单元进一步被配置成：计算语义信息与模型库中各个3d模型的预设信息之间用于表示相关性的数值；将在预设的置信区间内的所述数值所对应的3d模型确定为匹配模型，其中，语义信息与各个3d模型之间对应有预设的置信区间。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5任意一项所述的用于阅读的信息处理方法。10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通
信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-5任意一项所述的用于阅读的信息处理方法。
技术总结本公开实施例公开了一种用于阅读的信息处理方法及装置，其中方法包括：在获取到待阅读文档的文本内容后，对所述文本内容进行语义识别，得到语义信息；基于所述语义信息，从预建立的模型库中确定与所述语义信息相匹配的一组目标3D模型；对一组目标3D模型之间建立关联，得到文本内容对应的视频内容。通过实现将文字阅读方式变更为视频阅读的方式，提高了阅读率和阅读效率，从而解决了相关技术中阅读率和阅读效率低的技术问题。和阅读效率低的技术问题。和阅读效率低的技术问题。
技术研发人员：张量
受保护的技术使用者：北京拥抱在线科技有限公司
技术研发日：2022.03.29
技术公布日：2022/7/5
