基于webgl的手语数字人驱动及实时渲染系统
技术领域
1.本发明涉及三维模型计算动画、图形渲染、服务器高并发响应与任务实时处理等领域，具体为一种在支持3d渲染的浏览器中，使用webgl渲染虚拟手语数字人，通过网络请求获取动画数据并实时驱动虚拟手语数字人进行手语翻译的系统。
背景技术：2.随着互联网的逐渐发展，人们从移动端与web端的获取信息的比重越来越大，而移动端和web端也成为听障人群获取信息的重要渠道。对于文化程度不高的听障人群，从文字获取有益的信息非常困难。而目前还未出现在web端为听障人群提供中文手语翻译服务的应用，这导致听障人群无法从社交媒体或者其他渠道获取正确、有益、即时的信息，很大程度上影响了该人群的社交、就业、工作以及家庭交流。
3.针对以上的问题，本发明提出了一种基于webgl的手语数字人驱动及实时渲染系统，该系统可在web端为听障人群提供在线、实时、准确的中文手语翻译服务。
技术实现要素：4.(一)解决的技术不足
5.针对现有技术以及应用的不足，本发明提供了一种基于webgl的手语数字人驱动及实时渲染系统，该系统可在web端进行高清手语数字人渲染，并根据用户所需翻译的文字，通过网络请求实现在线、实时的中文手语翻译，为听障人群在web端获取信息提供了一种新的方式，填补了尚未在web端为听障人群提供在线中文手语翻译的技术空白。
6.(二)技术方案
7.本发明提供一种基于webgl的手语数字人驱动及实时渲染系统，用于在多种系统平台下的web端实现在线、实时的，通过手语数字人三维动画展示的手语翻译服务。为实现基于webgl的手语数字人驱动及实时渲染系统，本发明提供了如下的技术方案，该技术方案主要包括以下部分：
8.(1)web前端
9.web前端模块用于系统嵌入、系统ui界面显示、用户交互、网络请求与三维场景展示。
10.(2)渲染模块
11.渲染模块基于webgl，使用可编程渲染管线在web端渲染出虚拟的手语数字人，并根据结合多种光照模型与多光源作用下，渲染出较逼真的虚拟手语动画画面。
12.(3)云服务模块
13.云服务模块可对web前端的高并发请求进行响应，并实时处理每一个请求，根据请求的翻译文本，生成对应的动画数据并返回给web前端进行处理。
14.(4)动画驱动模块
15.web前端在接收到云服务的动画数据之后，对该动画数据进行预处理获得正确的
动画驱动数据，然后结合计算动画算法使用动画驱动数据对手语数字人进行动画驱动。
16.作为优选方式，所述渲染模块包括：可使用支持webgl的第三方库，如threejs、babylonjs等。
17.作为优选方式，所述渲染模块包括：手语数字人模型加载与纹理加载，可编程渲染管线的编译与运行，在三维场景中使用多种光照模型，在三维场景中使用多种类型、多个光源，在三维场景中使用不同的阴影效果。
18.作为优选方式，所述云服务模块包括：对高并发网络请求的响应；对高并发网络请求进行负载均衡，根据子服务负载状态调度请求；
19.作为优选方式，所述动画数据包括：动画数据元数据，动画数据的加密信息，动画数据的混淆信息，动画驱动数据；
20.作为优选方式，所述动画模块包括：虚拟人物模型骨骼蒙皮权重的加载与计算，通过动画数据驱动虚拟手语数字人关节进行运动，由关节运动信息驱动人物蒙皮运动，动画插值平滑与动画输出。
21.(三)有益效果
22.与现有技术相比，本发明提供了一种基于webgl的手语数字人驱动及实时渲染系统，具备以下有益效果：
23.(1)较低的硬件运行要求与优秀的跨平台性
24.本系统运行对设备硬件性能要求较低，并且具有很好的跨平台性。只需要用户在终端安装支持webgl的浏览器，便可在任意支持三维渲染的浏览器上运行，可同时支持pc端、移动端、web端使用，并且拥有良好的跨平台性，支持windows、linux、macos、android、ios等主流系统平台。
25.(2)无需修改网页结构即可应用的非侵入式设计方案
26.本系统采用非侵入式的应用设计方案，无需修改应用网站的网站结构，只需要通过引用本系统的单个js文件即可完成整个web前端页面在应用网站上的嵌入，并提供完整的用户交互操作。
27.(3)在web端提供高逼真的数字人渲染效果
28.本系统在web端提供高逼真的数字人渲染效果，并且为了适应不同终端的硬件性能，还提供了低清和高清两种不同渲染模式。低清模式适用于硬件设备性能较低的终端，高清模式适用于硬件设备性能较高的终端，
29.(4)准确的数字人计算动画驱动机制
30.本系统依赖已有的数字人计算动画驱动算法可驱动手语数字人打出准确、平滑的手语动作。通过服务器后台生成混淆加密的动画数据，然后将该动画数据传送到web端，web端接收到数据后进行数据解密、数据清洗、数据解析重组等操作，最后通过在三维场景中使用动画数据驱动手语数字人完成手语动作。
31.(5)实时的、准确的中文手语翻译
32.本系统能在web端为用户提供实时的、准确的中文手语翻译。用户在web端仅需通过鼠标滑动选取需要手语翻译的文本便可获取实时准确的中文手语翻译，大大提高了听障人群获取信息的便利性。
附图说明
33.图1为本发明提出的一种基于webgl的手语数字人驱动及实时渲染系统的技术流程图。
具体实施方式
34.在下文中，将参照附图1描述本发明的基于webgl的手语数字人驱动及实时渲染系统的方法的实施例。
35.在此记载的实施例为本发明的特定的具体的实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外，本领域技术人员还能够基于本技术权利要求书和说明书所公开的内容采用显而易见的其他技术方案，这些技术方案还包括对在此记载的实施例做出任何显而易见的替换和修改的技术方案。
36.本说明书的附图为示意图，辅助说明本发明的构思，示意性地表示各部分之间的相互关系。
37.参见图1，本发明提出的一种基于webgl的手语数字人驱动及实时渲染系统的方法，用于在web端为听障人群提供在线的、实时的中文手语翻译服务，包括以下步骤：
38.(1)步骤1：基于webgl的手语数字人驱动及实时渲染系统的web前端页面采用低耦合、非侵入式的技术方案，对需要使用基于webgl的手语数字人驱动及实时渲染系统的网页只要需要引入该系统的单个js文件，即可在网页中显示该系统的前端ui界面，并可对该系统ui进行交互操作。该系统web前端的界面中已嵌入基于webgl的手语数字人渲染的三维场景，当js文件引入完毕，该三维场景会自动创建，并加载手语数字人模型，于此同时完成场景的渲染。
39.(2)步骤2：在web前端界面在应用网页创建成功后，用户可通过鼠标滑动选中需要进行手语翻译的文字，之后该系统会将用户选中的文本通过网络请求发送给远程调度服务器。
40.(3)步骤3：针对处理单个请求，远程调度服务器在接收到发送的网络请求后，会将该请求分发给空闲的子服务进行处理，子服务根据所请求的翻译文本按每秒30帧的速度生成30帧动画数据，并返回给远程调度服务器，远程调度服务器接收到结果动画数据之后，按请求id发送到对应的web端。子服务在帧动画数据生成的过程中会对动画数据进行数据精简、数据混淆与数据加密，保证动画数据在网络传输过程中不易被破解并占据较小的网络带宽。
41.(4)步骤4：web端收到远程调度服务返回的动画数据字节流后，首先会对所接收的动画数据进行数据解密，然后对数据混淆部分进行数据清洗，最后对清洗后的数据进行数据解析与重组得到可用的动画数据。
42.(5)步骤5：将解析后的动画数据传递给动画驱动模块，动画驱动模块将动画数据转化为关节驱动数据，并在帧与帧之间进行运动信息插值，驱动手语数字人进行运动。当从服务器接收到更多的动画数据字节流时便可在动画数据流之间进行运动信息插值，从而形成连续平滑的手语翻译动作。
43.(6)步骤6：在使用动画数据驱动手语数字人运动的过程中，三维渲染场景显示逼
真的手语数字人动作画面，给听障人群用户传递手语翻译信息。
技术特征：1.一种基于webgl的手语数字人驱动及实时渲染系统，用于在web端为听障人群提供在线、实时、准确的中文手语翻译，包括：基于webgl的手语数字人驱动及实时渲染系统的web前端ui设计与交互操作设计；该系统的web前端无需修改网页源代码即可应用的非侵入式设计方案，包括web前端ui界面嵌入与用户交互操作响应嵌入；基于webgl的渲染系统，包括渲染可编程管线设计，渲染使用的光照模型，渲染时使用的光照、光照设计，三维渲染场景设计等；基于webgl的动画系统，包括骨骼蒙皮动画、动画插值方法、动画驱动机制等；云服务的高并发网络请求响应、请求分发与负载均衡机制；云服务的实时动画数据生成算法。2.根据权利要求1所述的方法，其中，所述基于webgl的手语数字人驱动及实时渲染系统的web前端ui设计包括：web前端的ui布局设计，ui图片设计，产品设计等；交互设计包括可调节亮色和暗色两种模式，可调整手语数字人手语速度，可重播上一句手语数字人的手语动作，可调整三维场景渲染的低清模式与高清模式，可通过滑动选取需要翻译的词语或者句子等。3.根据权利要求1所述的方法，其中，所述web前端非侵入式方案包括：无需修改应用的网站或者网页已有的网页结构代码，仅通过引用本系统的单个js文件即可在应用网站或者网页嵌入web前端页面。除了嵌入web前端界面之外，还包括用于与本系统web前端交互的各种交互操作的响应，比如按钮点击事件的响应、web界面在网页上可拖动事件的响应、显示与隐藏web界面事件的响应、web界面颜色修改事件的响应、用户滑动鼠标选取词句事件的响应等。4.根据权利要求1所述的方法，其中，所述基于webgl的渲染系统包括：加载手语数字人模型文件与纹理文件，渲染手语数字人模型的可编程渲染管线的设计，在渲染管线中所使用的多种光照模型，以及在三维渲染场景中所使用的多种光源的位置、强度、方位角等。5.根据权利要求1所述的方法，其中，所述基于webgl的动画系统包括：手语数字人模型的骨骼蒙皮权重值的制作与优化，通过关节动画数据驱动手语数字人做出连续平滑动作的方法，多个帧动画之间的平滑插值方法。6.根据权利要求1所示的方法，其中，所述云服务的高并发网络请求响应、请求分发与负载均衡机制包括：远程云服务器对高并发的网络请求进行即时响应，并根据动画数据生成子服务负载状态分发数据计算任务，子服务根据分配的计算的任务实时进行数据计算并进行动画数据生成。7.根据权利要求1所示的方法，其中，所述云服务的实时动画数据生成算法包括：使用已有算法按每秒30帧的速度生成连续帧的动画数据包，并对该数据包进行数据精简、数据加密、数据混淆，最终生成加密混淆后的动画数据字节流。
技术总结本发明公开了一种基于WebGL的手语数字人驱动及实时渲染系统，涉及三维模型计算动画、图形渲染、服务器高并发响应与任务实时处理等领域，为一种在web端，使用WebGL渲染虚拟手语数字人，通过网络请求获取动画数据并实时驱动虚拟手语数字人进行中文手语翻译的系统。该系统主要包括web前端、渲染模块、云服务模块与动画驱动模块等。本发明可在web端为听障人群提供在线、实时、准确的可视化中文手语翻译服务，为听障人群在web端获取信息提供了一种新的方式，填补了尚未在web端为听障人群提供在线中文手语翻译的技术空白。文手语翻译的技术空白。文手语翻译的技术空白。
技术研发人员：高春鸣 黄望
受保护的技术使用者：长沙千博信息技术有限公司
技术研发日：2022.03.28
技术公布日：2022/7/5
