本发明涉及一种基于gltf格式的3d模型自动标注与渲染系统,属于模型标注和渲染领域。
背景技术:
1、随着3d技术的不断发展,gltf格式作为一种通用的3d模型格式,得到了广泛的应用。然而,在现有的3d模型处理流程中,标注和渲染往往需要人工操作,效率低下且易出错。因此,开发一种能够自动标注和渲染gltf格式3d模型的系统,对于提高3d模型处理效率和可视化效果具有重要意义。
2、申请(专利)号:cn201810797793.2的《一种基于多标签传播的三维模型标注方法》,提到了允许用户通过对少量样本的标注,结合样本空间中的样本关联关系,就能计算出整个样本空间的分类结果情况,和本专利相比,本专利的优点:能够自动标注和渲染gltf格式3d模型,可以提高3d模型处理效率和可视化效果;通过自动生成标注模型,便于用户快速了解模型的尺寸和位置信息;采用纹理渲染和灯光照射技术,使模型具有更加逼真的外观和光照效果。
技术实现思路
1、为了解决上述现有技术中存在的问题,本发明提出了一种基于gltf格式的3d模型自动标注与渲染系统。
2、本发明的技术方案如下:
3、一方面,本发明提供了一种基于gltf格式的3d模型自动标注与渲染系统,包括:gltf格式解析模块、标注生成模块、纹理渲染模块、灯光照射模块和输出模块;
4、所述gltf格式解析模块用于读取gltf格式的3d模型文件,并解析出3d模型文件中对应模型的几何结构、纹理;所述标注生成模块用于根据模型的几何结构,自动计算得到标注信息并标注到模型中,且生成相应的3d模型;所述纹理渲染模块用于根据预设的纹理和颜色参数,对3d模型进行纹理渲染;所述灯光照射模块用于根据预设光源、光强的参数生成虚拟灯源,通过虚拟灯源对3d模型进行模拟灯光照射操作;所述输出模块用于将处理后的3d模型和标注信息输出为指定的格式。
5、作为优选,所述gltf格式解析模块解析文件的方法,包括以下步骤:
6、用户选择并触发加载gltf格式的3d模型文件,3d模型自动标注与渲染系统调用文件加载器来加载选定的3d模型文件;所述文件加载器检查文件路径和格式,并从指定的位置读取3d模型文件;文件加载器分别读取gltf格式的3d模型文件的json部分和二进制部分;文件加载器将读取的文件内容进行解析,得到模型、材质和光照的数据信息;将数据信息提取出来,并转换成3d模型自动标注与渲染系统内部使用的数据格式。
7、作为优选,文件加载器读取文件的具体步骤包括:优先读取.gltf文件,所述.gltf文件含了场景中所有物体相关的元数据,包括材质、光照、相机参数;文件加载器读取.bin文件,所述.bin文件以二进制流的方式存储模型的顶点坐标、顶点法线坐标、贴图纹理坐标、贴图信息模型基本数据信息;所述.glb文件的所有数据输出为二进制流,文件加载器一次性读取整个.glb文件;
8、文件加载器解析二进制文件的具体步骤包括:所述.bin文件和.glb文件为二进制数据,加载器根据预定的数据结构进行解析,提取出模型的几何数据、纹理、动画数据;
9、文件加载器解析json文件中的元数据,包括场景信息、节点信息、资产信息;所述元数据包括3d模型的结构、材质、光照属性。
10、作为优选,若在文件读取或解析过程中遇到错误,文件加载器捕获错误,并反馈相应的错误提示信息,用户根据错误提示进行相应的处理;反之,文件加载器将加载好的文件进行数据准备。
11、作为优选,所述标注生成模块标注生成3d模型的方法,包括以下步骤:
12、用户选择gltf文件,gltf文件包括单个3d模型或多个3d子模型的复合体;3d模型自动标注与渲染系统指示gltf加载器加载用户选择的文件;gltf加载器解析gltf文件,并将模型数据返回给3d模型自动标注与渲染系统;3d模型自动标注与渲染系统将模型数据发送给几何分析器;几何分析器处理模型数据,提取几何信息,将几何信息发送给边界框生成器;边界框生成器通过计算得到边界框数据;纹理分析器分析纹理图像,计算图像中每种颜色出现的频率,生成颜色直方图,从颜色直方图中提取出现频率最高的颜色,作为标注模型的主要颜色;标注生成器生成标注信息,通过模型生成算法根据质心和边界框的尺寸,使用拟合算法来确定模型的几何信息,标注文件格式化将模型的几何信息、主要颜色编码为标准格式;渲染器渲染带标注的3d模型,其中3d渲染引擎使用图形api通过渲染管线渲染3d模型;光照和材质处理应用phong光照模型,结合纹理和材质属性,对模型进行着色;在标注覆盖在渲染过程中,将计算得到的模型覆盖在对应的3d模型上,使标注的位置和大小与模型匹配;3d模型自动标注与渲染系统将渲染完成的3d模型展示给用户,并提供选项使用户交互、查看细节和导出模型。
13、作为优选,所述gltf加载器使用文件解析算法,具体步骤包括:通过利用json解析器读取gltf文件的结构,提取3d场景、网格、材质、纹理;
14、所述几何分析器使用网格分析和法线计算,具体步骤包括:所述网格分析通过遍历模型的顶点数据,提取每个网格的顶点坐标和索引;所述法线计算利用模型顶点坐标和面的索引数据,通过叉积计算每个面的法向量,再对相邻面的法向量进行平均化以得到顶点法线;
15、所述边界框生成器使用质心算法和轴对齐边界盒算法,具体步骤包括:所述质心算法通过对每个网格计算所有顶点坐标的算术平均值,得到网格的质心;所述轴对齐边界盒算法通过找到网格中所有顶点在每个坐标轴上的最小值和最大值,构建一个轴对齐的边界框,计算该边界框的中心点。
16、作为优选,所述纹理渲染模块进行渲染的方法,包括以下步骤:
17、自动标注环节生成文件,具体步骤包括:
18、使用几何分析和拟合技术,根据目标物体的边界框生成一个3d模型模型;提取模型表面的纹理,并生成纹理图片文件;分析纹理图片文件,提取主要颜色,并生成颜色指标说明文件;模拟不同光源照射下的影响,生成光影照射描述文件;
19、统一标注文件,具体步骤包括:
20、将所有生成的文件整合到一个标注文件中,使用json或xml格式进行解析和处理;所有生成的文件包括3d模型属性、模型、纹理、颜色指标;
21、3d渲染输出图片工具的参数,具体步骤包括:
22、使用blender或three.js渲染3d模型,根据输入参数渲染出不同视角和光照条件下的3d模型;
23、创建映射3d文件,具体步骤包括:
24、在内存中复制模型多次,创建一个映射3d文件,所述文件用于角度变化和切面生成;
25、角度变化和切面算法,具体步骤包括:
26、根据角度变化计算3d模型的旋转;使用计算几何中的切割算法计算平面与多边形的交集,生成模型的截面;将切面图像的断面用纯绿色填充,背景设置为透明;
27、生成样本高清图片,具体步骤包括:
28、在渲染引擎中渲染3d模型后,使用屏幕截图工具捕获当前视图,生成样本高清图片;
29、合并映射图和样本高清图像,具体步骤包括:
30、使用图像处理库将映射图和样本图像叠加在一起,确保模型边框正确对齐到3d模型的边缘;
31、生成标注图片和标注记录,具体步骤包括:
32、在合并图像的同时,记录当前的变换参数,并将这些参数连同标注信息一起保存;
33、完成一张完整的参数变化标注图片和标注记录,具体步骤包括:
34、输出最终的标注图片和标注记录文件;
35、循环生成标注材料,具体步骤包括:
36、循环调整渲染引擎的参数,自动化生成一系列标注图片和记录,使用python脚本进行批量处理。
37、另一方面,本发明还提供一种基于gltf格式的3d模型自动标注与渲染方法,其特征在于,包括如下步骤:
38、使用gltf格式解析模块读取并解析gltf格式的3d模型文件,以提取模型的几何结构和纹理;利用标注生成模块根据模型的几何结构自动计算得到标注信息并标注到模型中;通过纹理渲染模块根据预设的纹理和颜色参数对3d模型进行纹理渲染;应用灯光照射模块根据预设的光源和光强参数对3d模型进行灯光照射,模拟真实光照效果;利用输出模块将处理后的3d模型及其标注信息输出为指定格式。
39、再一方面,本发明还提供一种电子设备,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本发明任一实施例所述的一种基于gltf格式的3d模型自动标注与渲染方法。
40、再一方面,本发明还提供一种计算机可读介质,用于存储一个或者多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如本发明任一实施例所述的一种基于gltf格式的3d模型自动标注与渲染方法。
41、本发明具有如下有益效果:
42、1、本发明能够自动处理gltf格式的3d模型,提高处理效率;
43、2、本发明通过自动生成标注模型,便于用户快速了解模型的尺寸和位置信息;
44、3、采用纹理渲染和灯光照射技术,使模型具有更加逼真的外观和光照效果。
1.一种基于gltf格式的3d模型自动标注与渲染系统,其特征在于,包括:gltf格式解析模块、标注生成模块、纹理渲染模块、灯光照射模块和输出模块;
2.根据权利要求1所述的一种基于gltf格式的3d模型自动标注与渲染系统,其特征在于,所述gltf格式解析模块解析文件的方法,包括以下步骤:
3.根据权利要求2所述的一种基于gltf格式的3d模型自动标注与渲染系统,其特征在于:
4.根据权利要求2所述的一种基于gltf格式的3d模型自动标注与渲染系统,其特征在于:
5.根据权利要求1所述的一种基于gltf格式的3d模型自动标注与渲染系统,其特征在于,所述标注生成模块标注生成3d模型的方法,包括以下步骤:
6.根据权利要求5所述的一种基于gltf格式的3d模型自动标注与渲染系统,其特征在于:
7.根据权利要求1所述的一种基于gltf格式的3d模型自动标注与渲染系统,其特征在于,所述纹理渲染模块进行渲染的方法,包括以下步骤:
8.一种基于gltf格式的3d模型自动标注与渲染方法,其特征在于,包括如下步骤:
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求8所述的一种基于gltf格式的3d模型自动标注与渲染方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求8所述的一种基于gltf格式的3d模型自动标注与渲染方法。