本发明属于半导体集成电路领域,尤其涉及一种数据处理方法及装置。
背景技术:
1、现有的半导体领域中,对于大量存在的数据进行分析时,通常会运用到热力图辅助分析。热力图在绘图操作时,需要处理和渲染庞大的数据集,当数据量很大时(百万级),大数据量可能导致绘图操作变得缓慢,出现卡顿、延迟和响应时间增加等问题;而且某些绘图库或工具对于超大规模的数据集可能无法正常渲染,这可能会导致绘图渲染过程操作中断、显示错误或完全失败。大数据集的可视化本身就是一项挑战,当数据点过多时,可能会导致图形拥挤、重叠或不易辨认等问题,降低了相关数据的可读性和可解释性;此外,大规模数据集的加载可能需要更长的时间,进而在交互性和用户体验等方面产生负面的影响。
2、为解决数据量大带来的性能等各方面的问题,现有技术一般会采用数据预处理方法,例如使用抽样、降采样或聚合等技术减少数据点数量,从而减轻绘图负担;或者使用绘图库或工具,利用它们特定的功能和技术来处理大规模数据集。例如echarts可视化工具,提供了large、largethreshold等接口,在数据量很大时可以解决卡顿问题,但该方法只对路径图、散点图等部分类型的绘图起作用。
3、目前echarts可视化工具的接口也可以绘制热力图,但只能针对小数据量情况下的绘制,而半导体数据量可能都在百万级,在echarts可视化工具中绘制热力图时,就需要进行抽样/降采样等方式抽取部分数据进行显示,但集成电路的数据分析存在对热力图部分区域缩放进行重点分析的需求,echarts可视化工具自带的datazoom功能可以实现图形的局部缩放,但只能实现二维上的区域缩放,即所绘制热力图上显示的数值不会变化,或不能进一步展示更准确/真实的数据,只是对区域进行了缩放,对于热力图中显示的数据如为合并后的数据/抽样的数据,无法显示局部的真实数值,此种形式无法满足半导体领域集成电路数据分析的需求。
技术实现思路
1、本申请提供一种数据处理方法及装置,在数据交互上做了技术改进工作,使其可满足半导体大数据量的热力图分析需求,利用可视化工具结合数据合并的方法绘制预处理后的数据,并通过缩放(框选)操作支持展示更符合真实的数据结果,可以实现数据维度的缩放,并解决了大数据量绘制热力图时产生的卡顿、渲染失败等问题,大幅度提升了绘图效率。本发明的其他目的和优点可以从本发明所揭露的技术特征中得到进一步的了解。
2、为达上述之一或部分或全部目的或其他目的,本发明提供一种数据处理方法及装置。
3、一种数据处理方法,包括:
4、数据合并步骤:获取相关的原始数据并进行数据合并,将所述数据合并结果通过数据接口传递给可视化工具绘制并显示热力图;
5、缩放步骤:响应于在可视化工具和/或热力图上的缩放操作,获取缩放区域的起止标号并判断图形为缩小或放大,通过获取缩放区域的起止标号得到对应的真实坐标区间,并返回数据合并步骤重新绘制热力图。
6、优选地,所述原始数据的信息包括代表数据所处区域的行列编码、数据值、真实坐标。
7、优选地,所述获取相关的原始数据包括:
8、根据所述真实坐标区间获取区间范围内全部的行列编码,根据行列编码获取缩放区域的原始数据和数据量。
9、优选地,所述数据合并的方式为:
10、根据预先设定的允许显示的最大点数,计算所述原始数据的合并步长值,根据所述计算的步长值,在x轴方向和/或y轴方向按照所述计算的步长值对多个数据点进行数据合并。
11、优选地,所述合并步长值的求解公式为:
12、利用函数step=ceil(sqrt(row*col/maxnum))求解需要合并的步长值;
13、其中,ceil为对数值向上取整函数,sqrt为计算数值的平方根,row表示区域行数,col表示区域的列数,maxnum为设置允许显示的最大点数。
14、优选地,缩放区域内原始数据的总数据量小于所述设置允许显示的最大点数时,不再计算所述合并步长值。
15、优选地,所述缩放步骤还包括:
16、定义三个数组vector_id、vector_label和vector_start分别用来存储缩放区域的起止标号、真实坐标区间和重新绘制热力图的起点标号;
17、将缩放区域的所述起止标号与所述数组vector_id内存储的上一次绘制区域起止标号对比判断是否相等,如判断相等则删除三个所述数组的末位元素,否则将缩放区域的相关信息存入相应的所述数组中,最终获取所述数组vector_label的末位元素的真实坐标区间并返回数据合并步骤。
18、优选地,所述缩放步骤还包括:
19、当判断图形为放大操作,所述重新绘制热力图的起点标号由当前所选区域的起点标号增值更新或加权处理得到。
20、优选地,所述缩放步骤中所述起止标号通过监测所述可视化工具中数据缩放组件的回调函数获取,所述真实坐标区间通过所述起止标号获取。
21、优选地,所述可视化工具将记录每次放大操作对应的缩放区域的起止标号,所述回调函数将由缩放操作响应触发,所述回调函数将基于放大操作、缩小操作对应提供框选区域或上一次绘制区域的起止标号。
22、优选地,所述数据合并步骤中绘制过程将按照所述数组vector_start内存储的起点标号位置开始绘制,并将所述起点标号位置设置为所述可视化工具显示区域的起点。
23、一种数据处理装置,使用上述数据处理方法的步骤。
24、与现有技术相比,本发明的有益效果主要包括:
25、1.本发明定义三个数组vector_id、vector_label和vector_start分别用来存储缩放区域的起止标号、真实坐标区间和重新绘制热力图的起点标号,当进行缩放操作时,监测datazoom的回调函数获取缩放区域的标号,将缩放区域的起止标号与数组vector_id内存储的上一次绘制区域的起止标号(即数组vector_id内倒数第二位起止标号)对比判断是否相等,根据判断结果可知图形为缩小或放大,并通过每次重新绘制的热力图的起点标号不同,即使多次框选相同位置仍可通过标号的不同区分是放大操作还是缩小操作。
26、2.当进行缩放操作后,可通过获取数组vector_label末位元素的值,对应可获得框选区域的真实坐标即可得框选区域对应的原始数据,完成数据维度的数据重新选择,重新绘制的热力图也会重新根据数据量确定是否合并数据,并因为显示区域变大和显示数据的进一步细化,可进一步展示更准确/真实的数据,可以实现数据维度的缩放,并解决了大数据量绘制热力图时产生的卡顿、渲染失败等问题,大幅度提升了绘图效率。
27、为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举优选实施例,并配合附图,作详细说明如下。
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的一种数据处理方法,其特征在于,所述放大步骤还包括:
3.根据权利要求2所述的一种数据处理方法,其特征在于,所述放大步骤具体过程为,
4.根据权利要求3所述的一种数据处理方法,其特征在于,所述框选区域的起止标号通过监测所述可视化工具的回调函数获取。
5.根据权利要求4所述的一种数据处理方法,其特征在于,所述可视化工具的回调函数响应于在可视化工具和/或热力图上进行的框选操作。
6.根据权利要求3所述的一种数据处理方法,其特征在于,返回数据合并步骤重新绘制热力图时,根据所述数组vector_start内存储的起点标号位置开始绘制,且所述起点标号位置为所述可视化工具显示区域的起点。
7.根据权利要求1所述的一种数据处理方法,其特征在于,所述原始数据的信息包括代表数据所处区域的行列编码、数据值、真实坐标。
8.根据权利要求7所述的一种数据处理方法,其特征在于,获取相关原始数据具体包括:
9.根据权利要求8所述的一种数据处理方法,其特征在于,所述数据合并的方式为:
10.根据权利要求9所述的一种数据处理方法,其特征在于,所述合并步长值的求解公式为:
11.根据权利要求9所述的一种数据处理方法,其特征在于,所述框选区域内原始数据的总数据量小于设置允许显示的最大点数时,不再计算所述合并步长值。
12.一种数据处理装置,其特征在于,所述装置使用权利要求1-11中任一项所述数据处理方法的步骤。
