1.本技术涉及计算机技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术:2.目前在三维成像场景中,主要基于双目相机、结果光法和飞行时间法来实现。以飞行时间法中的间接时间飞行法(itof法)为例,itof法是通过测量经过调制的发射光与接收光之间的相位关系,确定与待测目标之间距离的方法,其广泛应用在三维深度视觉相关的手势识别、人脸识别、三维建模、体感游戏、机器视觉、辅助对焦、安防、自动驾驶等相关应用场景下。
技术实现要素:3.本技术实施例提供了一种图像处理方法、装置、存储介质及电子设备,所述技术方案如下:
4.第一方面,本技术实施例提供了一种图像处理方法,所述方法包括:
5.获取反射强度图,确定所述反射强度图中的至少一个光斑;
6.获取所述光斑中光斑像素点对应的像素特征参数;
7.基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。
8.第二方面,本技术实施例提供了一种图像处理装置,所述装置包括:
9.光斑确定模块,用于获取反射强度图,确定所述反射强度图中的至少一个光斑;
10.参数获取模块,用于获取所述光斑中光斑像素点对应的像素特征参数;
11.干扰确定模块,用于基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。
12.第三方面,本技术实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
13.第四方面,本技术实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
14.本技术一些实施例提供的技术方案带来的有益效果至少包括:
15.在本技术一个或多个实施例中,通过获取反射强度图,确定反射强度图中的至少一个光斑,然后获取所述光斑中光斑像素点对应的像素特征参数,基于像素特征参数在干扰光斑与有效光斑上像素特征参数的差异,可以从至少一个光斑中准确确定干扰光斑,可以辅助消除由于多个光斑的边缘信号叠加造成的光斑干扰;整个图像干扰处理过程减轻了对诸如设备硬件、复杂算法的依赖,实现了准确识别光斑干扰,能够辅助输出高精度的深度测量结果,提升了深度测量场景下的鲁棒性。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1是本技术实施例提供的一种图像处理方法的流程示意图;
18.图2是本技术实施例提供的图像处理方法涉及的一种反射强度图中部分区域的示意图;
19.图3是本技术实施例提供的图像处理方法涉及的一种涉及光斑干扰点的场景局部示意图;
20.图4是本技术实施例提供的另一种图像处理方法的流程示意图;
21.图5是本技术实施例提供的另一种图像处理方法的流程示意图;
22.图6是本技术实施例提供的一种光斑的场景示意图;
23.图7是本技术实施例提供的一种涉及干扰光斑的场景示意图;
24.图8是本技术实施例提供的一种图像处理装置的结构示意图;
25.图9是本技术实施例提供的一种干扰确定模块的结构示意图;
26.图10是本技术实施例提供的另一种图像处理装置的结构示意图;
27.图11是本技术实施例提供的一种干扰验证模块的结构示意图;
28.图12是本技术实施例提供的一种电子设备的结构示意图;
29.图13是本技术实施例提供的操作系统和用户空间的结构示意图;
30.图14是图13中安卓操作系统的架构图;
31.图15是图13中ios操作系统的架构图。
具体实施方式
32.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
33.在本技术的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本技术的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本技术中的具体含义。此外,在本技术的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
34.下面结合具体的实施例对本技术进行详细说明。
35.在一个实施例中,如图1所示,特提出了一种图像处理方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的图像处理装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。所述图像处理装置可以为终端,包括但不限于:个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、5g网络或未来演进网络中的终端设备等。
36.具体的,该图像处理方法包括:
37.s101:获取反射强度图,确定所述反射强度图中的至少一个光斑;
38.所述反射强度图基于终端所搭载的tof相机得到,tof相机是使用飞行时间法3d成像的相机;终端通过tof相机发出经调制的光束,遇到物体后反射,终端可以通过诸如tof相机的感光元件(sensor)接收经物体反射后的反射光信号,生成反射强度图。反射强度图可以用于反馈至少一个像素点对应的像素点强度,至少一个像素点对应接收的光能量正比于反射强度图中像素点的像素强度,也即像素点对应接收的光能量越强,该像素点的像素强度也越高。在实际应用场景中,终端通过tof相机进行场景成像,可以得到当前场景下的深度图(目标场景深度距离图,也称depth图)和反射强度图。
39.可以理解的,tof相机基于飞行时间法3d成像,飞行时间法根据获取的信号结果的不同,可以分为直接飞行时间法(dtof)和间接飞行时间法(itof),直接飞行时间法获取的信号结果是时间差,间接飞行时间法获取的信号结果是相位差;
40.可以理解的,tof相机可以理解为集成在终端中的tof模组,tof模组通常包括光接收端(rx)和光发射端(tx);
41.示意性的,光接收端通常包括镜头、窄带滤光片(例如940nm窄带滤光片)、tof传感器等,光发射端通常包括垂直腔面发射激光器(vertical-cavity surface-emitting laser,vcsel)阵列、准直镜头、光学衍射元件(diffractive optical elements,doe)等,doe可以是扩散器diffuser。vcsel阵列中的vcsel均匀排列在一个平面上,用于发射具有二维规则图案的光束;准直镜头用于接收并汇聚光束,保证光束具有平行光路;doe用于对经准直镜头处理后的光束进行散射,并按照一定视场角投射到所处场景的物体上,投射到物体上反射后被光接收端接收之后所形成的亮斑即为散斑。例如,vcsel阵列通常包括至少两个vcsel,且上述至少两个vcsel均匀排列,在使用均匀排列的vcsel发出光束时,可以得到规则均匀的散斑。
42.在实际应用中,通常将光发射端(rx)每个pixel(像素)接收到的光强度值表征该像素(点)解算生成深度值的置信度,即confidence。而反射强度图可以理解为用于反馈每个pixel(像素)接收到的光强度值,在一些实施例中,反射强度图也可称之为置信度图(confidence图),置信度图中的每个像素点的参数值以接收到信号光的强度来表征,进而作为该点目标距离测量值的置信度。
43.可选的,终端所搭载的tof相机可以是支持散斑itof模式的器件,也即可作为散斑itof相机,终端通过tof相机在散斑itof模式下由光发射端(tx)发射的调制红外光是若干束一束一束的光束,经场景目标物体反射后,rx端上接收到的是若干光斑,即深度图上被光斑照亮的区域才会存在有效的深度值,剩余区域都是无效值,若剩余这些区域出现了有效
的深度值,则这区域出现的深度值像素点为干扰点,可以进行相应去除处理。在本技术中,可以通过执行所述图像处理方法,基于反射强度图准确识别出光斑干扰。
44.可以理解的,经场景目标物体反射后,rx端上接收到的若干光斑实则是若干散斑,通常至少一个散斑会覆盖若干像素点,但每个散斑在深度图像、测距等应用场景中只对应生成一个有效深度值。
45.在一种可行的实施方式中,终端在获取到反射强度图之后,可以基于反射强度图中至少一个像素点的强度分布信息来确定至少一个光斑。
46.示意性的,通常反射强度图中光斑形态是呈现二维高斯形态,也即光斑中心强度高,光斑四周逐渐变弱;也就是说,可以基于反射强度图中的光斑形态可以识别出至少一个光斑。
47.s102:获取所述光斑中光斑像素点对应的像素特征参数;
48.示意性的,在反射强度图中至少一个光斑所处的区域可以覆盖到多个光斑像素点。如图2所示,图2是一种反射强度图中部分区域的示意图,在图2中,虚线圆形框可视作一个光斑,该虚线圆形框对应的光斑呈现二维高斯形态,也即光斑中心强度高,光斑四周逐渐变弱。图2中每个像素格可以视作一个像素点,虚线圆形框所覆盖的区域通常包含多个像素点,这些像素点也即光斑像素点。所述像素特征参数可以是光斑像素点的像素强度参数、像素位置参数等。像素特征参数基于反射强度图可以直接获取到。
49.s103:基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。
50.可以理解的,由于反射回来的光束会产生发散(也即在反射强度图中一个光斑所覆盖多个像素点),在反射强度图中通常光斑的光斑形态是呈现二维高斯形态,中心光能量最强,也即图2中所示的光斑图像。而干扰光斑是由于至少两个光斑的发散边缘信号相互叠加产生,例如,若多个光斑距离较近,这些多个光斑的发散边缘信号会相互叠加,在这几个光斑之间形成一个“伪光斑”,这个“伪光斑”也符合二维高斯形态,但是接收到光能量远小于理论设计值,在后续应用场景中信噪比较差,实际应用场景中这些“伪光斑”由于也能生成一个大致的深度值会被误识别为一个光斑,但由于大多精度很差会对后端应用造成干扰,即为干扰点。
51.示意性的,例如由于镜头畸变、光信号发散等客观因素的存在,当至少两个光斑之间的间距较近时(如两两光斑之间的间距约为光斑中心区域间距的2倍)时,相互影响的光斑之间会出现一个“伪光斑”也即光斑干扰点,例如,如图3所示,图3是一种涉及光斑干扰点的场景局部示意图,在某实际应用场景下场景的某物体表面上实际对应有4个光斑,生成的4个光斑的光斑强度都很接近(在深度图(depth图)或反射强度图中的数值相当),后端诸如虚拟现实、测距等应用场景会认为这4个光斑对应的区域表面是个平面,但这4个光斑之间由于信号发散(可以理解为由于出厂阶段硬件设计等原因,导致至少一个光斑可能在反射强度图中一个光斑实际覆盖多个像素点的情况)且至少两两光斑之间的边缘信号存在信号叠加现象,也就是说由于信号叠加现象会存在一个干扰光斑,如图3所示,图3所示的中间光斑实际为一个由于多个光斑之间边缘信号叠加产生的干扰光斑,通常将干扰光斑所覆盖区域中像素强度高的像素点可作为干扰光斑点,可以理解的,由于干扰光斑与实际光斑的参数相差较大(例如在深度图中的深度值、反射强度图中的像素强度值),后端应用场景下可能会将这5个点的表面拟合为一个曲面,造成严重的错误。可以基于此干扰光斑点对诸如深
度图中对应位置的深度像素点的消除,以减小光斑干扰。
52.可以理解的,通过基于所述像素特征参数,对至少一个光斑进行干扰光斑检测,以检测出实际光斑与由于多个实际光斑的边缘光信号叠加产生的干扰光斑之间像素点所对应的像素特征参数(如像素强度参数、像素位置参数)的差异,基于此终端可以从至少一个光斑中确定干扰光斑;例如可以基于像素强度参数,对至少一个光斑进行干扰光斑强度检测,终端可以从至少一个光斑中确定干扰光斑;例如可以基于像素位置参数,对至少一个光斑进行干扰光斑强度检测,终端可以从至少一个光斑中确定干扰光斑;在实际应用场景中,终端通常可以从至少一个光斑中确定一个干扰光斑,基于实际应用场景将干扰光斑所覆盖的至少一个像素点作为干扰光斑。
53.在本技术涉及的一个或多个实施例中,通过获取反射强度图,确定反射强度图中的至少一个光斑,然后获取所述光斑中光斑像素点对应的像素特征参数,基于像素特征参数在干扰光斑与有效光斑上像素特征参数的差异,可以从至少一个光斑中准确确定干扰光斑,可以辅助消除由于多个光斑的边缘信号叠加造成的光斑干扰;整个图像干扰处理过程减轻了对设备硬件、复杂算法的依赖,实现了准确识别光斑干扰,能够辅助输出高精度的深度测量结果,提升了深度测量场景下的鲁棒性。
54.请参见图4,图4是本技术提出的一种图像处理方法的另一种实施例的流程示意图。具体的:
55.s201:获取反射强度图,确定所述反射强度图中的至少一个光斑;
56.具体可参见本技术涉及一个或多个实施例的方法步骤,此处不再赘述。
57.s202:获取所述光斑对应的光斑数量;若所述光斑数量大于数量阈值,则对相机曝光时间进行调整。
58.根据一些实施例中,终端在获取到反射强度图之后,可以基于反射强度图中至少一个像素点的强度分布信息来确定至少一个光斑。
59.示意性的,通常反射强度图中光斑形态是呈现二维高斯形态,也即光斑中心强度高,光斑四周逐渐变弱;也就是说,可以基于反射强度图中的光斑形态可以识别出至少一个光斑,然后对所有光斑的数量进行计算,可以得到光斑对应的光斑数量,也即反射强度图中光斑的光斑数量。可以理解的,所统计的光斑数量可能会存在干扰光斑。
60.在本技术说明书中,数量阈值是用于衡量干扰光斑数量所产生影响设置的门限值。若检测出的光斑数量大于数量阈值,则可认为干扰光斑数量巨大,且这些干扰光斑能量通常也较大,在深度图中干扰光斑对应的干扰光斑点的深度值也较高。
61.可以理解的,在实际应用场景中,终端所搭载的tof相机可以是支持散斑itof模式的器件,如散斑itof相机;终端所搭载的tof相机在设备出厂阶段,通常已经根据使用实际场景(目标探测距离、探测精度、目标物体反射率、是否在户外使用等)进行软硬件定制且软硬件调校完成,包括sensor选型,光源设计(包括光源光功率、发光点排布)、镜头设计等软硬件方面。在出厂之后的终端使用阶段,终端基于某散斑itof模式下进行工作,某散斑itof模式下光接收端理论接收的光斑理论数量、光斑覆盖区域理论像素点数量等已经确定。例如,散斑itof相机在实际应用阶段之后,视场内理论会有多少个光斑,每个光斑理论会覆盖几个像素点,光斑对应理论的数量阈值通常已经设置完成,终端可以随之获取到。可选的,针对光斑的数量阈值通常大于理论光斑数量(也即实际光斑数量)。
62.在一种具体的实施场景中,若检测出的光斑数量大于数量阈值,则可认为干扰光斑数量巨大,且这些干扰光斑能量通常也较大,在深度图中干扰光斑对应的干扰光斑点的深度值也较高。此时一种可能的场景是终端整个tof相机视场都是近距离的目标物体,即使是深度图或反射强度图中原本非光斑的区域,也能接收到由于近距离目标物体的光信号的散射光,且彼此之间产生的干扰光斑或干扰光斑点的数量较多、能量以及强度均较高。终端可以对相机曝光时间进行调整。在终端中通常会存在相机模块,如自动曝光(auto focus,ae)算法模块,终端可以基于反射强度图反馈的光斑数量情况向ae(auto focus自动曝光)算法模块发送指示信号,辅助ae(auto focus自动曝光)算法模块的过曝判断流程,在判断过曝时降低曝光时间,以保证近距离目标物体深度距离的测量。从而实现基于反射强度图中光斑数量实现一种光斑数量作为过曝判决条件,优化自动曝光流程,进一步增加了终端诸如itof相机的实用性。
63.可选的,终端执行对相机曝光时间进行调整之后,可以执行所述获取反射强度图,确定所述反射强度图中的至少一个光斑的步骤,也即完成对相机曝光时间之后,再重新获取反射强度图,以实现干扰优化,优化实际应用场景下的优化效果。
64.s203:获取所述光斑中光斑像素点对应的像素特征参数;
65.具体可参见本技术涉及一个或多个实施例的方法步骤,此处不再赘述。
66.s204:确定针对反射强度图的至少一种光斑干扰检测方式。
67.在一种具体的实施场景中,可以获取当前的应用场景,不同的应用场景对应不同的光斑干扰检测方式组合(组合中包含至少一种光斑干扰检测方式),在不同的应用场景下对于测量精度、干扰适应性等需求不同,预先可以基于不同的参考应用场景设置不同的参考光斑干扰检测方式组合,也即建立至少一个参考应用场景与其对应参考光斑干扰检测方式组合的干扰检测组合映射关系,实际应用中,在确定当前的应用场景之后,可以基于前述干扰检测组合映射关系,确定当前的应用场景下的光斑干扰检测方式组合,以基于光斑干扰检测方式组合确定针对反射强度图的至少一种光斑干扰检测方式。
68.示意性的,干扰检测组合映射关系可以是以映射组合、映射列表、映射数组等形式进行表征,此处不作具体限定。
69.示意性的,不同的参考应用场景可以是终端涉及的远距离深度测量、虚拟现实应用、视觉环境重建、虚拟现实游戏、平面检测等类型下的应用场景。
70.可选的,所述光斑干扰检测方式包括但不限于像素点强度检测方式、能量比例检测方式、像素点均值检测方式、能量总强度检测方式、光斑位置检测方式等检测方式中的一种或多种的拟合。
71.可选的,在确定当前应用场景下的光斑干扰检测方式为至少两个的情况下,至少一个光斑干扰检测方式之间的检测时序不作限制,至少一个光斑干扰检测方式可以同步执行也可以异步执行。
72.可选的,在确定当前应用场景下的光斑干扰检测方式为至少一种的情况下,基于每一种光斑干扰检测方式可得到相应的干扰光斑,干扰光斑或干扰光斑对应的干扰光斑点是否去除可结合实际场景下所设置的干扰光斑去除策略进行去除。例如,可以结合多种光斑干扰检测方式得到多个干扰光斑(如第一干扰光斑、第二干扰光斑、第三干扰光斑、第四干扰光斑、第五干扰光斑等),可以对这些干扰光斑取交集,例如基于实际应用场景下设置
的干扰光斑去除策略,某一光斑同时被检测为属于“第一干扰光斑、第二干扰光斑、第三干扰光斑、第四干扰光斑、第五干扰光斑”,则将该某一光斑去除。
73.s205:基于所述像素特征参数采用所述光斑干扰检测方式对至少一个所述光斑进行光斑干扰检测处理,得到干扰光斑。
74.在一种可行的实施方式中,光斑干扰检测方式可以是像素点强度检测方式,通过对光斑像素点的像素点强度进行检测,以从识别出的多个光斑中区分出干扰光斑。在实际应用场景中,例如通过散斑itof相机的光接收端来得到当前视场下的反射强度图,其中,反射强度图中所有实际光斑覆盖像素点数量占整个反射强度图中像素点数量的比例通常比较小,例如大约在百分之几到百分之十几。在实际光斑未覆盖到的区域,反射强度图或深度图中像素点的值或者说像素强度值(也即confidence值)并不是0,这是由于环境光、电路、暗电路等噪声的存在导致的。但这些实际光斑未覆盖到的区域像素强度值(也即confidence值)通常很低(即使存在干扰光斑的情况下通常干扰光斑像素强度值要远低于实际光斑的像素强度值),在一些场景下,干扰光斑或边缘区域比实际光斑信号光的像素强度值(也即confidence值)低一个到几个数量级。基于此,可对反射强度图中识别出的所有光斑所覆盖的光斑像素点对应的光斑强度参数进行检测,以此了从识别出的光斑中确定干扰光斑,也即确定干扰光斑点。
75.可以理解的,终端确定光斑干扰检测方式之后,若所述光斑干扰检测方式为像素点强度检测方式,则终端可以基于像素强度参数对至少一个光斑进行像素点强度检测处理,以此得到第一干扰光斑;所述第一干扰光斑也即通过像素点强度检测方式检测出的干扰光斑。
76.可选的,像素点强度检测方式具体可以是绘制强度统计图,如表征像素点强度的强度直方图,强度直方图可以用于表征所有光斑所覆盖的光斑像素点的像素强度情况,例如可以反馈相同像素强度值的光斑像素点,例如可以反馈各光斑像素点的强度优先级。
77.可以理解的,在出厂之后的终端使用阶段,终端基于某散斑itof模式下进行工作,某散斑itof模式下光接收端理论接收的光斑理论数量、光斑覆盖区域理论像素点数量等已经确定。例如,散斑itof相机在实际应用阶段之后,视场内理论会有多少个光斑,光斑理论会覆盖几个像素点;进一步,由于预先理论光斑像素点(不含干扰点)的目标光斑点数量可确定,或,理论光斑像素点(不含干扰点)的目标光斑点占比(理论光斑像素点与图总像素点的比例)可确定。基于此,像素点强度检测时仅需从所有光斑像素点中确定目标光斑点占比或目标光斑点数量指示的参考光斑点(一些实施例可称之为第一光斑点获第二光斑点),将参考光斑点对应的光斑强度参数作为阈值进行干扰点筛选即可。
78.在一种可行的实施方式中,光斑干扰检测方式可以是能量比例检测方式,通过对光斑所包含像素点的能量比例进行检测,以从识别出的多个光斑中区分出干扰光斑。示意性的,能量比例检测方式可以遍历至少一个光斑,计算光斑中心像素点像素强度参数(也即confidence值)与光斑除光斑中心点之外该光斑的其他像素点confidence值的能量比例,通常实际光斑的信号光能量集中,其能量比例会大于干扰光斑。
79.可以理解的,终端确定光斑干扰检测方式之后,若所述光斑干扰检测方式为能量比例检测方式,则终端可以基于所述像素强度参数对至少一个光斑进行能量比例检测处理,以此得到第二干扰光斑;所述第二干扰光斑也即通过能量比例检测方式检测出的干扰
光斑。示意性的,通常可以是对相邻的两两光斑计算能量比例,然后比较两两光斑的能量比例,通常若某光斑为干扰光斑,实际光斑的能量比例要远大于邻近的干扰光斑。
80.在一种可行的实施方式中,光斑干扰检测方式可以是像素点均值检测方式,像素点均值检测方式可以是检测“某一光斑覆盖到反射强度图中所有像素点像素强度参数(如confidence值)之和”与“该光斑一定邻域范围内所有像素点像素强度参数(如confidence值)之和”的比值,以将该比值作为像素点均值;
81.可选的,像素点均值检测方式可以是“光斑像素强度参数(如confidence值)之和除以覆盖到像素点数的平均值”与“该光斑一定邻域范围内所有像素点的光斑像素强度参数(如confidence值)除以覆盖到像素点数的平均值”的比值,以将该比值作为像素点均值;通常比值越小,该光斑为干扰光斑的可能性越大
82.可以理解的,终端确定光斑干扰检测方式之后,若所述光斑干扰检测方式为像素点均值检测方式,则终端基于所述像素强度参数对至少一个光斑进行像素点均值检测处理,以此从多个光斑中得到第三干扰光斑;例如像素点均值检测处理之后得到光斑的像素点均值,然后将像素点均值与均值阈值进行比较,以此从多个光斑中确定干扰光斑,也即确定干扰光斑点。
83.在一种可行的实施方式中,光斑干扰检测方式可以是能量总强度检测方式,通常在反射强度图对应的至少一个小范围区域内,在该小范围区域理论光斑的数量预先可设置,且该小范围区域内多个实际光斑(不含干扰光斑)彼此总能量应相当,如该小范围区域对应视觉场景中的目标对象的某一个二维平面,而产生的干扰光斑的总能量要远小于该小范围区域内实际光斑。示意性的,可不确定某个小范围区域,通常反射能量图中光斑数量较多,一个光斑通常处理之后仅对应诸如深度图中的一个像素点的参数值,也就是说可以设置任取n(n通常是一个较小值)个相邻光斑进行比较。
84.可以理解的,终端确定光斑干扰检测方式之后,若所述光斑干扰检测方式为能量总强度检测方式,则终端基于所述像素强度参数对至少一个光斑进行能量总强度检测处理,得到第四干扰光斑;例如能量总强度检测处理之后得到多个光斑的能量总强度,然后将至少一个光斑的能量总强度进行比较,当某一光斑的能量总强度较小时,较小能量总强度指示的光斑可作为干扰光斑,也即可将可将干扰光斑所覆盖的所有像素点中的至少其一确定为干扰光斑点,例如将干扰光斑所覆盖的最大像素强度参数指示的像素点作为干扰光斑点。
85.在一种可行的实施方式中,光斑干扰检测方式可以是光斑位置检测方式,也可理解为固定位置检测,根据一些实施例中,散斑itof相机在出厂阶段,光斑在光接收端得到的反射强度图上的位置通常比较固定,但可能会由于远近距离视差、信发散等客观原因发生几个像素的偏移,基于此,可以在出厂阶段设置光斑的位置范围,将至少一个光斑的位置范围记录下来,若光斑出现在这些位置以外,大概率为干扰光斑。
86.可以理解的,终端确定光斑干扰检测方式之后,若所述光斑干扰检测方式为光斑位置检测方式,则终端可以基于像素位置参数对至少一个光斑进行光斑位置检测处理,得到第五干扰光斑。例如光斑位置检测处理时得到多个光斑的光斑位置,将该光斑的光斑位置与其对应的位置范围进行匹配,以此可以从多个光斑中确定干扰光斑。
87.在一些实施例,终端在确定干扰光斑之后,对干扰光斑进行干扰消除处理。示意性
的,终端基于反射强度图中的confidence信息确定干扰光斑后,可以在反射强度图中去除干扰光斑所包含的至少一个像素点,如对整个干扰光斑进行去除。示意性的,终端确定干扰光斑后,可以基于干扰光斑的位置确定该干扰光斑在深度图中的干扰位置,以对深度图进行干扰光斑消除。
88.在一种可行的实施场景中,在确定干扰光斑之后,还可以结合诸如rgb等彩色图像和深度图像对干扰光斑进行干扰验证,以确定该干扰光斑是否为正确的干扰点。
89.可以理解的,终端可以获取彩色图像和深度图像,所述反射强度图、所述深度图像和所述彩色图像为针对同一目标对象的不同类图像;也就是说,终端在针对当前场景中的目标对象进行成像时,终端可以同时拍摄针对同一目标对象的反射强度图、所述深度图和所述彩色图像,彩色图像通常可以是rgb图像。在确定干扰光斑之后,然后获取拍摄的彩色图像。
90.可以理解的,终端可以确定干扰光斑在深度图像中的第一位置,以及可以确定所述干扰光斑对应的至少一个邻近光斑在所述深度图像中的第二位置;基于所述第一位置以及所述第二位置,得到针对所述干扰光斑的深度像素验证结果。
91.可以理解的,终端再确定所述干扰光斑在所述彩色图像中的第三位置,以及确定所述干扰光斑对应的至少一个邻近光斑在所述彩色图像中的第四位置;基于所述第三位置以及所述第四位置,得到针对所述干扰光斑的彩色像素验证结果;
92.示意性的,在反射强度图中,至少一个光斑通常会覆盖多个光斑像素点,而在深度图像以及彩色图像通常仅对应一个像素点;
93.示意性的,一个光斑可能覆盖多个像素点,但该光斑只在光斑某个像素位置(如光斑重心像素点)解算生成一个深度值,该深度值在深度图像中表征该光斑所处邻近小区域的深度距离值;例如:可以是在原始图像(raw图像,tof相机输出的原始图像)中结合光斑所覆盖所有像素点的原始信息,取光斑的重心位置对应的光斑重心像素点来生成一个有效深度值,有效深度值会基于光斑覆盖所有像素点的原始信息来计算一个深度值。
94.示意性的,通常在确定干扰光斑之后即可确定其在深度图像中的位置,也即第一位置,也即取干扰光斑对应有效深度值的位置作为第一位置(通常为干扰光斑的最大像素强度指示的像素点对应深度图像中的位置)。
95.进一步的,深度图像通常由设备的tof相机拍摄得到,彩色图像诸如rgb图像通常由设备的rgb相机拍摄得到,通过对rgb相机和tof相机的标定,可以确定深度图像和彩色图像之间的坐标变换关系(可以是以图像坐标变换式的形式存在),终端确定干扰光斑之后,获取干扰光斑在深度图像中对应的干扰光斑点,将该干扰光斑点在深度图像中的位置作为第一位置;然后基于前述深度图像中第一位置根据坐标变换关系确定干扰光斑在彩色图像中的第三位置;同理,获取干扰光斑对应的至少一个邻近光斑,然后可以参照前述方式,获取至少一个邻近光斑在深度图像中对应的邻近光斑点,将该邻近光斑点在深度图像中的位置作为第二位置;然后基于第二位置根据坐标变换关系确定邻近光斑在彩色图像中的第四位置;可以理解的,在干扰光斑对应的邻近光斑的数量为多个的情况下,则按照前述方式获取至少一个邻近光斑在深度图像中的第二位置以及在彩色图像中的第四位置。
96.可选的,至少一个邻近光斑与干扰光斑的位置关系为相邻关系,邻近光斑的数量可以是预设个数。可以在深度图像中获取邻近光斑对应的邻近像素点所处的第二位置,基
于邻近像素点的第二位置根据图像坐标系变换关系确定邻近光斑在彩色图像中的第四位置;
97.在实际应用中:诸如rgb图像等彩色图像的分辨率较高,且可以提供彩色信息;深度图像可以提供深度信息。如果前述步骤判断为干扰光斑,可以对干扰光斑进行干扰验证。具体实施中:可以在深度图像中找到干扰光斑对应干扰光斑点所处的第一位置,以及在深度图像中找到邻近光斑对应邻近光斑点所处的第二位置,然后在rgb图像上找到干扰光斑对应干扰光斑点所处的第三位置以及该干扰光斑对应的邻近光斑在rgb图像的邻近光斑点所处的第四位置;
98.示意性的,干扰光斑点在第一位置处指示的深度值与其他邻近光斑点在第二位置处指示的深度值相差较大,如“第一位置的深度值”和“第二位置的深度值”之间的深度差值大于某一深度差值阈值,而rgb图像给出的彩色信息中,干扰光斑在rgb图像中“干扰光斑点与邻近光斑点”这几个点对应的颜色信息相近,如“第三位置的彩色像素值(如rgb值)”和“第三位置的彩色像素值(如rgb值)”之间的彩色像素差值(如rgb差值)小于某一彩色差值阈值(如针对rgb值设置的门限值或临界值);说明这几个点有可能是同一物体表面,则干扰光斑判断正确的可能性较大;反之,干扰光斑对应的干扰光斑点可能来自于远距离或者其他低反射率目标或者光滑镜面反射的目标,即有可能该干扰光斑不是属于干扰光斑类型而有可能属于有效光斑类型。
99.具体实施中,基于所述第一位置以及所述第二位置,得到针对所述干扰光斑的深度像素验证结果可以是:获取第一位置对应的第一深度值以及获取第二位置对应的第二深度值,计算第一深度值与第二深度值的深度值差值,若深度值差值大于深度阈值,深度像素验证结果为第一结果,如true,反之为第二结果如,false;
100.进一步的,基于所述第三位置以及所述第四位置,得到针对所述干扰光斑的彩色像素验证结果,可以是:获取第三位置对应的第一彩色值(如rgb值)以及获取第四位置对应的第二彩色值,计算第一彩色值与第二彩色值的彩色值差值,若彩色值差值小于彩色阈值,则通常干扰光斑点与邻近光斑点的颜色信息相近,彩色像素验证结果为第一结果,如true;反之,彩色像素验证结果为为第二结果,如false;
101.然后结合深度像素验证结果和彩色像素验证结果,确定针对干扰光斑的干扰验证结果。示意性的,若深度像素验证结果和彩色像素验证结果均为第一结果,如true,则针对所述干扰光斑的干扰验证结果为:干扰验证通过,反之,则针对所述干扰光斑的干扰验证结果为:干扰验证不通过。
102.在本技术实施例中,通过获取反射强度图,确定反射强度图中的至少一个光斑,然后获取所述光斑中光斑像素点对应的像素特征参数,基于像素特征参数在干扰光斑与有效光斑上像素特征参数的差异,可以从至少一个光斑中准确确定干扰光斑,可以辅助消除由于多个光斑的边缘信号叠加造成的光斑干扰;整个图像干扰处理过程减轻了对设备硬件、复杂算法的依赖,实现了准确识别光斑干扰,能够辅助输出高精度的深度测量结果,提升了深度测量场景下的鲁棒性;以及,可以结合深度图和彩色图进行干扰光斑的验证,进一步提升了干扰光斑识别的准确性;结合不同的检测方式或基于实际应用场景确定的不同时序的检测方式,优化了干扰光斑的检测流程。
103.请参见图5,图5是本技术提出的一种图像处理方法的另一种实施例的流程示意
图。具体的:
104.s301:获取反射强度图,确定所述反射强度图中的至少一个光斑,获取所述光斑中光斑像素点对应的像素特征参数;
105.s302:确定针对反射强度图的至少一种光斑干扰检测方式。
106.具体可参见本技术涉及一个或多个实施例的方法步骤,此处不再赘述。
107.s303:若所述光斑干扰检测方式为像素点强度检测方式,则基于所述像素强度参数确定所述光斑像素点对应的第一强度优先级,以及获取针对反射强度图的目标光斑点占比;
108.根据一些实施例中,光斑干扰检测方式可以是像素点强度检测方式,通过对光斑像素点的像素点强度进行检测,以从识别出的多个光斑中区分出干扰光斑。在实际应用场景中,例如通过散斑itof相机的光接收端来得到当前视场下的反射强度图,其中,反射强度图中所有实际光斑覆盖像素点数量占整个反射强度图中像素点数量的比例通常比较小,例如大约在百分之几到百分之十几。在实际光斑未覆盖到的区域,反射强度图或深度图中像素点的值或者说像素强度值(也即confidence值)并不是0,这是由于环境光、电路、暗电路等噪声的存在导致的。但这些实际光斑(也可以理解为除干扰光斑之外的有效光斑)未覆盖到的区域像素强度值(也即未覆盖到的区域中像素点的confidence值)通常很低(即使存在干扰光斑的情况下通常干扰光斑中像素点强度值要远低于实际光斑中像素点强度值),在一些场景下,干扰光斑或边缘区域比实际光斑信号光的像素强度值(也即confidence值)低一个到几个数量级。基于此,可对反射强度图中识别出的所有光斑所覆盖的光斑像素点对应的光斑强度参数(如光斑像素点对应的confidence值)进行检测,以此从识别出的多个光斑中确定干扰光斑,也即确定干扰光斑点。
109.可以理解的,终端确定光斑干扰检测方式之后,若所述光斑干扰检测方式为像素点强度检测方式,则终端可以基于像素强度参数对至少一个光斑进行像素点强度检测处理,具体实施中,可以基于反射强度图(也可称之为confidence图)中光斑所覆盖光斑像素点的像素强度参数(如光斑所覆盖光斑像素点的confidence值),按照所有光斑覆盖像素点(光斑所覆盖光斑像素点的数量可以是多个)的像素强度参数的数值大小进行优先级排序,确定至少一个光斑像素点(也即光斑所覆盖光斑像素点)对应的第一强度优先级,可以理解的像素强度参数与第一强度优先级正相关,以及获取针对反射强度图的目标光斑点占比。
110.可选的,确定至少一个光斑像素点(也即光斑所覆盖的像素点)对应的第一强度优先级可以是通过绘制强度统计图确定的,如强度统计图可以是表征光斑像素点的像素强度参数(光斑像素点对应的confidence值)的强度直方图,强度直方图可以用于表征所有光斑所覆盖的光斑像素点的像素强度情况,例如可以反馈相同像素强度参数(如同一confidence值)的光斑像素点,例如可以反馈至少一个光斑像素点的强度优先级。
111.可以理解的,在出厂之后的终端使用阶段,终端基于某散斑itof模式下进行工作,某散斑itof模式下光接收端接收的光斑理论数量、光斑所覆盖的理论光斑像素点数量等已经确定。例如,散斑itof相机在实际应用阶段之后,视场内理论会有多少个光斑,至少一个光斑理论会覆盖几个光斑像素点;进一步,由于光斑所覆盖的理论光斑像素点数量(在一些实施方式中也可称之为参考像素点数量)可确定,或,理论光斑像素点(不含干扰点)的目标光斑点占比(理论光斑像素点与图像总像素点的比例)可确定。基于此,像素点强度检测时
仅需从所有光斑像素点中确定参考光斑点(一些实施例可称之为第一光斑点或第二光斑点),将参考光斑点对应的像素强度参数作为阈值进行干扰筛选即可。
112.示意性的,直方图统计即统计整个confidence图像的直方图,根据先验知识,散斑itof相机在设计好之后,视场内会有多少个光斑,至少一个光斑会覆盖几个像素点都是可以从理论推导出来。
113.s304:基于所述目标光斑点占比、所述光斑像素点的第一强度优先级以及所述光斑像素点的像素强度参数,确定强度阈值;基于所述强度阈值,从至少一个所述光斑中确定第一干扰光斑。
114.在一种可行的实施方式中,可以基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,基于所述第一强度阈值从至少一个所述光斑中确定第一干扰光斑;
115.示意性的,假设目标光斑点占比(也即光斑像素点数量占比)为x%,所述光斑像素点的第一强度优先级可以是以confidence图对应的直方图形式表征,则终端可以确定直方图从高到底前x%数量点,以此来确定第一光斑点(可以将第x%的数量点作为第一光斑点),第一光斑点的像素强度参数作为第一强度阈值,如第一光斑点对应的confidence值为cx,即理论上所有光斑覆盖的光斑像素点confidence值都应当大于cx。即可以将cx为阈值筛选干扰光斑点,也即可以将所有光斑像素点的confidence值与cx进行比对,若光斑像素点的confidence值大于cx,则该光斑像素点为非干扰光斑点,若光斑像素点的confidence值小于或等于cx,则该光斑像素点可作为干扰光斑点,或该光斑像素点可作为疑似干扰光斑点,然后结合其他光斑干扰检测方式进一步确定,例如采用其他光斑干扰方式确定该光斑像素点符合干扰点判决条件,则将该光斑像素点作为干扰光斑点。干扰光斑点筛选出后即确定了第一干扰光斑,例如可以将干扰光斑点所对应的光斑作为第一干扰光斑,在实际光斑干扰检测中,通常第一干扰光斑所覆盖的大多数光斑像素点可能均会为干扰光斑点。
116.在一种可行的实施方式中,获取所述光斑对应的参考像素点数量,参考像素点数量为光斑所覆盖的光斑像素点的理论数量,确定所述目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑;
117.示意性的,实际应用场景中,实际光斑的光斑边缘交汇区域像素点的confidence值(可理解为像素点像素强度)通常大于环境光噪声或者电路噪声等像素点的confidence值;而且在一般场景中,可能会有超出设计范围的远距离或者低反射率物体存在,此时这些远距离物体反射回来的信号光呈现在光接收端sensor上的光斑能量很弱,也即像素强度参数的数值较低,可能会低于近距离光斑边缘交汇处干扰光斑中像素点的confidence值,也就是说:当前反射强度图上有效光斑数量(可理解为除干扰光斑之外实际光斑的数量)可能会低于设置的阈值,如低于目标光斑点占比对应的像素点数量。为了提升光斑干扰的识别准确度。可以采用结合光斑对应的参考像素点数量来进行干扰光斑检测。
118.所述光斑对应的参考像素点数量可以理解为至少一个光斑理论覆盖的光斑像素点数量。可以理解的,例如,在出厂之后的终端使用阶段,终端基于某散斑itof模式下进行工作,某散斑itof模式下光接收端理论接收的光斑理论数量、目标光斑点占比、至少一个光
斑覆盖区域理论像素点数量(也即参考像素点数量)等已经确定或可以计算得到。
119.可以理解的,可以基于至少一个光斑对应的参考像素点数量和目标光斑点占比进行结合,来确定第二强度阈值,以提升光斑干扰的识别准确度。
120.示意性的,若一个光斑覆盖n个光斑像素点(也即参考像素点数量为n),以前述直方图为例,所述光斑像素点的第一强度优先级可以是以confidence图对应的直方图形式得到的,则终端可以确定直方图从高到底前(x/n)%数量点,以此来确定第二光斑点(可以将第(x/n)%的数量点作为第二光斑点),第二光斑点的像素强度参数作为第二强度阈值,如第二光斑点对应的confidence值作为第二强度阈值cxna。进一步的,即理论上所有光斑覆盖像素点confidence值都应当大于cxna。即可以将cxna为阈值筛选干扰光斑点若光斑像素点的confidence值大于cxna,则该光斑像素点非干扰光斑点,若光斑像素点的confidence值小于或等于cxna,则该光斑像素点可以作为干扰光斑点。可以根据干扰光斑点对应的光斑来确定第一干扰光斑。
121.在一种可行的实施方式中,也可以结合第一强度阈值和第二强度阈值来进行平衡,以避免光斑干扰判决时的误差,实现干扰判决时的精准性,避免漏掉干扰光斑点。示意性的,可以从第一强度阈值和第二强度阈值中,也即cx到cxna中,confidence阈值从小到大,对应的是干扰点越来越少,可以从第一强度阈值和第二强度阈值来结合实际应用场景来确定一个合适的阈值进行光斑干扰的判断。
122.可以理解的,终端可以执行基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值;基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,获取所述光斑对应的参考像素点数量,确定所述目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第一强度阈值以及所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑。
123.可以理解的,从第一强度阈值和第二强度阈值中,也即cx到cxna中,confidence阈值从小到大,对应的是干扰点越来越少,可以从第一强度阈值和第二强度阈值结合来确定一个阈值进行干扰滤除;具体实施中,终端基于所述第一强度阈值以及所述第二强度阈值确定阈值参考范围,如阈值参考范围为:[cx,cxna],然后从所述阈值参考范围中获取目标强度阈值,基于所述目标强度阈值从至少一个所述光斑中确定第一干扰光斑。
[0124]
可选的,目标强度阈值可以是从所述阈值参考范围中随机任取一个值作为目标强度阈值。
[0125]
可选的,也可以从第一强度阈值和第二强度阈值结合当前的实际应用场景来确定一个阈值进行干扰滤除。
[0126]
示意性的,在不同的应用场景下对于测量精度、干扰适应性等需求不同,可以设置调节因子,针对多个参考应用场景分别设置参考调节因子,参考因子用来从阈值参考范围中确定目标强度阈值。在实际应用阶段,建立多个参考应用场景与其对应的参考调节因子的调节因子映射关系,在确定当前的应用场景之后,可以基于调节因子映射关系确定应用场景对应的调节因子。基于调节因子采用预设计算式子从阈值参考范围中确定目标强度阈值,如阈值参考范围为:[cx,cxna],假设调节因子为a,则目标强度阈值b=(cxna-cx)*a+
cx;
[0127]
s305:若所述光斑干扰检测方式为能量比例检测方式,则获取至少一个所述光斑对应的中心点强度值以及所述边缘点强度值;
[0128]
根据一些实施例中,能量比例检测方式,通过对光斑所包含像素点的能量比例进行检测,以从识别出的多个光斑中区分出干扰光斑。示意性的,能量比例检测方式可以遍历至少一个光斑,计算光斑中心像素点像素强度参数(也即confidence值)与光斑除光斑中心点之外该光斑的其他像素点confidence值的能量比例,通常实际光斑的信号光能量集中,其能量比例会大于干扰光斑。
[0129]
所述中心点强度值可以理解为光斑的光斑中心像素点的像素强度值(相当于confidence值),在一些实施方式中,可以将光斑重心像素点作为光斑中心像素点,将光斑重心像素点的像素强度值作为中心点强度值。所述边缘点强度值可以理解为光斑中除中心像素点之外的边缘像素点的像素强度值(也即confidence值)。所述中心点强度值以及所述边缘点强度值均可基于反射强度图直接获取到。
[0130]
示意性的,假设光斑覆盖m个光斑像素点,理论上从光斑中心到边缘,光斑像素点的强度逐渐衰减,也即对应的confidence值逐渐衰减,且衰减规律基本符合高斯曲面,光斑所覆盖区域的某一行或某一列光斑像素点confidence值符合高斯曲线。如图6所示,图6是一种涉及光斑的场景示意图,在图6中光斑某列光斑像素点confidence值与光斑像素点位置关系如图6所示,在图6中两边的光斑可视作实际光斑或有效信号光斑,中间的光斑由于两边光斑的边缘信号光叠加产生,有效信号光斑如图6中(a)所示,有效信号光斑能量强度集中,中心像素confidence值高,有效信号光斑的四周光斑能量迅速衰减。也就是说,有效光斑的中心像素点confidence值与光斑四周confidence值的比值较大。干扰信号光斑如图6中(b)所示,干扰信号光斑分布也呈现高斯曲面,但是干扰信号光斑能量分散,干扰信号光斑的中心像素点confidence值与边缘confidence值的比值远小于邻近两个有效光斑对应的比值。
[0131]
s306:基于所述中心点强度值以及所述边缘点强度值对至少一个光斑进行能量比例检测处理,从至少一个所述光斑中确定第二干扰光斑。
[0132]
根据一些实施例中,终端可以基于所述像素强度参数对至少一个光斑进行能量比例检测处理,以此得到第二干扰光斑;所述第二干扰光斑也即通过能量比例检测方式检测出的干扰光斑。示意性的,通常可以是对相邻的两两光斑计算能量比例,然后比较两两光斑的能量比例,通常若某光斑为干扰光斑,实际光斑的能量比例要远大于邻近的干扰光斑。
[0133]
可以理解的,1、终端可以基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;
[0134]
所述第一强度比例也即光斑中心点强度值与边缘点强度值的比值。
[0135]
示意性的,可以设置边缘距离,以光斑中心点为参考,取所述边缘距离指示的同一光斑的边缘点,例如边缘距离可以是2个像素点,则取光斑中心点间隔2个像素点的像素点作为边缘点。
[0136]
2、终端分别获取所述光斑对应的第一光斑,确定所述第一光斑的第二强度比例;
[0137]
示意性的,可以是获取与所述光斑相邻的邻近光斑,将所述邻近光斑作为所述光斑对应的第一光斑;考虑到邻近光斑的比值具备可比性。邻近可以理解为光斑与其对应的
第一光斑具体很近,在真实场景中两个光斑可能来自于同一物体表面的相邻位置,即两个光斑的能量、解算出来的距离是相近的,也就是说这两个光斑具有可比性。如果光斑与其对应的第一光斑距离较远,则有可能一个来自近距离物体表面,而另一个来自于远距离背景,而远距离背景的反射光本身由于光程长,打在tof相机光接收端sensor上的光斑可能会存在能量较弱或能量不集中的情况,因此距离较远的光斑之间可比性较差。基于此,可以获取与所述光斑相邻的邻近光斑,将所述邻近光斑作为所述光斑对应的第一光斑。
[0138]
示意性的,还可以是设置一个固定距离,获取与至少一个所述光斑处于固定距离内的光斑作为第一光斑。
[0139]
示意性的,可以是设置一个距离阈值,终端可以获取所述光斑与至少一个第二光斑(第二光斑为当前除所述光斑之外的光斑)的目标距离,基于所述目标距离与距离阈值从所述至少一个第二光斑中确定所述光斑对应的第一光斑,也即取第二光斑与光斑之间的目标距离小于或等于距离阈值时所对应的第一光斑。
[0140]
可以理解的,第二强度比例的确定方式与第一强度比例的确定方式类似,也即第一光斑的中心点强度值与边缘点强度值的比值。示意性的,第一光斑的“中心点与边缘点的选取”应与光斑的“中心点与边缘点的选取”一致,如基于同一边缘距离选取光斑中心点对应的边缘点和第一光斑中心点对应的边缘点。
[0141]
3、终端基于所述光斑的所述第一强度比例以及所述第二强度比例,从至少一个所述光斑中确定第二干扰光斑。
[0142]
在一种可行的实施方式中,可以是基于所述第一强度比例以及所述第二强度比例,确定目标差值;基于所述目标差值以及差值阈值从至少一个所述光斑中确定第二干扰光斑;
[0143]
示意性的,所述目标差值也即第一强度比例以及所述第二强度比例的差值。差值阈值是基于预先的硬件需求和应用场景确定针对目标差值的门限值。若目标差值大于差值阈值,则可确定第一光斑为干扰光斑。若目标差值小于或等于差值阈值,则可通常第一光斑不为干扰光斑。
[0144]
在一种可行的实施方式中,可以是以所述第一强度比例为参考,基于至少一个所述第二强度比例确定针对所述第一光斑的强度比例波动范围;基于所述强度比例波动范围和参考波动范围,从至少一个所述光斑中确定第二干扰光斑。
[0145]
例如,包含当前光斑的某一个小区域内存在相邻k
×
k的第一光斑,这k
×
k个第一光斑的中心像素confidence值与边缘confidence值的比值波动范围(也即多个第二强度比例与当前第一强度比例所对应的强度比例波动范围)应当不超过参考波动范围,参考波动范围可以预先设置,若偏离参考波动范围,则将该光斑认定为第二干扰光斑。
[0146]
在一个或多个实施例中,可以基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;示意性的,基于预先的硬件需求和应用场景确定针对第一强度比例的门限值,也即强度比例阈值;然后基于所述第一强度比例和强度比例阈值,从至少一个所述光斑中确定第二干扰光斑,例如,若所述第一强度比例大于强度比例阈值,则该光斑为有效光斑;若所述第一强度比例小于或等于强度比例阈值,则该光斑为干扰光斑。
[0147]
s307:若所述光斑干扰检测方式为像素点均值检测方式,则确定至少一个所述光斑对应的目标像素区域,所述光斑位于所述目标像素区域内;
[0148]
根据一些实施例中,光斑干扰检测方式可以是像素点均值检测方式,像素点均值检测方式可以是检测“某一光斑覆盖到反射强度图中所有光斑像素点的像素强度参数(如confidence值)之和”与“该光斑一定邻域范围内所有区域像素点的像素强度参数(如confidence值)之和”的比值,以将该比值作为像素点均值;
[0149]
其中,光斑一定邻域范围也即前述目标像素区域,目标像素区域可以是一个矩形区域,该矩形区域包含某一个或多个光斑所覆盖的像素点即可。目标像素区域可以是一个圆形区域。目标像素区域可以是一个大于某一矩形区域内强度最大值某一比例的全部像素点,例如某一矩形区域内confidence最大值为100,设置某一比例为a(如a为40%),则判定该某一矩形区域内所有confidence值大于(a*100)的像素点均符合要求。
[0150]
s308:基于所述像素强度参数确定针对至少一个所述光斑的光斑像素点均值,确定至少一个所述目标像素区域对应的区域像素点均值;
[0151]
示意性的,可以获取至少一个所述光斑的全部光斑像素点对应的第一总强度以及光斑像素点总数量,将所述第一总强度与光斑像素点总数量的商作为所述光斑的光斑像素点均值;
[0152]
所述第一总强度也即一个光斑所覆盖的全部光斑像素点的像素强度参数(confidenc值)之和。光斑像素点总数量也即该光斑的全部光斑像素点的总数量。假设光斑a覆盖6个光斑像素点,则第一总强度为6个光斑像素点的confidenc值之和,光斑像素点总数量为6。
[0153]
示意性的,可以获取至少一个所述目标像素区域的全部区域像素点对应的第二总强度以及区域像素点总数量,将所述第二总强度与区域像素点总数量的商作为所述目标像素区域对应的区域像素点均值。
[0154]
所述第二总强度也即目标像素区域的全部区域像素点像素强度参数之和。区域像素点总数量也即区域内的全部光斑像素点的数量。假设目标像素区域b覆盖8个区域像素点,则第二总强度为8个区域像素点的confidenc值之和,区域像素点总数量为8。
[0155]
s309:基于所述光斑像素点均值以及所述区域像素点均值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。
[0156]
可选的,像素点均值检测方式可以是:针对某一光斑而言,计算“光斑像素强度参数(如confidence值)之和(也即第一总强度)除以覆盖到像素点数(也即光斑像素点总数量)的平均值c
1”,平均值c1可以作为光斑像素点均值;以及计算“目标像素区域内所有像素点的像素强度参数(也即第二总强度)除以覆盖到像素点数(也即区域像素点总数量)的平均值c
2”,平均值c2可以作为区域像素点均值;平均值c1与平均值c2的比值(也即c1/c2),通常比值越小,该某一光斑为干扰光斑的可能性越大。其中,比值(也即c1/c2)可称之为参考比值。
[0157]
可以理解的,若所述光斑干扰检测方式为像素点均值检测方式,则终端基于所述像素强度参数对至少一个光斑进行像素点均值检测处理,以此从多个光斑中得到第三干扰光斑;例如像素点均值检测处理之后得到针对至少一个光斑的比值(也即c1/c2),然后将比值(也即c1/c2)与某一比值阈值进行比较,若比值(也即c1/c2)小于某一比值阈值,则将该光斑作为干扰光斑,反之,通常该光斑为有效光斑;在光斑数量为多个的情况,可参见前述方式依次对多个光斑进行比较,以此从多个光斑中确定干扰光斑,基于干扰光斑可以确定干
扰光斑点。
[0158]
其中,比值阈值为针对参考比值(也即c1/c2)设置的门限值或临界值。
[0159]
示意性的,确定所述光斑像素点均值与所述区域像素点均值对应的参考比值;终端可以基于所述参考比值与比值阈值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。
[0160]
可以理解的,像素点均值检测方式的依据也是有效光斑光能量很强且集中,从光斑中心到边缘能量和confidence迅速衰减。对于有效光斑,c1/c2的比值也即参考比值远大于干扰点对应的比值。这是因为干扰点的光斑中心本身就是至少两个有效光斑边缘的叠加产生的,能量很弱。示意性的,通过设置针对参考比值的门限值可以实现干扰光斑的判决。
[0161]
s310:若所述光斑干扰检测方式为能量总强度检测方式,则基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值;
[0162]
根据一些实施例中,光斑干扰检测方式可以是能量总强度检测方式,通常在反射强度图对应的至少一个参考区域(参考区域通常可以是一个预设尺寸规格的小区域范围)内,在该参考区域光斑的理论数量预先可设置或计算推导得到,且该参考区域内多个实际光斑(不含干扰光斑)彼此间光斑的总能量(也可理解为光斑能量)应相当,如该参考区域对应视觉场景中目标对象的某一个二维平面,而此时产生的干扰光斑的光斑能量通常要远小于该参考区域内实际光斑的光斑能量。
[0163]
所述光斑能量可以理解为光斑覆盖所有光斑像素点的像素强度参数之和,也即光斑覆盖所有光斑像素点的confidence值之和,在一些实施方式中,光斑能量也可称之为光斑强度或光斑能量强度。
[0164]
所述参考区域通常可以理解为一个预设尺寸规格的小区域范围;示意性的:参考区域可以是一个r
×
c个像素点的区域,可以理解为r
×
c个像素点为预设尺寸规格。
[0165]
在一种具体的实施场景中,假设该参考区域理论应该包含2
×
2个光斑。
[0166]
一种可行的实施方式可以是:第三光斑可以是参考区域中所有光斑中的任一光斑;第三光斑也可以是参考区域中所有光斑中光斑强度最小的光斑;
[0167]
可选的,第三光斑与第四光斑的关系可以是:所述参考区域包括的所有光斑为第四光斑以及所述第三光斑为所有所述第四光斑中的其一;
[0168]
例如,假设参考区域中有4个光斑:光斑a1、光斑a2、光斑a3、光斑a4;第四光斑也即光斑a1、光斑a2、光斑a3、光斑a4:第三光斑也即“光斑a1、光斑a2、光斑a3、光斑a4”中的其一,例如第三光斑可以是“光斑a1、光斑a2、光斑a3、光斑a4”中光斑强度最小的光斑,假设:光斑a1的光斑强度为:45、光斑a2的光斑强度为:99、光斑a3的光斑强度为:100、光斑a4的光斑强度为:101,则可以将参考区域中的光斑a1作为第三光斑。
[0169]
可选的,第三光斑与第四光斑的关系可以是:所述参考区域包括所述第三光斑和所有第四光斑
[0170]
例如,假设参考区域中有4个光斑:光斑b1、光斑b2、光斑b3、光斑b4;第三光斑可以是“光斑b1、光斑b2、光斑b3、光斑b4”中的其一;第四光斑也即“光斑b1、光斑b2、光斑b3、光斑b4”中除第三光斑之外的光斑:例如第三光斑可以是“光斑b1、光斑b2、光斑b3、光斑b4”中的光斑b3,则第四光斑为:除光斑b3之外的“光斑b1、光斑b2光斑b4”;示意性的,假设:光斑b1的光斑强度为:45、光斑b2的光斑强度为:99、光斑b3的光斑强度为:100、光斑b4的光斑强
度为:101,则可以将参考区域光斑强度最小的光斑b1作为第三光斑。
[0171]
所述光斑强度为一个光斑所覆盖所有光斑像素点的像素强度参数(confidence值)之和;例如:光斑有3个光斑像素点,至少一个光斑像素点的confidence值分别为光斑像素点1:x1、光斑像素点2:x2、光斑像素点1:x3;则光斑强度为:(x
1+
x
2+
x3)/3。
[0172]
所述所有第四光斑对应的光斑强度均值中的“光斑强度均值”可以理解为:所有第四光斑的光斑强度之和(也即所有第四光斑的confidence值之和)与第四光斑数量的比值。
[0173]
所述所有第四光斑对应的光斑强度均值也即所有第四光斑的光斑强度之和与第四光斑总数量的比值。例如:第四光斑有4个分别为光斑a1、光斑a2、光斑a3、光斑a4,假设:光斑a1的光斑强度为:45、光斑a2的光斑强度为:99、光斑a3的光斑强度为:100、光斑a4的光斑强度为:101;则第四光斑总数量为4,所有第四光斑对应的光斑强度均值为:(45+99+100+101)/4。
[0174]
在一种可行的实施方式中,能量总强度检测方式也可以是非极大值抑制检测方式,根据一些实施例中诸如散斑itof相机在实际应用阶段,视场内某个参考区域理论会有多少个有效光斑,至少一个有效光斑理论会覆盖几个像素点,光斑对应理论的数量阈值通常已经确定;可以基于参考区域中实际光斑数量来进行非极大值抑制检测:在参考区域内所有光斑对应的光斑总数量小于或等于参考区域所对应的光斑数量阈值(在一些实施方式中,可基于理论光斑数量确定光斑数量阈值)时,也无需进行能量总强度检测,此时,参考区域中的实际光斑通常均为有效光斑;在实际光斑数量大于参考区域所对应的理论光斑数量,此时通常可以认为存在干扰光斑。
[0175]
示意性的,参考区域可以是一个r
×
c个像素点的区域,可以理解为r
×
c个像素点为预设尺寸规格,假设该参考区域理论应该包含2
×
2个光斑,也即参考区域的光斑数量阈值为:4,而实际中,反射强度图中该参考区域所检测到的光斑数量为:5,也即参考区域对应的光斑总数量为5;此时:光斑总数量大于光斑数量阈值,则进行能量总强度检测,也即执行s310中的“基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值”和s311。
[0176]
可选的,可以将参考区域中所有光斑的光斑强度最小的光斑为作为干扰光斑。
[0177]
可选的,光斑数量阈值可以基于理论光斑数量确定,如光斑数量阈值可以等于理论光斑数量;光斑数量阈值也可以略大于理论光斑数量,以考虑实际场景下的光斑误差,提高鲁棒性。
[0178]
在一种可行的实施方式中,上述参考区域内理论应该出现多少个有效光斑已经预先确定,因此,至少一个理论出现的光斑之间的间距或者说间距变化的范围也可确定,也就是说可以基于参考区域中两两光斑之间的光斑间隔距离进行非极大值抑制检测以进一步判断,通过设置针对光斑间隔距离的门限值也即光斑间隔距离阈值,在获取参考区域中两两光斑之间的光斑间隔距离之后,若所述光斑间隔距离小于间隔距离阈值,则可能视场参考区域内出现了干扰光斑,可以执行s310中的“基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值”和s311。
[0179]
可选的,若所述光斑间隔距离大于或等于间隔距离阈值,则可以进行忽略处理。
[0180]
可选的,前述两两光斑的位置关系可以为相邻位置关系。
[0181]
示意性的,若相邻的3个光斑之间的两两光斑的光斑间隔距离小于光斑间隔距离
阈值时,而中间光斑的光斑强度小于两边光斑的光斑强度均值,或中间光斑的光斑强度均小于两边光斑的光斑强度,则中间光斑的能量强度较弱,可以将中间光斑作为干扰光斑,如图7所示,图7是一种涉及干扰光斑的场景示意图,在图7中相邻的3个光斑之间的两两光斑间隔距离小于间隔距离阈值,中间光斑的光斑强度小于两边光斑的光斑强度,也即中间光斑的能量强度较弱,可以将中间光斑作为干扰光斑,干扰光斑所覆盖的所有像素点中的至少其一可作为干扰光斑点,例如将干扰光斑所覆盖的所有像素点中像素强度参数(confidence值)最大值指示的点作为干扰点。
[0182]
s311:基于所述第三光斑的光斑强度以及所述光斑强度均值对所述第三光斑进行能量总强度检测处理,确定第四干扰光斑。
[0183]
在一种可行的实施方式中,确定所述第三光斑的光斑强度与所述光斑强度均值的强度差值,也即光斑强度与所述光斑强度均值之间的差值;通过设置针对强度差值的第一差值阈值来实现判决;
[0184]
若所述的强度差值小于或等于第一差值阈值,则将所述的强度差值小于或等于第一差值阈值的第三光斑作为第四干扰光斑。
[0185]
若所述的强度差值大于第一差值阈值,则进行忽略处理。
[0186]
在一种可行的实施方式中,确定所述第三光斑的光斑强度与所述光斑强度均值的强度比例,也即光斑强度与所述光斑强度均值的比值;
[0187]
若所述强度比例小于或等于第一比例阈值,则将第三光斑作为第四干扰光斑。其中,所述第一比例阈值为针对强度比例所设置的门限值。
[0188]
若所述强度比例大于第一比例阈值,则进行忽略处理。
[0189]
在一种具体的实施场景中,可以理解的若参考区域内包括多个光斑,则可以获取这多个光斑分别对应光斑强度,基于这多个光斑的光斑强度选取最小光斑强度指示的第三光斑,然后确定参考区域内的所有第四光斑。一种方式是:将参考区域内所有的光斑均作为第四光斑;一种方式是:将参考区域内除第三光斑之外的光斑均作为第四光斑;然后计算所有第四光斑对应的光斑强度均值,然后计算第三光斑的光斑强度与光斑强度均值的商作为强度比例,若强度比例小于第一比例阈值,则将第三光斑作为第四干扰光斑。
[0190]
s312:若所述光斑干扰检测方式为光斑位置检测方式,则基于像素位置参数确定针对所述至少一个光斑的光斑位置;获取至少一个所述光斑对应的参考位置范围;
[0191]
可以理解的,光斑干扰检测方式可以是光斑位置检测方式,也可理解为固定位置检测,根据一些实施例中,散斑itof相机在出厂阶段,光斑在光接收端得到的反射强度图上的位置通常比较固定,但可能会由于远近距离视差、信发散等客观原因发生几个像素的偏移,基于此,可以在出厂阶段设置光斑的位置范围,将至少一个光斑的位置范围记录下来,若光斑出现在这些位置以外,大概率为干扰光斑。
[0192]
s313:若所述光斑的光斑位置与所述参考位置范围不匹配,则将所述光斑确定为第五干扰光斑。
[0193]
可以理解的,终端确定光斑干扰检测方式之后,若所述光斑干扰检测方式为光斑位置检测方式,则终端可以基于像素位置参数对至少一个光斑进行光斑位置检测处理,得到第五干扰光斑。例如光斑位置检测处理时得到多个光斑的光斑位置,将该光斑的光斑位置与该光斑对应的位置范围进行匹配,以检测所述光斑位置是否落入到参考位置范围内,
将所述光斑确定为第五干扰光斑;以此类推,可以从多个光斑中确定第五干扰光斑。
[0194]
在本技术实施例中,通过获取反射强度图,确定反射强度图中的至少一个光斑,然后获取所述光斑中光斑像素点对应的像素特征参数,基于像素特征参数在干扰光斑与有效光斑上像素特征参数的差异,可以从至少一个光斑中准确确定干扰光斑,可以辅助消除由于多个光斑的边缘信号叠加造成的光斑干扰;整个图像干扰处理过程减轻了对设备硬件、复杂算法的依赖,实现了准确识别光斑干扰,能够辅助输出高精度的深度测量结果,提升了深度测量场景下的鲁棒性;以及,可以结合不同的光斑干扰检测方式或基于实际应用场景确定的不同时序的光斑干扰检测方式,优化了干扰光斑的检测流程。
[0195]
下面将结合图8,对本技术实施例提供的图像处理装置进行详细介绍。需要说明的是,图8所示的图像处理装置,用于执行本技术图1~图6所示实施例的方法,为了便于说明,仅示出了与本技术实施例相关的部分,具体技术细节未揭示的,请参照本技术图1~图7所示的实施例。
[0196]
请参见图8,其示出本技术实施例的图像处理装置的结构示意图。该图像处理装置1可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。根据一些实施例,该图像处理装置1包括光斑确定模块11、参数获取模块12和干扰确定模块13,具体用于:
[0197]
光斑确定模块11,用于获取反射强度图,确定所述反射强度图中的至少一个光斑;
[0198]
参数获取模块12,用于获取所述光斑中光斑像素点对应的像素特征参数;
[0199]
干扰确定模块13,用于基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。
[0200]
可选的,如图9所示,所述干扰确定模块13,包括:
[0201]
检测确定单元131,用于确定针对反射强度图的至少一种光斑干扰检测方式;
[0202]
干扰检测单元132,用于基于所述像素特征参数采用所述光斑干扰检测方式对至少一个所述光斑进行光斑干扰检测处理,得到干扰光斑。
[0203]
可选的,所述干扰检测单元132,具体用于:
[0204]
若所述光斑干扰检测方式为像素点强度检测方式,则基于像素强度参数对至少一个光斑进行像素点强度检测处理,得到第一干扰光斑;
[0205]
若所述光斑干扰检测方式为能量比例检测方式,则基于所述像素强度参数对至少一个光斑进行能量比例检测处理,得到第二干扰光斑;
[0206]
若所述光斑干扰检测方式为像素点均值检测方式,则基于所述像素强度参数对至少一个光斑进行像素点均值检测处理,得到第三干扰光斑;
[0207]
若所述光斑干扰检测方式为能量总强度检测方式,则基于所述像素强度参数对至少一个光斑进行能量总强度检测处理,得到第四干扰光斑;
[0208]
若所述光斑干扰检测方式为光斑位置检测方式,则基于像素位置参数对至少一个光斑进行光斑位置检测处理,得到第五干扰光斑。
[0209]
可选的,所述干扰检测单元132,具体用于:
[0210]
基于所述像素强度参数确定所述光斑像素点对应的第一强度优先级,以及获取针对所述反射强度图的目标光斑点占比;
[0211]
基于所述目标光斑点占比、所述光斑像素点的第一强度优先级以及所述光斑像素点的像素强度参数,确定强度阈值。
[0212]
基于所述强度阈值,从至少一个所述光斑中确定第一干扰光斑。
[0213]
可选的,所述干扰检测单元132,具体用于:
[0214]
基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,基于所述第一强度阈值从至少一个所述光斑中确定第一干扰光斑;或,
[0215]
获取所述光斑对应的参考像素点数量,确定所述目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑;或,
[0216]
基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,获取所述光斑对应的参考像素点数量,确定所述目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第一强度阈值以及所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑。
[0217]
可选的,所述干扰检测单元132,具体用于:
[0218]
基于所述第一强度阈值以及所述第二强度阈值确定阈值参考范围;
[0219]
从所述阈值参考范围中获取目标强度阈值,基于所述目标强度阈值从至少一个所述光斑中确定第一干扰光斑。
[0220]
可选的,所述干扰检测单元132,具体用于:
[0221]
获取至少一个所述光斑对应的中心点强度值以及所述边缘点强度值;
[0222]
基于所述中心点强度值以及所述边缘点强度值对至少一个光斑进行能量比例检测处理,从至少一个所述光斑中确定第二干扰光斑。
[0223]
可选的,所述干扰检测单元132,具体用于:
[0224]
基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;基于所述第一强度比例和强度比例阈值,从至少一个所述光斑中确定第二干扰光斑;和/或,
[0225]
基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;分别获取所述光斑对应的第一光斑,确定所述第一光斑的第二强度比例;基于所述光斑的所述第一强度比例以及所述第二强度比例,从至少一个所述光斑中确定第二干扰光斑。
[0226]
可选的,所述干扰检测单元132,具体用于:
[0227]
基于所述第一强度比例以及所述第二强度比例,确定目标差值;基于所述目标差值以及差值阈值从至少一个所述光斑中确定第二干扰光斑;或,
[0228]
以所述第一强度比例为参考,基于至少一个所述第二强度比例确定针对所述第一光斑的强度比例波动范围;基于所述强度比例波动范围和参考波动范围,从至少一个所述光斑中确定第二干扰光斑。
[0229]
可选的,所述干扰检测单元132,具体用于:
[0230]
获取与所述光斑相邻的邻近光斑,将所述邻近光斑作为所述光斑对应的第一光斑;或,
[0231]
获取所述光斑与至少一个第二光斑的目标距离,基于所述目标距离与距离阈值从所述至少一个第二光斑中确定所述光斑对应的第一光斑。
[0232]
可选的,所述干扰检测单元132,具体用于:
[0233]
确定至少一个所述光斑对应的目标像素区域,所述光斑位于所述目标像素区域内;
[0234]
基于所述像素强度参数确定针对至少一个所述光斑的光斑像素点均值,确定至少一个所述目标像素区域对应的区域像素点均值;
[0235]
基于所述光斑的所述光斑像素点均值以及所述区域像素点均值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。
[0236]
可选的,所述干扰检测单元132,具体用于:
[0237]
获取至少一个所述光斑的全部光斑像素点对应的第一总强度以及光斑像素点总数量,将所述第一总强度与光斑像素点总数量的商作为所述光斑的光斑像素点均值;
[0238]
获取至少一个所述目标像素区域的全部区域像素点对应的第二总强度以及区域像素点总数量,将所述第二总强度与区域像素点总数量的商作为所述目标像素区域对应的区域像素点均值。
[0239]
可选的,所述干扰检测单元132,具体用于:
[0240]
确定所述光斑像素点均值与所述区域像素点均值对应的参考比值;
[0241]
基于所述参考比值与比值阈值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。
[0242]
可选的,所述干扰检测单元132,具体用于:
[0243]
基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值;
[0244]
基于所述第三光斑的光斑强度以及所述光斑强度均值对所述第三光斑进行能量总强度检测处理,确定第四干扰光斑。
[0245]
可选的,所述参考区域包括的所有光斑为第四光斑以及所述第三光斑为所有所述第四光斑中的其一;或,所述参考区域包括所述第三光斑和所有第四光斑。
[0246]
可选的,所述干扰检测单元132,具体用于:
[0247]
获取参考区域对应的光斑总数量;若所述光斑总数量大于光斑数量阈值,则执行所述基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值的步骤;或,
[0248]
获取参考区域中两两光斑之间的光斑间隔距离,若所述光斑间隔距离小于间隔距离阈值,则执行所述基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值的步骤。
[0249]
可选的,所述干扰检测单元132,具体用于:
[0250]
确定所述第三光斑的光斑强度与所述光斑强度均值的强度比例;
[0251]
若所述强度比例小于或等于第一比例阈值,则将所述第三光斑作为第四干扰光斑。
[0252]
可选的,所述干扰检测单元132,具体用于:
[0253]
基于像素位置参数确定针对所述至少一个光斑的光斑位置;获取至少一个所述光斑对应的参考位置范围;
[0254]
若所述光斑的光斑位置与所述参考位置范围不匹配,则将所述光斑确定为第五干
扰光斑。
[0255]
可选的,如图10所示,所述装置1,还包括:
[0256]
图像获取模块14,用于获取彩色图像和深度图像,所述反射强度图、所述深度图像和所述彩色图像均为针对同一目标对象的不同类图像;
[0257]
干扰验证模块15,用于基于所述彩色图像和所述深度图像,对所述干扰光斑进行干扰验证。
[0258]
可选的,如图11所示,所述干扰验证模块15,包括:
[0259]
彩色验证单元151,用于确定所述干扰光斑在所述彩色图像中的第三位置,以及确定所述干扰光斑对应的至少一个邻近光斑在所述彩色图像中的第四位置;基于所述第三位置以及所述第四位置,得到针对所述干扰光斑的彩色像素验证结果;
[0260]
深度验证单元152,用于确定所述干扰光斑在所述深度图像中的第一位置,以及确定所述干扰光斑对应的至少一个邻近光斑在所述深度图像中的第二位置;基于所述第一位置以及所述第二位置,得到针对所述干扰光斑的深度像素验证结果;
[0261]
结果生成单元153,用于基于所述彩色像素验证结果和所述深度像素验证结果,得到针对所述干扰光斑的干扰验证结果。
[0262]
可选的,如图10所示,所述装置1,还包括:
[0263]
曝光调整模块15,用于获取所述光斑对应的光斑数量,若所述光斑数量大于数量阈值,则对相机曝光时间进行调整。
[0264]
需要说明的是,上述实施例提供的图像处理装置在执行图像处理方法时,仅以上述至少一个功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
[0265]
上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
[0266]
在本技术实施例中,通过获取反射强度图,确定反射强度图中的至少一个光斑,然后获取所述光斑中光斑像素点对应的像素特征参数,基于像素特征参数在干扰光斑与有效光斑上像素特征参数的差异,可以从至少一个光斑中准确确定干扰光斑,可以辅助消除由于多个光斑的边缘信号叠加造成的光斑干扰;整个图像干扰处理过程减轻了对设备硬件、复杂算法的依赖,实现了准确识别光斑干扰,能够辅助输出高精度的深度测量结果,提升了深度测量场景下的鲁棒性;以及,可以结合不同的光斑干扰检测方式或基于实际应用场景确定的不同时序的光斑干扰检测方式,优化了干扰光斑的检测流程。
[0267]
本技术实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1~图7所示实施例的所述图像处理方法,具体执行过程可以参见图1~图7所示实施例的具体说明,在此不进行赘述。
[0268]
本技术还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1~图7所示实施例的所述图像处理方法,具体执行过程可以参见图1~图7所示实施例的具体说明,在此不进行赘述。
[0269]
请参考图12,其示出了本技术一个示例性实施例提供的电子设备的结构方框图。本技术中的电子设备可以包括一个或多个如下部件:处理器110、存储器120、输入装置130、
输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
[0270]
处理器110可以包括一个或者多个处理核心。处理器110利用至少一个种接口和线路连接整个电子设备内的至少一个个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的至少一个种功能和处理数据。可选地,处理器110可以采用数字信号处理(digital signal processing,dsp)、现场可编程门阵列(field-programmable gate array,fpga)、可编程逻辑阵列(programmable logic array,pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(central processing unit,cpu)、图像处理器(graphics processing unit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
[0271]
存储器120可以包括随机存储器(random access memory,ram),也可以包括只读存储器(read-only memory,rom)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述至少一个个方法实施例的指令等,该操作系统可以是安卓(android)系统,包括基于android系统深度开发的系统、苹果公司开发的ios系统,包括基于ios系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据,等。
[0272]
参见图13所示,存储器120可分为操作系统空间和用户空间,操作系统即运行于操作系统空间,原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果,操作系统针对不同第三方应用程序为其分配相应的系统资源。然而,同一第三方应用程序中不同应用场景对系统资源的需求也存在差异,比如,在本地资源加载场景下,第三方应用程序对磁盘读取速度的要求较高;在动画渲染场景下,第三方应用程序则对gpu性能的要求较高。而操作系统与第三方应用程序之间相互独立,操作系统往往不能及时感知第三方应用程序当前的应用场景,导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。
[0273]
为了使操作系统能够区分第三方应用程序的具体应用场景,需要打通第三方应用程序与操作系统之间的数据通信,使得操作系统能够随时获取第三方应用程序当前的场景信息,进而基于当前场景进行针对性的系统资源适配。
[0274]
以操作系统为android系统为例,存储器120中存储的程序和数据如图14所示,存储器120中可存储有linux内核层320、系统运行时库层340、应用框架层360和应用层380,其中,linux内核层320、系统运行库层340和应用框架层360属于操作系统空间,应用层380属于用户空间。linux内核层320为电子设备的至少一个种硬件提供了底层的驱动,如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、wi-fi驱动、电源管理等。系统运行库层340通过一些c/c++库来为android系统提供了主要的特性支持。如sqlite库提供了数据库的支持,
opengl/es库提供了3d绘图的支持,webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(android runtime),它主要提供了一些核心库,能够允许开发者使用java语言来编写android应用。应用框架层360提供了构建应用程序时可能用到的至少一个种api,开发者也可以通过使用这些api来构建自己的应用程序,比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序,这些应用程序可以是操作系统自带的原生应用程序,比如联系人程序、短信程序、时钟程序、相机应用等;也可以是第三方开发者所开发的第三方应用程序,比如游戏类应用程序、即时通信程序、相片美化程序等。
[0275]
以操作系统为ios系统为例,存储器120中存储的程序和数据如图15所示,ios系统包括:核心操作系统层420(core os layer)、核心服务层440(core services layer)、媒体层460(media layer)、可触摸层480(cocoa touch layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架,这些底层程序框架提供更接近硬件的功能,以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架,比如基础(foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口,如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(airplay)接口等。可触摸层480为应用程序开发提供了至少一个种常用的界面相关的框架,可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(user interface,ui)框架、用户界面uikit框架、地图框架等等。
[0276]
在图15所示出的框架中,与大部分应用程序有关的框架包括但不限于:核心服务层440中的基础框架和可触摸层480中的uikit框架。基础框架提供许多基本的对象类和数据类型,为所有应用程序提供最基本的系统服务,和ui无关。而uikit框架提供的类是基础的ui类库,用于创建基于触摸的用户界面,ios应用程序可以基于uikit框架来提供ui,所以它提供了应用程序的基础架构,用于构建用户界面,绘图、处理和用户交互事件,响应手势等等。
[0277]
其中,在ios系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考android系统,本技术在此不再赘述。
[0278]
其中,输入装置130用于接收输入的指令或数据,输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据,输出装置140包括但不限于显示设备和扬声器等。在一个示例中,输入装置130和输出装置140可以合设,输入装置130和输出装置140为触摸显示屏,该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示至少一个个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本技术实施例对此不加以限定。
[0279]
除此之外,本领域技术人员可以理解,上述附图所示出的电子设备的结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,电子设备中还包括射频电路、输入单元、传感器、音频电路、无线
保真(wireless fidelity,wifi)模块、电源、蓝牙模块等部件,在此不再赘述。
[0280]
在本技术实施例中,至少一个步骤的执行主体可以是上文介绍的电子设备。可选地,至少一个步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统,也可以是ios系统,或者其它操作系统,本技术实施例对此不作限定。
[0281]
本技术实施例的电子设备,其上还可以安装有显示设备,显示设备可以是至少一个种能实现显示功能的设备,例如:阴极射线管显示器(cathode ray tubedisplay,简称cr)、发光二极管显示器(light-emitting diode display,简称led)、电子墨水屏、液晶显示屏(liquid crystal display,简称lcd)、等离子显示面板(plasma display panel,简称pdp)等。用户可以利用电子设备101上的显示设备,来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、ar(augmented reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、
[0282]
在图12所示的电子设备中,其中电子设备可以是一种终端,处理器110可以用于调用存储器120中存储的网络优化应用程序,并具体执行以下操作:
[0283]
获取反射强度图,确定所述反射强度图中的至少一个光斑;
[0284]
获取所述光斑中光斑像素点对应的像素特征参数;
[0285]
基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。
[0286]
在一个实施例中,所述处理器110在执行所述基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑时,具体执行以下操作:
[0287]
确定针对反射强度图的至少一种光斑干扰检测方式,基于所述像素特征参数采用所述光斑干扰检测方式对至少一个所述光斑进行光斑干扰检测处理,得到干扰光斑。
[0288]
在一个实施例中,所述处理器110在执行所述基于所述像素特征参数采用所述光斑干扰检测方式对至少一个所述光斑进行光斑干扰检测处理得到干扰光斑时,具体执行以下操作:
[0289]
若所述光斑干扰检测方式为像素点强度检测方式,则基于像素强度参数对至少一个光斑进行像素点强度检测处理,得到第一干扰光斑;
[0290]
若所述光斑干扰检测方式为能量比例检测方式,则基于所述像素强度参数对至少一个光斑进行能量比例检测处理,得到第二干扰光斑;
[0291]
若所述光斑干扰检测方式为像素点均值检测方式,则基于所述像素强度参数对至少一个光斑进行像素点均值检测处理,得到第三干扰光斑;
[0292]
若所述光斑干扰检测方式为能量总强度检测方式,则基于所述像素强度参数对至少一个光斑进行能量总强度检测处理,得到第四干扰光斑;
[0293]
若所述光斑干扰检测方式为光斑位置检测方式,则基于像素位置参数对至少一个光斑进行光斑位置检测处理,得到第五干扰光斑。
[0294]
在一个实施例中,所述处理器110在执行所述基于像素强度参数对至少一个光斑进行像素点强度检测处理,得到第一干扰光斑时,具体执行以下步骤:
[0295]
基于所述像素强度参数确定所述光斑像素点对应的第一强度优先级,以及获取针对所述反射强度图的目标光斑点占比;
[0296]
基于所述目标光斑点占比、所述光斑像素点的第一强度优先级以及所述光斑像素点的像素强度参数,确定强度阈值。
[0297]
基于所述强度阈值,从至少一个所述光斑中确定第一干扰光斑。
[0298]
在一个实施例中,所述处理器110在执行所述基于所述目标光斑点占比、所述光斑像素点的第一强度优先级以及所述光斑像素点的像素强度参数,确定强度阈值,基于所述强度阈值,从至少一个所述光斑中确定第一干扰光斑时,具体执行以下步骤:
[0299]
基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,基于所述第一强度阈值从至少一个所述光斑中确定第一干扰光斑;或,
[0300]
获取所述光斑对应的参考像素点数量,确定所述目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑;或,
[0301]
基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,获取所述光斑对应的参考像素点数量,确定所述目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第一强度阈值以及所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑。
[0302]
在一个实施例中,所述处理器110在执行所述基于所述第一强度阈值以及所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑时,具体执行以下步骤:
[0303]
基于所述第一强度阈值以及所述第二强度阈值确定阈值参考范围;
[0304]
从所述阈值参考范围中获取目标强度阈值,基于所述目标强度阈值从至少一个所述光斑中确定第一干扰光斑。
[0305]
在一个实施例中,所述处理器110在执行所述基于所述像素强度参数对至少一个光斑进行能量比例检测处理,得到第二干扰光斑时,具体执行以下步骤:
[0306]
获取至少一个所述光斑对应的中心点强度值以及所述边缘点强度值;
[0307]
基于所述中心点强度值以及所述边缘点强度值对至少一个光斑进行能量比例检测处理,从至少一个所述光斑中确定第二干扰光斑。
[0308]
在一个实施例中,所述处理器110在执行所述基于所述中心点强度值以及所述边缘点强度值对至少一个光斑进行能量比例检测处理,从至少一个所述光斑中确定第二干扰光斑时,具体执行以下步骤:
[0309]
基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;基于所述第一强度比例和强度比例阈值,从至少一个所述光斑中确定第二干扰光斑;和/或,
[0310]
基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;分别获取所述光斑对应的第一光斑,确定所述第一光斑的第二强度比例;基于所述光斑的所述第一强度比例以及所述第二强度比例,从至少一个所述光斑中确定第二干扰光斑。
[0311]
在一个实施例中,所述处理器110在执行所述基于所述光斑的所述第一强度比例以及所述第二强度比例,从至少一个所述光斑中确定第二干扰光斑时,具体执行以下步骤:
[0312]
基于所述第一强度比例以及所述第二强度比例,确定目标差值;基于所述目标差值以及差值阈值从至少一个所述光斑中确定第二干扰光斑;或,
[0313]
以所述第一强度比例为参考,基于至少一个所述第二强度比例确定针对所述第一
光斑的强度比例波动范围;基于所述强度比例波动范围和参考波动范围,从至少一个所述光斑中确定第二干扰光斑。
[0314]
在一个实施例中,所述处理器110在执行所述获取所述光斑对应的第一光斑时,具体执行以下步骤:获取与所述光斑相邻的邻近光斑,将所述邻近光斑作为所述光斑对应的第一光斑;或,
[0315]
获取所述光斑与至少一个第二光斑的目标距离,基于所述目标距离与距离阈值从所述至少一个第二光斑中确定所述光斑对应的第一光斑。
[0316]
在一个实施例中,所述处理器110在执行所述基于所述像素强度参数对至少一个光斑进行像素点均值检测处理,得到第三干扰光斑时,具体执行以下步骤:确定至少一个所述光斑对应的目标像素区域,所述光斑位于所述目标像素区域内;
[0317]
基于所述像素强度参数确定针对至少一个所述光斑的光斑像素点均值,确定至少一个所述目标像素区域对应的区域像素点均值;
[0318]
基于所述光斑像素点均值以及所述区域像素点均值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。
[0319]
在一个实施例中,所述处理器110在执行所述基于所述像素强度参数确定针对至少一个所述光斑的光斑像素点均值,确定至少一个所述目标像素区域对应的区域像素点均值时,具体执行以下步骤:
[0320]
获取至少一个所述光斑的全部光斑像素点对应的第一总强度以及光斑像素点总数量,将所述第一总强度与光斑像素点总数量的商作为所述光斑的光斑像素点均值;
[0321]
获取至少一个所述目标像素区域的全部区域像素点对应的第二总强度以及区域像素点总数量,将所述第二总强度与区域像素点总数量的商作为所述目标像素区域对应的区域像素点均值。
[0322]
在一个实施例中,所述处理器110在执行所述基于所述光斑像素点均值以及所述区域像素点均值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑时,具体执行以下步骤:确定所述光斑像素点均值与所述区域像素点均值对应的参考比值;
[0323]
基于所述参考比值与比值阈值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。
[0324]
在一个实施例中,所述处理器110在执行所述基于所述像素强度参数对至少一个光斑进行能量总强度检测处理,得到第四干扰光斑时,具体执行以下步骤:基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值;所述第四光斑为所述参考区域中除所述第三光斑之外的光斑;
[0325]
基于所述第三光斑的光斑强度以及所述光斑强度均值对所述第三光斑进行能量总强度检测处理,确定第四干扰光斑。
[0326]
在一个实施例中,所述参考区域包括的所有光斑为第四光斑以及所述第三光斑为所有所述第四光斑中的其一;或,所述参考区域包括所述第三光斑和所有第四光斑。
[0327]
在一个实施例中,所述处理器110在执行基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值之前,还执行以下步骤:获取参考区域对应的光斑总数量;若所述光斑总数量大于光斑数量阈值,则执行所述基于所述
像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值的步骤;或,
[0328]
获取参考区域中两两光斑之间的光斑间隔距离,若所述光斑间隔距离小于间隔距离阈值,则执行所述基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值的步骤。
[0329]
在一个实施例中,所述处理器110在执行所述基于所述第三光斑的光斑强度以及所述光斑强度均值对所述第三光斑进行能量总强度检测处理,确定第四干扰光斑时,具体执行以下步骤:
[0330]
确定所述第三光斑的光斑强度与所述光斑强度均值的强度比例;
[0331]
若所述强度比例小于或等于第一比例阈值,则将所述第三光斑作为第四干扰光斑。
[0332]
在一个实施例中,所述处理器110在执行所述基于像素位置参数对至少一个光斑进行光斑位置检测处理,得到第五干扰光斑时,具体执行以下步骤:
[0333]
基于像素位置参数确定针对所述至少一个光斑的光斑位置;获取至少一个所述光斑对应的参考位置范围;
[0334]
若所述光斑的光斑位置与所述参考位置范围不匹配,则将所述光斑确定为第五干扰光斑。
[0335]
在一个实施例中,所述处理器110在执行所述从所述至少一个光斑中确定干扰光斑之后,还执行以下步骤:
[0336]
获取彩色图像和深度图像,所述反射强度图、所述深度图像和所述彩色图像均为针对同一目标对象的不同类图像;
[0337]
基于所述彩色图像和所述深度图像,对所述干扰光斑进行干扰验证。
[0338]
在一个实施例中,所述处理器110在执行所述基于所述彩色图像和所述深度图像,对所述干扰光斑进行干扰验证时,具体执行以下步骤:
[0339]
确定所述干扰光斑在所述深度图像中的第一位置,以及确定所述干扰光斑对应的至少一个邻近光斑在所述深度图像中的第二位置;基于所述第一位置以及所述第二位置,得到针对所述干扰光斑的深度像素验证结果;
[0340]
确定所述干扰光斑在所述彩色图像中的第三位置,以及确定所述干扰光斑对应的至少一个邻近光斑在所述彩色图像中的第四位置;基于所述第三位置以及所述第四位置,得到针对所述干扰光斑的彩色像素验证结果;
[0341]
基于所述彩色像素验证结果和所述深度像素验证结果,得到针对所述干扰光斑的干扰验证结果。
[0342]
在一个实施例中,所述处理器110在执行所述获取反射强度图,确定所述反射强度图中的至少一个光斑之后,还执行以下步骤:
[0343]
获取所述光斑对应的光斑数量;
[0344]
若所述光斑数量大于数量阈值,则对相机曝光时间进行调整
[0345]
在本技术实施例中,通过获取反射强度图,确定反射强度图中的至少一个光斑,然后获取所述光斑中光斑像素点对应的像素特征参数,基于像素特征参数在干扰光斑与有效光斑上像素特征参数的差异,可以从至少一个光斑中准确确定干扰光斑,可以辅助消除由
于多个光斑的边缘信号叠加造成的光斑干扰;整个图像干扰处理过程减轻了对设备硬件、复杂算法的依赖,实现了准确识别光斑干扰,能够辅助输出高精度的深度测量结果,提升了深度测量场景下的鲁棒性;以及,可以结合不同的光斑干扰检测方式或基于实际应用场景确定的不同时序的光斑干扰检测方式,优化了干扰光斑的检测流程。
[0346]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述至少一个方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
[0347]
以上所揭露的仅为本技术较佳实施例而已,当然不能以此来限定本技术之权利范围,因此依本技术权利要求所作的等同变化,仍属本技术所涵盖的范围。
技术特征:1.一种图像处理方法,其特征在于,所述方法包括:获取反射强度图,确定所述反射强度图中的至少一个光斑;获取所述光斑中光斑像素点对应的像素特征参数;基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。2.根据权利要求1所述的方法,其特征在于,所述基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑,包括:确定针对反射强度图的至少一种光斑干扰检测方式,基于所述像素特征参数采用所述光斑干扰检测方式对至少一个光斑进行光斑干扰检测处理,得到干扰光斑。3.根据权利要求2所述的方法,其特征在于,所述基于所述像素特征参数采用所述光斑干扰检测方式对至少一个光斑进行光斑干扰检测处理,得到干扰光斑,包括:若所述光斑干扰检测方式为像素点强度检测方式,则基于像素强度参数对至少一个光斑进行像素点强度检测处理,得到第一干扰光斑;若所述光斑干扰检测方式为能量比例检测方式,则基于所述像素强度参数对至少一个光斑进行能量比例检测处理,得到第二干扰光斑;若所述光斑干扰检测方式为像素点均值检测方式,则基于所述像素强度参数对至少一个光斑进行像素点均值检测处理,得到第三干扰光斑;若所述光斑干扰检测方式为能量总强度检测方式,则基于所述像素强度参数对至少一个光斑进行能量总强度检测处理,得到第四干扰光斑;若所述光斑干扰检测方式为光斑位置检测方式,则基于像素位置参数对至少一个光斑进行光斑位置检测处理,得到第五干扰光斑。4.根据权利要求3所述的方法,其特征在于,所述基于像素强度参数对至少一个光斑进行像素点强度检测处理,得到第一干扰光斑,包括:基于所述像素强度参数确定所述光斑像素点对应的第一强度优先级,以及获取针对所述反射强度图的目标光斑点占比;基于所述目标光斑点占比、所述光斑像素点的第一强度优先级以及所述光斑像素点的像素强度参数,确定强度阈值。基于所述强度阈值,从至少一个所述光斑中确定第一干扰光斑。5.根据权利要求4所述的方法,其特征在于,所述基于所述目标光斑点占比、所述光斑像素点的第一强度优先级以及所述光斑像素点的像素强度参数,确定强度阈值,基于所述强度阈值,从至少一个所述光斑中确定第一干扰光斑,包括:基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,基于所述第一强度阈值从至少一个所述光斑中确定第一干扰光斑;或,获取所述光斑对应的参考像素点数量,确定所述目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑;或,基于所述目标光斑点占比以及所述光斑像素点的第一强度优先级确定第一光斑点以及获取第一光斑点对应的第一强度阈值,获取所述光斑对应的参考像素点数量,确定所述
目标光斑点占比与所述参考像素点数量对应的目标比值,基于所述目标比值以及所述光斑像素点的第一强度优先级确定第二光斑点以及获取第二光斑点对应的第二强度阈值,基于所述第一强度阈值以及所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑。6.根据权利要求5所述的方法,其特征在于,所述基于所述第一强度阈值以及所述第二强度阈值从至少一个所述光斑中确定第一干扰光斑,包括:基于所述第一强度阈值以及所述第二强度阈值确定阈值参考范围;从所述阈值参考范围中获取目标强度阈值,基于所述目标强度阈值从至少一个所述光斑中确定第一干扰光斑。7.根据权利要求3所述的方法,其特征在于,所述基于所述像素强度参数对至少一个光斑进行能量比例检测处理,得到第二干扰光斑,包括:获取至少一个所述光斑对应的中心点强度值以及所述边缘点强度值;基于所述中心点强度值以及所述边缘点强度值对至少一个光斑进行能量比例检测处理,从至少一个所述光斑中确定第二干扰光斑。8.根据权利要求7所述的方法,其特征在于,所述基于所述中心点强度值以及所述边缘点强度值对至少一个光斑进行能量比例检测处理,从至少一个所述光斑中确定第二干扰光斑,包括:基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;基于所述第一强度比例和强度比例阈值,从至少一个所述光斑中确定第二干扰光斑;和/或,基于所述中心点强度值与所述边缘点强度值确定所述光斑的第一强度比例;分别获取所述光斑对应的第一光斑,确定所述第一光斑的第二强度比例;基于所述光斑的所述第一强度比例以及所述第二强度比例,从至少一个所述光斑中确定第二干扰光斑。9.根据权利要求8所述的方法,其特征在于,所述基于所述光斑的所述第一强度比例以及所述第二强度比例,从至少一个所述光斑中确定第二干扰光斑,包括:基于所述第一强度比例以及所述第二强度比例,确定目标差值;基于所述目标差值以及差值阈值从至少一个所述光斑中确定第二干扰光斑;或,以所述第一强度比例为参考,基于至少一个所述第二强度比例确定针对所述第一光斑的强度比例波动范围;基于所述强度比例波动范围和参考波动范围,从至少一个所述光斑中确定第二干扰光斑。10.根据权利要求8所述的方法,其特征在于,所述获取所述光斑对应的第一光斑,包括:获取与所述光斑相邻的邻近光斑,将所述邻近光斑作为所述光斑对应的第一光斑;或,获取所述光斑与至少一个第二光斑的目标距离,基于所述目标距离与距离阈值从所述至少一个第二光斑中确定所述光斑对应的第一光斑。11.根据权利要求3所述的方法,其特征在于,所述基于所述像素强度参数对至少一个光斑进行像素点均值检测处理,得到第三干扰光斑,包括:确定至少一个所述光斑对应的目标像素区域,所述光斑位于所述目标像素区域内;基于所述像素强度参数确定针对至少一个所述光斑的光斑像素点均值,确定至少一个所述目标像素区域对应的区域像素点均值;基于所述光斑的所述光斑像素点均值以及所述区域像素点均值,对至少一个光斑进行
像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。12.根据权利要求11所述的方法,其特征在于,所述基于所述像素强度参数确定针对至少一个所述光斑的光斑像素点均值,确定至少一个所述目标像素区域对应的区域像素点均值,包括:获取至少一个所述光斑的全部光斑像素点对应的第一总强度以及光斑像素点总数量,将所述第一总强度与光斑像素点总数量的商作为所述光斑的光斑像素点均值;获取至少一个所述目标像素区域的全部区域像素点对应的第二总强度以及区域像素点总数量,将所述第二总强度与区域像素点总数量的商作为所述目标像素区域对应的区域像素点均值。13.根据权利要求11所述的方法,其特征在于,所述基于所述光斑像素点均值以及所述区域像素点均值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑,包括:确定所述光斑像素点均值与所述区域像素点均值对应的参考比值;基于所述参考比值与比值阈值对至少一个光斑进行像素点均值检测处理,从至少一个所述光斑中确定第三干扰光斑。14.根据权利要求3所述的方法,其特征在于,所述基于所述像素强度参数对至少一个光斑进行能量总强度检测处理,得到第四干扰光斑,包括:基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值;基于所述第三光斑的光斑强度以及所述光斑强度均值对所述第三光斑进行能量总强度检测处理,确定第四干扰光斑。15.根据权利要求14所述的方法,其特征在于,所述参考区域包括的所有光斑为第四光斑以及所述第三光斑为所有所述第四光斑中的其一;或,所述参考区域包括所述第三光斑和所有第四光斑。16.根据权利要求14所述的方法,其特征在于,所述基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值之前,还包括:获取参考区域对应的光斑总数量;若所述光斑总数量大于光斑数量阈值,则执行所述基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值的步骤;或,获取参考区域中两两光斑之间的光斑间隔距离,若所述光斑间隔距离小于间隔距离阈值,则执行所述基于所述像素强度参数,确定参考区域内第三光斑的光斑强度以及所有第四光斑对应的光斑强度均值的步骤。17.根据权利要求14所述的方法,其特征在于,所述基于所述第三光斑的光斑强度以及所述光斑强度均值对所述第三光斑进行能量总强度检测处理,确定第四干扰光斑,包括:确定所述第三光斑的光斑强度与所述光斑强度均值的强度比例;若所述强度比例小于或等于第一比例阈值,则将所述第三光斑作为第四干扰光斑。18.根据权利要求3所述的方法,其特征在于,所述基于像素位置参数对至少一个光斑进行光斑位置检测处理,得到第五干扰光斑,包括:基于像素位置参数确定针对所述至少一个光斑的光斑位置;获取至少一个所述光斑对
应的参考位置范围;若所述光斑的光斑位置与所述参考位置范围不匹配,则将所述光斑确定为第五干扰光斑。19.根据权利要求1所述的方法,其特征在于,所述从所述至少一个光斑中确定干扰光斑之后,还包括:获取彩色图像和深度图像,所述反射强度图、所述深度图像和所述彩色图像均为针对同一目标对象的不同类图像;基于所述彩色图像和所述深度图像,对所述干扰光斑进行干扰验证。20.根据权利要求19所述的方法,其特征在于,所述基于所述彩色图像和所述深度图像,对所述干扰光斑进行干扰验证,包括:确定所述干扰光斑在所述深度图像中的第一位置,以及确定所述干扰光斑对应的至少一个邻近光斑在所述深度图像中的第二位置;基于所述第一位置以及所述第二位置,得到针对所述干扰光斑的深度像素验证结果;确定所述干扰光斑在所述彩色图像中的第三位置,以及确定所述干扰光斑对应的至少一个邻近光斑在所述彩色图像中的第四位置;基于所述第三位置以及所述第四位置,得到针对所述干扰光斑的彩色像素验证结果;基于所述彩色像素验证结果和所述深度像素验证结果,得到针对所述干扰光斑的干扰验证结果。21.根据权利要求1所述的方法,其特征在于,所述获取反射强度图,确定所述反射强度图中的至少一个光斑之后,还包括:获取所述光斑对应的光斑数量;若所述光斑数量大于数量阈值,则对相机曝光时间进行调整。22.一种图像处理装置,其特征在于,所述装置包括:光斑确定模块,用于获取反射强度图,确定所述反射强度图中的至少一个光斑;参数获取模块,用于获取所述光斑中光斑像素点对应的像素特征参数;干扰确定模块,用于基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。23.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~20任意一项的方法步骤。24.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~21任意一项的方法步骤。
技术总结本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,方法包括:获取反射强度图,确定所述反射强度图中的至少一个光斑,获取所述光斑中光斑像素点对应的像素特征参数,基于所述像素特征参数,从所述至少一个光斑中确定干扰光斑。采用本申请实施例,可以准确识别干扰光斑。以准确识别干扰光斑。以准确识别干扰光斑。
技术研发人员:侯烨
受保护的技术使用者:OPPO广东移动通信有限公司
技术研发日:2022.04.11
技术公布日:2022/7/5