本发明涉及智能座舱,具体而言,涉及一种车舱图像采集方法、装置、计算机设备及存储介质。
背景技术:
1、近红外(nir)驾驶员监控摄像头是一种专门用于在车辆内部监控驾驶员状态(driver monitoring system/dms)的摄像头,它利用近红外光谱来获取图像。这种技术能够在各种光照条件下提供清晰的图像,包括夜间或逆光环境,因此对于确保驾驶员的注意力和安全至关重要。
2、现有技术中,在利用近红外驾驶员监控摄像头对车舱图像进行采集时,通常是由近红外驾驶员监控摄像头基于预先设定好的曝光时间对车舱的进行图像采集。但是在研究中发现,由于车辆的行驶环境不同,车舱内的光照可能会发生变化,出现亮度较高、亮度较低或者是亮度不均匀的情况,从而会导致在基于预先设定好的曝光时间对车舱的进行图像采集后采集到的图像发生过曝、欠曝或者曝光不均匀的情况,从而无法获得清楚有效的车舱图像,或者导致采集到的车舱图像的清晰度降低。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种车舱图像采集方法、装置、计算机设备及存储介质,以提高采集到的车舱图像的清晰度。
2、第一方面,本技术实施例提供了一种车舱图像采集方法,所述方法包括:
3、通过驾驶员监控摄像头实时采集车舱图像,检测当前车舱图像中是否有人脸;
4、若当前车舱图像中有人脸,对当前车舱图像进行人脸识别和关键点定位得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态;
5、根据当前车舱图像中的人脸的各关键点的遮挡状态确定出当前车舱图像的测光区域;
6、根据当前车舱图像的测光区域的像素灰度确定出所述驾驶员监控摄像头的曝光时间的目标调整方向和目标调整量;
7、根据所述目标调整方向和所述目标调整量对所述驾驶员监控摄像头的曝光时间进行调整;
8、通过所述驾驶员监控摄像头以调整后的曝光时间采集下一时刻的车舱图像。
9、可选地,所述对当前车舱图像进行人脸识别和关键点定位得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态,包括:
10、将当前车舱图像输入至人脸识别模型得到当前车舱图像中包含人脸的人脸外接框;
11、将所述人脸外接框包含的人脸区域输入至人脸关键点定位模型中得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态。
12、可选地,所述根据当前车舱图像中的人脸的各关键点的遮挡状态确定出当前车舱图像的测光区域,包括:
13、根据当前车舱图像中的指示眼部的各眼部关键点的遮挡状态确定出所述眼部的遮挡状态;
14、根据当前车舱图像中的指示嘴部和下颚的各嘴周关键点的遮挡状态确定出所述嘴部的遮挡状态;
15、根据所述眼部的遮挡状态和所述嘴部的遮挡状态确定出当前车舱图像的测光区域。
16、可选地,所述根据当前车舱图像中的指示眼部的各眼部关键点的遮挡状态确定出所述眼部的遮挡状态,包括:
17、判断各眼部关键点中遮挡状态为被遮挡的遮挡眼部关键点的数量与眼部关键点的第一总数量的占比是否超过第一预设阈值;
18、若所述遮挡眼部关键点的数量与所述第一总数量的占比超过所述第一预设阈值,则确定出所述眼部的遮挡状态为被遮挡;
19、若所述遮挡眼部关键点的数量与所述第一总数量的占比未超过所述第一预设阈值,则确定出所述眼部的遮挡状态为未遮挡。
20、可选地,所述根据当前车舱图像中的指示嘴部和下颚的各嘴周关键点的遮挡状态确定出所述嘴部的遮挡状态,包括:
21、判断各嘴周关键点中遮挡状态为被遮挡的遮挡嘴周关键点的数量与嘴周关键点的第二总数量的占比是否超过第二预设阈值;
22、若所述遮挡嘴周关键点的数量与所述第二总数量的占比超过所述第二预设阈值,则确定出所述嘴部的遮挡状态为被遮挡;
23、若所述遮挡嘴周关键点的数量与所述第二总数量的占比未超过所述第二预设阈值,则确定出所述嘴部的遮挡状态为未遮挡。
24、可选地,所述根据所述眼部的遮挡状态和所述嘴部的遮挡状态确定出当前车舱图像的测光区域,包括:
25、若所述眼部的遮挡状态为被遮挡但所述嘴部的遮挡状态为未遮挡,则所述测光区域确定为嘴部区域;
26、若所述眼部的遮挡状态为未遮挡但所述嘴部的遮挡状态为被遮挡,则所述测光区域确定为眼部区域;
27、若所述眼部和所述嘴部的遮挡状态均为被遮挡,或者所述眼部和所述嘴部的遮挡状态均为未遮挡,则将所述测光区域确定为人脸区域。
28、可选地,所述根据当前车舱图像的测光区域的像素灰度确定出所述驾驶员监控摄像头的曝光时间的目标调整方向和目标调整量,包括:
29、预先配置第一参数r和第二参数gray_theshold;
30、统计测光区域矩形内的像素灰度的百分位数,得到百分位数统计结果;
31、判断所述百分位数统计结果中的p(r)是否超过所述第二参数gray_theshold,其中,p(r)为第r个百分位数的数值;
32、若所述百分位数统计结果中的p(r)超过所述第二参数gray_theshold,则将所述目标调整方向确定为减少;
33、若所述百分位数统计结果中的p(r)未超过所述第二参数gray_theshold,将所述目标调整方向确定为增加;
34、基于pid控制算法确定出所述目标调整量。
35、第二方面,本技术实施例提供了一种车舱图像采集装置,所述装置包括:
36、图像检测模块,用于通过驾驶员监控摄像头实时采集车舱图像,检测当前车舱图像中是否有人脸;
37、遮挡状态确定模块,用于若当前车舱图像中有人脸,对当前车舱图像进行人脸识别和关键点定位得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态;
38、测光区域确定模块,用于根据当前车舱图像中的人脸的各关键点的遮挡状态确定出当前车舱图像的测光区域;
39、调整策略确定模块,用于根据当前车舱图像的测光区域的像素灰度确定出所述驾驶员监控摄像头的曝光时间的目标调整方向和目标调整量;
40、曝光时间调整模块,用于根据所述目标调整方向和所述目标调整量对所述驾驶员监控摄像头的曝光时间进行调整;
41、图像采集模块,用于通过所述驾驶员监控摄像头以调整后的曝光时间采集下一时刻的车舱图像。
42、可选地,所述对当前车舱图像进行人脸识别和关键点定位得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态,包括:
43、将当前车舱图像输入至人脸识别模型得到当前车舱图像中包含人脸的人脸外接框;
44、将所述人脸外接框包含的人脸区域输入至人脸关键点定位模型中得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态。
45、可选地,所述根据当前车舱图像中的人脸的各关键点的遮挡状态确定出当前车舱图像的测光区域,包括:
46、根据当前车舱图像中的指示眼部的各眼部关键点的遮挡状态确定出所述眼部的遮挡状态;
47、根据当前车舱图像中的指示嘴部和下颚的各嘴周关键点的遮挡状态确定出所述嘴部的遮挡状态;
48、根据所述眼部的遮挡状态和所述嘴部的遮挡状态确定出当前车舱图像的测光区域。
49、可选地,所述根据当前车舱图像中的指示眼部的各眼部关键点的遮挡状态确定出所述眼部的遮挡状态,包括:
50、判断各眼部关键点中遮挡状态为被遮挡的遮挡眼部关键点的数量与眼部关键点的第一总数量的占比是否超过第一预设阈值;
51、若所述遮挡眼部关键点的数量与所述第一总数量的占比超过所述第一预设阈值,则确定出所述眼部的遮挡状态为被遮挡;
52、若所述遮挡眼部关键点的数量与所述第一总数量的占比未超过所述第一预设阈值,则确定出所述眼部的遮挡状态为未遮挡。
53、可选地,所述根据当前车舱图像中的指示嘴部和下颚的各嘴周关键点的遮挡状态确定出所述嘴部的遮挡状态,包括:
54、判断各嘴周关键点中遮挡状态为被遮挡的遮挡嘴周关键点的数量与嘴周关键点的第二总数量的占比是否超过第二预设阈值;
55、若所述遮挡嘴周关键点的数量与所述第二总数量的占比超过所述第二预设阈值,则确定出所述嘴部的遮挡状态为被遮挡;
56、若所述遮挡嘴周关键点的数量与所述第二总数量的占比未超过所述第二预设阈值,则确定出所述嘴部的遮挡状态为未遮挡。
57、可选地,所述根据所述眼部的遮挡状态和所述嘴部的遮挡状态确定出当前车舱图像的测光区域,包括:
58、若所述眼部的遮挡状态为被遮挡但所述嘴部的遮挡状态为未遮挡,则所述测光区域确定为嘴部区域;
59、若所述眼部的遮挡状态为未遮挡但所述嘴部的遮挡状态为被遮挡,则所述测光区域确定为眼部区域;
60、若所述眼部和所述嘴部的遮挡状态均为被遮挡,或者所述眼部和所述嘴部的遮挡状态均为未遮挡,则将所述测光区域确定为人脸区域。
61、可选地,所述根据当前车舱图像的测光区域的像素灰度确定出所述驾驶员监控摄像头的曝光时间的目标调整方向和目标调整量,包括:
62、预先配置第一参数r和第二参数gray_theshold;
63、统计测光区域矩形内的像素灰度的百分位数,得到百分位数统计结果;
64、判断所述百分位数统计结果中的p(r)是否超过所述第二参数gray_theshold,其中,p(r)为第r个百分位数的数值;
65、若所述百分位数统计结果中的p(r)超过所述第二参数gray_theshold,则将所述目标调整方向确定为减少;
66、若所述百分位数统计结果中的p(r)未超过所述第二参数gray_theshold,将所述目标调整方向确定为增加;
67、基于pid控制算法确定出所述目标调整量。
68、第三方面,本技术实施例提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可选地实施方式中所述的车舱图像采集方法的步骤。
69、第四方面,本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面中任一种可选地实施方式中所述的车舱图像采集方法的步骤。
70、本技术提供的技术方案包括但不限于以下有益效果:
71、本技术通过驾驶员监控摄像头实时采集车舱图像,检测当前车舱图像中是否有人脸,若当前车舱图像中有人脸,对当前车舱图像进行人脸识别和关键点定位得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态,能够以未进行曝光时间调节的驾驶员监控摄像头采集到用于作为是否需要进行曝光时间调节的原始车舱图像,并对原始车舱图像中的人脸的各关键点以及各关键点的遮挡状态进行检测,为后续曝光时间调节策略的确定提供参考依据。
72、然后,本技术根据当前车舱图像中的人脸的各关键点的遮挡状态确定出当前车舱图像的测光区域,根据当前车舱图像的测光区域的像素灰度确定出所述驾驶员监控摄像头的曝光时间的目标调整方向和目标调整量,能够确定出用于调整曝光时间的图片区域,并根据区域内的灰度数据确定出曝光调整策略。
73、最后,根据所述目标调整方向和所述目标调整量对所述驾驶员监控摄像头的曝光时间进行调整,通过所述驾驶员监控摄像头以调整后的曝光时间采集下一时刻的车舱图像,能够实现对驾驶员监控摄像头的曝光时间的合理调节,从而提高通过驾驶员监控摄像头采集到的车舱图像的清晰度。
74、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
1.一种车舱图像采集方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对当前车舱图像进行人脸识别和关键点定位得到当前车舱图像中的人脸的各关键点以及各关键点的遮挡状态,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据当前车舱图像中的人脸的各关键点的遮挡状态确定出当前车舱图像的测光区域,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据当前车舱图像中的指示眼部的各眼部关键点的遮挡状态确定出所述眼部的遮挡状态,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据当前车舱图像中的指示嘴部和下颚的各嘴周关键点的遮挡状态确定出所述嘴部的遮挡状态,包括:
6.根据权利要求3所述的方法,其特征在于,所述根据所述眼部的遮挡状态和所述嘴部的遮挡状态确定出当前车舱图像的测光区域,包括:
7.根据权利要求1所述的方法,其特征在于,所述根据当前车舱图像的测光区域的像素灰度确定出所述驾驶员监控摄像头的曝光时间的目标调整方向和目标调整量,包括:
8.一种车舱图像采集装置,其特征在于,所述装置包括:
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一所述的车舱图像采集方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7中任意一项所述的车舱图像采集方法的步骤。