车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质与流程

allin2024-08-14  88



1.本技术涉及车辆驾驶技术领域,尤其涉及一种车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质。


背景技术:

2.目前,随着车辆技术的发展,车辆使人们的出行越来越高效和便利。越来越多的用户开始自己驾驶车辆出行,当然,用户在驾车上路之前,需要考取驾照。无论是在学车过程中,还是在学车以后实际驾车行驶过程中,都需要注意行车安全。
3.现有技术中,已经存在采集车辆驾驶人员的心跳、呼吸等生理参数来检测驾驶人员是否处于疲劳驾驶的技术方案,在检测到驾驶人员处于疲劳驾驶状态时,及时提醒车辆驾驶人员停车休息,来保证行车安全。但是,疲劳驾驶仅是影响行车安全的一种因素,与行车安全相关的提醒技术需要进一步完善。


技术实现要素:

4.本技术的多个方面提供一种车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质,用以保障了驾驶人员的行车安全。
5.本技术实施例提供一种车辆驾驶人员驾驶行为调整方法,应用于目标车辆,目标车辆中安装有至少一个视觉传感器,该方法包括:利用至少一个视觉传感器采集驾驶人员在驾车过程中的多张图像;根据多张图像分别识别驾驶人员的整体驾驶姿态信息和/或视觉注意力信息;根据整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态;在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为;所述第一调整引导信息与所述驾驶人员的历史驾驶行为状态适配。
6.本技术实施例还提供一种车辆驾驶人员驾驶行为调整装置,应用于目标车辆,目标车辆中安装有至少一个视觉传感器,车辆驾驶人员驾驶行为调整装置包括:采集模块、识别模块、确定模块以及输出模块;采集模块,用于利用至少一个视觉传感器采集驾驶人员在驾车过程中的多张图像;识别模块,用于根据多张图像分别识别驾驶人员的整体驾驶姿态信息和/或视觉注意力信息;确定模块,用于根据整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态;输出模块,用于在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为;所述第一调整引导信息与所述驾驶人员的历史驾驶行为状态适配。
7.本技术实施例还提供一种车辆驾驶人员驾驶行为调整设备,应用于目标车辆,目标车辆中安装有至少一个视觉传感器,设备包括:存储器和处理器;存储器,用于存储计算机程序;处理器,与存储器耦合,用于执行计算机程序,以实现本技术实施例提供的车辆驾驶人员驾驶行为调整方法中的各步骤。
8.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质,当计算机程序被处理器执行时,致使处理器实现本技术实施例提供的车辆驾驶人员驾驶行为调整方法
中的各步骤。
9.在本技术实施例中,在驾驶人员驾车过程中采集驾驶人员的多张图像,根据采集到的多张图像,确定驾驶人员的整体驾驶姿态信息和/或视觉注意力信息,根据驾驶人员的整体驾驶姿态信息和/或视觉注意力信息确定驾驶人员的行为状态,并在驾驶人员处于非安全驾驶行为状态时,及时输出与驾驶人员的历史驾驶行为状态适配的调整引导信息,以提示并引导驾驶人员调整其驾驶行为,提高了输出调整引导信息的准确性和实效性,保障了驾驶人员的行车安全。
附图说明
10.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
11.图1为本技术示例性实施例提供的一种车辆驾驶人员驾驶行为调整方法的流程示意图;
12.图2为本技术示例性实施例提供的一种确定驾驶人员的驾驶行为状态的流程示意图;
13.图3a为本技术示例性实施例提供的一种姿态检测模型输出结果的示意图;
14.图3b为本技术示例性实施例提供的另一种姿态检测模型输出结果的示意图;
15.图4为本技术示例性实施例提供的一种姿态检测模型的生成和使用的示意图;
16.图5为本技术示例性实施例提供的一种车辆驾驶人员驾驶行为调整装置的结构示意图;
17.图6为本技术示例性实施例提供的一种车辆驾驶人员驾驶行为调整设备的结构示意图。
具体实施方式
18.为使本技术的目的、技术方案和优点更加清楚,下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
19.针对现有技术中行车安全相关的提醒技术需要进一步完善的问题,在本技术实施例中,在驾驶人员驾车过程中采集驾驶人员的多张图像,根据采集到的多张图像,确定驾驶人员的整体驾驶姿态信息和/或视觉注意力信息,根据驾驶人员的整体驾驶姿态信息和/或视觉注意力信息确定驾驶人员的行为状态,并在驾驶人员处于非安全驾驶行为状态时,及时输出与驾驶人员的历史驾驶行为状态适配的调整引导信息,以提示并引导驾驶人员调整其驾驶行为,提高了输出调整引导信息的准确性和实效性,保障了驾驶人员的行车安全。
20.以下结合附图,详细说明本技术各实施例提供的技术方案。
21.图1为本技术示例性实施例提供的一种车辆驾驶人员驾驶行为调整方法的流程示意图。该方法应用于目标车辆,目标车辆中安装有至少一个视觉传感器,如图1所示,该方法包括:
22.101、利用至少一个视觉传感器采集驾驶人员在驾车过程中的多张图像;
23.102、根据多张图像分别识别驾驶人员的整体驾驶姿态信息和/或视觉注意力信息;
24.103、根据整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态;
25.104、在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为;第一调整引导信息与驾驶人员的历史驾驶行为状态适配。
26.在本实施例中,视觉传感器可以包含但不限于:单目相机、双目相机或者红绿蓝深度图(red green blue depth map,rgbd)摄像头等。视觉传感器的数量也不限定,视觉传感器可以是1个,也可以是多个,例如,3个或5个等。其中,视觉传感器的安装位置也不限定。在视觉传感器的数量为一个的情况下,视觉传感器可以安装在车辆内部车顶上方、左车门的侧壁上或仪表台上;在视觉传感器的数量为多个的情况下,例如,视觉传感器的数量为3个,可以在仪表台上方、主驾驶位靠背右上侧车顶以及副驾驶车门位置的右前侧分别安装视觉传感器。
27.在本实施例中,可以根据至少一个视觉传感器采集到的多张图像,分别识别驾驶人员的整体驾驶姿态信息和/或视觉注意力信息。其中,整体驾驶姿态信息主要体现驾驶人员的身体躯干或头部等与目标车辆的相对位置关系,例如,头部与目标车辆顶部的距离,头部与车门的位置关系,背部座椅的角度等。视觉注意力信息是一种根据驾驶人员的脸部区域检测到的信息,视觉注意力信息可以是注意力集中、注意力涣散或者注意力正常等。
28.在本实施例中,结合驾驶人员的整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态。例如,可以根据驾驶人员的整体驾驶姿态信息,确定驾驶人员的驾驶行为状态,或者根据驾驶人员的视觉注意力信息,确定驾驶人员的驾驶行为状态,或者,根据驾驶人员的整体驾驶姿态信息和视觉注意力信息,确定驾驶人员的驾驶行为状态。
29.在本实施例中,驾驶行为状态包括安全驾驶行为状态和非安全驾驶行为状态,在驾驶人员处于非安全驾驶行为状态时,可以输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为。其中,并不对第一调整引导信息进行限定,例如,若整体驾驶行为姿态表示驾驶人员处于非安全驾驶行为状态,则可以对外输出提示驾驶人员调整驾驶人员整体姿态的提示信息,例如,“请将头部摆正”,或者“请将座椅靠背向前调整”等。又例如,若视觉注意力信息表示驾驶人员处于非安全驾驶行为状态,则可以对外输出提示驾驶人员改变注意力的提示信息,例如,若检测到驾驶人员注意力不集中,则可以对外输出“请集中注意力”的提示信息,若检测到驾驶人员注意力过于集中,则可以对外输出“请放松”的提示信息。
30.进一步,在驾驶人员处于非安全驾驶行为状态时,可以输出与驾驶人员的历史驾驶行为状态适配的第一调整引导信息,对于任一非安全驾驶行为状态,若驾驶人员的历史驾驶行为状态指示该驾驶人员在历史时期多次处于该非安全驾驶行为状态,则在输出针对该非安全驾驶行为状态的第一调整引导信息的情况下,还可以通过教练声音或者驾驶人员自己录制的声音个性化输出该第一调整引导信息,例如,“危险!危险!转弯时您已多次忘记开启转向灯,请重视”,或者,通过蜂蜜器或警告音效提醒驾驶人员不要再次处于该非安全驾驶行为状态。整个过程中,可以针对驾驶人员的历史驾驶行为状态,个性化输出第一调整引导信息,引起驾驶人员的重视,使得驾驶人员可以具有针对性的调整驾驶行为,保障驾驶人员的行车安全。
31.除此之外,在学员学车场景中,在驾驶人员处于非安全驾驶行为状态时,除了输出与驾驶人员的历史驾驶行为状态适配的第一调整引导信息之外,还可以远程输出教练的语音指导信息,以辅助驾驶人员调整驾驶行为状态,或者,指导驾驶人员执行后续的驾驶行为,整个过程中,可以针对驾驶学员进行个性化的提醒或指导,使得驾驶人员准确、快速的掌握驾驶技能。进一步,在驾驶人员处于非安全驾驶行为状态的情况下,驾驶人员驾驶的目标车辆可被远程操控,例如,调整方向盘的角度,控制刹车、离合或油门等,及时调整目标车辆的行驶状态,避免驾驶人员处于危险之后,保障了驾驶人员的安全。
32.在本技术实施例中,在驾驶人员驾车过程中采集驾驶人员的多张图像,根据采集到的多张图像,确定驾驶人员的整体驾驶姿态信息和/或视觉注意力信息,根据驾驶人员的整体驾驶姿态信息和/或视觉注意力信息确定驾驶人员的行为状态,并在驾驶人员处于非安全驾驶行为状态时,及时输出与驾驶人员的历史驾驶行为状态适配的调整引导信息,以提示并引导驾驶人员调整其驾驶行为,提高了输出调整引导信息的准确性和实效性,保障了驾驶人员的行车安全。
33.在一可选实施例中,以视觉传感器的数量是2个,视觉传感器是摄像头为例,对视觉传感器采集多张图像的实施方式进行说明。摄像头a1在仪表台上方,用来检测驾驶人员的头部姿态。摄像头a2在副驾驶车门位置右前侧,用来检测驾驶人员的身体姿势。其中,身体姿态可以但不限于:躯干与方向盘的距离或座椅靠背的角度等。基于上述,根据多张图像识别驾驶人员的整体驾驶姿态信息的实施方式,包括:根据至少一个视觉传感器采集的多张图像,识别驾驶人员的躯干与方向盘的第一实际距离、驾驶人员的头部与车辆顶部的第二实际距离以及座椅靠背的实际角度,将该第一实际距离、第二实际距离以及座椅靠背的实际角度作为驾驶人员的整体驾驶姿态信息。
34.在一可选实施例中,摄像头a1在检测驾驶人员的头部姿态的情况下,还可以检测驾驶人员的面部神态或者眼神状态,或者摄像头a1可以同时检测驾驶人员的面部神态和眼神状态。其中,面部神态包含但不限于:眉毛、嘴巴、脸部肌肉等的状态信息,眼神状态包含但不限于:瞳孔、眼皮、眼周等的状态信息。基于此,根据多张图像识别驾驶人员的视觉注意力信息的实施方式,包括:从多张图像中选择包含驾驶人员的脸部区域的目标图像;例如,可以从摄像头a1采集的图像中选择带有驾驶人员脸部区域的目标图像;从目标图像中识别驾驶人员的面部神态或者眼神状态,根据识别到的面部神态或者眼神状态,确定驾驶人员的视觉注意力信息,或者从目标图像中识别驾驶人员的面部神态和眼神状态,根据识别到的面部神态和眼神状态,确定驾驶人员的视觉注意力信息。
35.在一可选实施例中,如图2所示,根据整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态的实施方式,包括:判断整体驾驶姿态信息是否符合安全驾驶对应的标准驾驶姿态,并判断视觉注意力信息是否符合安全驾驶对应的标准注意力条件;若整体驾驶姿态信息不符合标准驾驶姿态,或者视觉注意力信息不符合标准注意力条件,则确定驾驶人员处于非安全驾驶行为状态。
36.其中,标准注意力条件可以是根据驾驶人员的历史驾驶行为分析或驾驶人员的面部神态和/或眼神状态预先设定的注意力条件。例如,经过对某驾驶人员历史行为的分析,确定该驾驶人员在注视某一位置的时长超过某一阈值时,则为注意力不集中的状态,则标准注意力条件可以是注视某一位置的时长不超过设定的时长阈值,该时长阈值可以是1s、
2s或5s等,其中时长阈值根据驾驶人员的历史行为分析结果确定,不同的驾驶人员可对应不同的阈值。又例如,驾驶人员的眼睛张开的大小取决于眼眶的高度,则可以对驾驶人员眼睛张开的高度进行分析,并确定该驾驶人员眼睛张开的高度为l
±
3mm时,驾驶人员处于注意力集中的状态,则标准注意力条件可以是眼睛张开的高度为l
±
3mm,其中,l可以是5mm、6mm或8mm等,l值根据驾驶人员的眼眶高度而定,不同驾驶人员对应不同的l值。其中,标准驾驶姿态与所述驾驶人员适配,标准驾驶姿态并不限定,根据驾驶人员的身体形态的不同,标准驾驶姿势也有所不同,例如,个头高的驾驶人员,其头部与车辆顶部的距离较短,对于个头低的驾驶人员,其头部与车辆顶部的距离较长;对于体重较大的驾驶人员,其躯干距离方向盘的距离较短,对于体重较小的驾驶人员,其躯干距离方向盘的距离较长。针对上述情况,可以针对每个驾驶人员,个性化的设定标准驾驶姿态,例如,在驾车之前,驾驶人员以标准的姿态处于驾驶位置,此时至少一个视觉传感器采集驾驶人员的姿态信息,并将采集到的图像中的驾驶姿态作为针对该驾驶人员的标准驾驶姿态。
37.在一可选实施例中,标准驾驶姿态包括:驾驶人员的躯干与方向盘的第一标准距离、驾驶人员的头部与车辆顶部的第二标准距离以及座椅靠背的标准角度。其中,判断整体驾驶姿态信息是否符合安全驾驶对应的标准驾驶姿态的实施方式,包括:若第一实际距离与第一标准距离不满足设定第一距离条件,或者第二实际距离与第二标准距离不满足设定的第二距离条件,或者,实际角度与标准角度不满足设定角度条件,则确定整体驾驶姿态信息不符合标准驾驶姿态。其中,设定的第一距离条件可以是第一实际距离与第一标准距离的差值的绝对值小于设定的第一差值阈值,该第一差值阈值可以是1cm、2cm或5cm等。设定的第二距离条件可以是第二实际距离与第二标准距离的差值的绝对值小于设定的第二差值阈值,该第一差值阈值可以是2cm、3cm或4cm等。设定角度条件可以是实际角度与标准角度的差值的绝对值小于设定的第三差值阈值,第三差值阈值可以是5度、7度或8度等,对此不做限定。
38.相应地,在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为,包括:若第一实际距离与第一标准距离不满足设定第一距离条件,则输出躯干调整引导信息,例如,“将身体躯干向前”;若第二实际距离与第二标准距离不满足设定的第二距离条件,则输出头部调整引导信息,例如,“请将头部姿态摆正”;若座椅靠背的实际角度与标准角度不满足设定角度条件,则输出座椅靠背调整引导信息,例如,“请将座椅靠背的角度调大”。
39.在一可选实施例中,判断视觉注意力信息是否符合安全驾驶对应的标准注意力条件的实施方式,包括:若驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,或者驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则确定视觉注意力信息不符合标准注意力条件;相应地,在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为的实施方式,包括:若检测到驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,则输出提醒驾驶人员提高注意力的引导信息;或者若检测到驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则输出提醒驾驶人员放松的引导信息。
40.在本实施例中,在车辆驾驶场景中,例如,学员学车场景中,学员在学车时,指导教练会指导一些的点位,比如侧方停车需要在视线观看到车库右后角时,回正方向盘,倒车入
库要根据标线把握旋转方向盘的时机,停车入库时需要根据后视镜与标线的距离确定停车位置是否合适等。但是,每一个学员身高体型不同,合适自己的驾驶姿态以及靠背角度等都各不相同,这些因素都会导致学员在把握点位时出现偏差。在本实施例中,可根据整体驾驶姿态信息和视觉注意力信息,个性化确定不同驾驶人员的驾驶姿态,从而帮助驾驶人员寻找准确点位,提高行车过程的寻找点位的准确性,提高行车安全。
41.在一可选实施例中,还包括对驾驶人员局部驾驶姿态的检测与识别,其中,局部驾驶姿态包括头部姿态、手部姿态以及躯干姿态中的至少一种。具体地,可以将至少一个视觉传感器采集的多张图像输入姿态检测模型,对驾驶人员的局部驾驶姿态进行检测与识别;若识别到驾驶人员的头部姿态、手部姿态以及躯干姿态中的至少一种与对应部位的错误姿态匹配,则对外输出第二调整引导信息,以供驾驶人员调整对应部位的姿态。其中,姿态检测模块可以是任何目标检测模型,例如,手机网路-你只看一次(mobile net-you only look once,mobilenet-yolov4)深度学习目标检测的算法模型,该模型是轻量级模型,适用于移动端。
42.在一可选实施例中,若识别到驾驶人员的头部姿态、手部姿态以及躯干姿态中的至少一种与对应部位的错误姿态匹配,则对外输出第二调整引导信息,以供驾驶人员调整对应部位的姿态的实施方式,下面分三种情况进行介绍。
43.实施方式x1:针对头部姿态,若检测到驾驶人员相对标准头部姿态扭动角度超过设定的第一头部扭转角度,或者向下低头的角度超过设定的第二头部扭转角度,则对外输出头部姿态调整引导消息。
44.例如,驾驶人员在驾车过程中头部应该直视前方,在观察后视镜时,可以轻微扭头,即相对标准头部姿态扭动角度不超过设定的第一头部扭转角度;但是若在观察后视镜过程中,扭头幅度过大,即检测到驾驶人员相对标准头部姿态扭动角度超过设定的第一头部扭转角度,则会存在行车安全问题,可以对外输出头部姿态调整引导消息,以供驾驶人员调整头部的姿态。例如,第二调整引导信息可以是“请及时注视前方”或“请小幅度扭转头部”等。其中,第一头部扭转角度可以是10度、20度或50度等。
45.又例如,驾驶人员在驾车过程中,驾驶人员可能会低头查看车辆的踏板或档位,驾驶人员向下低头的角度超过设定的第二头部扭转角度,则可能会造成行车危险,对外输出头部姿态调整引导消息,以供驾驶人员调整头部的姿态。例如,头部姿态调整引导消息可以是“请抬头”或“请不要低头”等。其中,第二头部扭转角度可以是20度、30度或50度等。
46.实施方式x2:针对手部姿态,若在驾驶人员使用方向盘的情况下,驾驶人员的手部姿态不满足设定方向盘使用条件,则输出手部姿态调整引导信息。例如,针对直行时驾驶人员握方向盘手势的情况,直行时应该双手握方向盘,两只手应该分别放在9点钟方向和3点钟方向,但是驾驶人员可能会不按照上述要求摆放手的位置,则此时可以对外输出手部姿态调整引导信息,例如:“请将双手放置方向盘两侧”。如图3a所示,视觉传感器采集的图像,其中包含手部握方向盘的姿态,利用姿态检测模型,在图3a中标记出手部区域(hand),并确定该区域为手部的概率,例如,第一标记区域中,识别到手部(hand)的概率为1.00,第二标记区域中,识别到手部(hand)的概率为0.99,第三标记区域中,识别到手部姿态正确(right)的概率为1.00。再例如,针对转弯时握方向盘手势的情况,转弯时驾驶人员将方向盘旋转至最右或者最左时,双手应该调整回合适的位置,不能保持双手交叉,此时若检测到
驾驶人员双手交叉且超过设定时间,例如2秒,则对外输出手部姿态调整引导信息,例如“请不要将双手交叉放置”。又例如,针对单手握方向盘的情况,驾驶人员在驾车过程中由于操作不当,只用单手操作方向盘,若检测到驾驶人员单手握方向盘超过设定时间,例如1秒,则对外输出手部姿态调整引导信息,例如“请不要单手握方向盘”。
47.在驾驶人员使用档杆的情况下,驾驶人员的手部姿态不满足设定档杆使用条件,则输出手部姿态调整引导信息。例如,驾驶人员挂挡的手势检测主要是确定驾驶人员挂挡的时机是否准确,并且不能长时间将手放置在挡杆上,若检测到手置于档杆的时间超过设定时间,例如2秒,则对外输出手部姿态调整引导信息,例如“请不要将手放置在档杆处”。
48.在驾驶人员使用喇叭的情况下,驾驶人员的手部姿态不满足设定喇叭使用条件,则输出手部姿态调整引导信息。例如,驾驶人员在使用喇叭时可能会长按不松喇叭,若检测到驾驶人员手按压喇叭超过设定时间,例如2秒,则对外输出手部姿态调整引导信息,例如“请停止按压喇叭”。
49.在驾驶人员使用灯光或雨刷调节开关的情况下,驾驶人员的手部姿态不满足设定开关使用条件,则输出手部姿态调整引导信息。例如,驾驶人员在转弯时未使用转向灯,则对外输出手部姿态调整引导信息,例如“请打开转向灯”,或者,在下雨时未使用雨刷器,则对外输出手部姿态调整引导信息,例如“请打开雨刷器”。
50.实施方式x3:针对躯干姿态,若检测到驾驶人员的躯干与车辆方向盘不满足设定的第三距离条件,或者驾驶人员的躯干姿态不满足设定的倾斜或旋转条件,则输出躯干姿态调整引导信息。例如,驾驶人员在驾车时应该保持坐姿端正,若检测到驾驶人员的躯干与车辆方向盘不满足设定的第三距离条件,例如,设定的第三距离条件是一个距离范围,若检测到驾驶人员的躯干与车辆方向盘之间的距离未处于该距离范围内,则认为驾驶人员的驾驶行为状态不满足设定的第三距离条件,输出躯干姿态调整引导信息,例如,“请向前调整身体躯干”。又例如,设定的倾斜或旋转条件是一个倾斜角度范围或旋转角度范围,则若检测到驾驶人员的躯干姿态的倾斜角度未处于该倾斜角度范围内,或者检测到驾驶人员的躯干姿态的旋转角度未处于该旋转角度范围内,则认为驾驶人员的躯干姿态不满足设定的倾斜或旋转条件,则输出躯干姿态调整引导信息,例如,“请不要倾斜身体”或者“请不要旋转身体”。如图3b所示,第一标记区域中标记出躯干姿态是错误姿势(wrongpose)的概率为0.93。
51.在本实施例中,可采用深度学习网络模型实现对车辆驾驶人员驾驶行为的调整,其中,深度学习网络模型可实现为本技术中的姿态检测模型。下面分为三个部分进行介绍,第一部分是非安全驾驶行为状态分类,第二部分为模型训练,第三部分为驾驶行为检测。
52.(1)第一部分:确定驾驶人员的非安全驾驶行为状态。例如,驾驶人员的头部姿态、手部姿态以及躯干姿态等处于非安全驾驶行为状态的情况,或者驾驶人员的面部神态和/或眼神状态等处于非安全驾驶行为状态的情况。其中,采用深度学习训练的模型,在驾驶人员驾车过程中,还可能发现更多的非安全驾驶行为状态,若发现新的非安全驾驶行为状态,可以在原来模型基础上进行迁移学习,重新训练模型,不断的完善模型,提高模型对驾驶行为状态检测的准确性。
53.(2)第二部分:训练模型,如图4所示。
54.采集图像:利用视觉传感器采集图像,视觉传感器采集的可以是图像,也可以是视
频,在视觉传感器采集视频的情况下,通过读取视频帧的方式,选出不同类别的图像,其中,正确图像(安全驾驶行为状态)占比30%,错误图像(非安全驾驶行为状态)占比70%,将所有图像顺序打乱后存储。
55.标注数据:使用图像标注(labelimg)工具对图像进行逐一标注,将标注好的图像和可扩展标记语言(extensible markup language,xml)文件进行整理,整理成可以用于目标检测训练的文件。
56.训练模型:采用目标检测模型,例如,mobilenet-yolov4深度学习目标检测的算法模型进行模型训练,该模型为轻量级模型,适用于移动端。利用标注好的数据对模型进行训练,将训练好的模型保存。
57.(3)第三部分:驾驶行为检测
58.实时采集图像:从视觉传感器采集的视频中截取视频帧,得到多张图像,将多张图像处理后传给模型进行驾驶行为姿态的检测;
59.模型检测:将训练好的目标检测模型部署到终端设备、车载终端设备或服务器上,将图像输入至目标检测模型中进行驾驶行为姿态的检测,判断驾驶人员在驾车过程中是否存在非安全驾驶行为状态,并反馈。
60.给出调整引导信息:如果驾驶人员的行为没有问题,则不给出提示,如果存在非安全驾驶行为状态,则立即输出调整引导信息,以提示并引导驾驶人员调整其驾驶行为。
61.需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤101至步骤103的执行主体可以为设备a;又比如,步骤101和102的执行主体可以为设备a,步骤103的执行主体可以为设备b;等等。
62.另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
63.图5为本技术示例性实施例提供的一种车辆驾驶人员驾驶行为调整装置的结构示意图,该装置可安装在目标车辆上,实现为目标车辆的车载终端,如图5所示,目标车辆中安装有至少一个视觉传感器,该车辆驾驶人员驾驶行为调整装置包括:采集模块51、识别模块52、确定模块53以及输出模块54。
64.采集模块51,用于利用至少一个视觉传感器采集驾驶人员在驾车过程中的多张图像;
65.识别模块52,用于根据多张图像分别识别驾驶人员的整体驾驶姿态信息和/或视觉注意力信息;
66.确定模块53,用于根据整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态;
67.输出模块54,用于在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为;所述第一调整引导信息与所述驾驶人员的历史驾驶行为状态适配。
68.在一可选实施例中,识别模块52具体用于:根据多张图像识别驾驶人员的躯干与方向盘的第一实际距离、驾驶人员的头部与车辆顶部的第二实际距离以及座椅靠背的实际角度,作为驾驶人员的整体驾驶姿态信息。
69.在一可选实施例中,识别模块52具体用于:从多张图像中选择包含驾驶人员的脸部区域的目标图像;从目标图像中识别驾驶人员的面部神态和/或眼神状态;根据面部神态和/或眼神状态,确定驾驶人员的视觉注意力信息。
70.在一可选实施例中,确定模块53具体用于:判断整体驾驶姿态信息是否符合安全驾驶对应的标准驾驶姿态,并判断视觉注意力信息是否符合安全驾驶对应的标准注意力条件;若整体驾驶姿态信息不符合标准驾驶姿态,或者视觉注意力信息不符合标准注意力条件,则确定驾驶人员处于非安全驾驶行为状态,其中,所述标准驾驶姿态、标准注意力条件与所述驾驶人员适配。
71.在一可选实施例中,标准驾驶姿态包括:驾驶人员的躯干与方向盘的第一标准距离、驾驶人员的头部与车辆顶部的第二标准距离以及座椅靠背的标准角度;确定模块53具体用于:若第一实际距离与第一标准距离不满足设定第一距离条件,或者第二实际距离与第二标准距离不满足设定的第二距离条件,或者,实际角度与标准角度不满足设定角度条件,则确定整体驾驶姿态信息不符合标准驾驶姿态;输出模块54具体用于:若第一实际距离与第一标准距离不满足设定第一距离条件,则输出躯干调整引导信息;若第二实际距离与第二标准距离不满足设定的第二距离条件,则输出头部调整引导信息;若座椅靠背的实际角度与标准角度不满足设定角度条件,则输出座椅靠背调整引导信息。
72.在一可选实施例中,确定模块53具体用于:若驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,或者驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则确定视觉注意力信息不符合标准注意力条件;输出模块54具体用于:若检测到驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,则输出提醒驾驶人员提高注意力的引导信息;或者若检测到驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则输出提醒驾驶人员放松的引导信息。
73.在一可选实施例中,还包括:处理模块;处理模块,用于将多张图像输入姿态检测模型,对驾驶人员的局部驾驶姿态进行检测与识别,局部驾驶姿态包括头部姿态、手部姿态以及躯干姿态中的至少一种;输出模块54还用于:若识别到驾驶人员的头部姿态、手部姿态以及躯干姿态中的至少一种与对应部位的错误姿态匹配,则对外输出第二调整引导信息,以供驾驶人员调整对应部位的姿态。
74.在一可选实施例中,输出模块54具体用于:针对头部姿态,若检测到驾驶人员相对标准头部姿态扭动角度超过设定的第一头部扭转角度,或者向下低头的角度超过设定的第二头部扭转角度,则对外输出头部姿态调整引导消息;针对手部姿态,若在驾驶人员使用方向盘的情况下,驾驶人员的手部姿态不满足设定方向盘使用条件,或者,在驾驶人员使用档杆的情况下,驾驶人员的手部姿态不满足设定档杆使用条件,或者,在驾驶人员使用喇叭的情况下,驾驶人员的手部姿态不满足设定喇叭使用条件,或者,在驾驶人员使用灯光或雨刷调节开关的情况下,驾驶人员的手部姿态不满足设定开关使用条件,则输出手部姿态调整引导信息;针对躯干姿态,若检测到驾驶人员的躯干与车辆方向盘不满足设定的第三距离条件,或者驾驶人员的躯干姿态不满足设定的倾斜或旋转条件,则输出躯干姿态调整引导
信息。
75.本技术实施例提供的车辆驾驶人员驾驶行为调整装置,在驾驶人员驾车过程中采集驾驶人员的多张图像,根据采集到的多张图像,确定驾驶人员的整体驾驶姿态信息和/或视觉注意力信息,根据驾驶人员的整体驾驶姿态信息和/或视觉注意力信息确定驾驶人员的行为状态,并在驾驶人员处于非安全驾驶行为状态时,及时输出与驾驶人员的历史驾驶行为状态适配的调整引导信息,以提示并引导驾驶人员调整其驾驶行为,提高了输出调整引导信息的准确性和实效性,保障了驾驶人员的行车安全。
76.图6为本技术示例性实施例提供的一种车辆驾驶人员驾驶行为调整设备的结构示意图。该设备可应用于目标车辆,目标车辆中安装有至少一个视觉传感器,如图6所示,该设备包括:存储器64和处理器65。
77.存储器64,用于存储计算机程序,并可被配置为存储其它各种数据以支持在车辆驾驶人员驾驶行为调整设备上的操作。这些数据的示例包括用于在车辆驾驶人员驾驶行为调整设备上操作的任何应用程序或方法的指令。
78.存储器64可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
79.处理器65,与存储器64耦合,用于执行存储器64中的计算机程序,以用于:利用至少一个视觉传感器采集驾驶人员在驾车过程中的多张图像;根据多张图像分别识别驾驶人员的整体驾驶姿态信息和/或视觉注意力信息;根据整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态;在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为;第一调整引导信息与所述驾驶人员的历史驾驶行为状态适配。
80.在一可选实施例中,处理器65在根据多张图像识别驾驶人员的整体驾驶姿态信息时,具体用于:根据多张图像识别驾驶人员的躯干与方向盘的第一实际距离、驾驶人员的头部与车辆顶部的第二实际距离以及座椅靠背的实际角度,作为驾驶人员的整体驾驶姿态信息。
81.在一可选实施例中,处理器65在根据多张图像识别驾驶人员的视觉注意力信息时,具体用于:从多张图像中选择包含驾驶人员的脸部区域的目标图像;从目标图像中识别驾驶人员的面部神态和/或眼神状态;根据面部神态和/或眼神状态,确定驾驶人员的视觉注意力信息。
82.在一可选实施例中,处理器65在根据整体驾驶姿态信息和/或视觉注意力信息,确定驾驶人员的驾驶行为状态时,具体用于:判断整体驾驶姿态信息是否符合安全驾驶对应的标准驾驶姿态,并判断视觉注意力信息是否符合安全驾驶对应的标准注意力条件;若整体驾驶姿态信息不符合标准驾驶姿态,或者视觉注意力信息不符合标准注意力条件,则确定驾驶人员处于非安全驾驶行为状态,其中,标准驾驶姿态、标准注意力条件与驾驶人员适配。
83.在一可选实施例中,标准驾驶姿态包括:驾驶人员的躯干与方向盘的第一标准距离、驾驶人员的头部与车辆顶部的第二标准距离以及座椅靠背的标准角度;处理器65在判
断整体驾驶姿态信息是否符合安全驾驶对应的标准驾驶姿态时,具体用于:若第一实际距离与第一标准距离不满足设定第一距离条件,或者第二实际距离与第二标准距离不满足设定的第二距离条件,或者,实际角度与标准角度不满足设定角度条件,则确定整体驾驶姿态信息不符合标准驾驶姿态;相应地,处理器65在在驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为时,具体用于:若第一实际距离与第一标准距离不满足设定第一距离条件,则输出躯干调整引导信息;若第二实际距离与第二标准距离不满足设定的第二距离条件,则输出头部调整引导信息;若座椅靠背的实际角度与标准角度不满足设定角度条件,则输出座椅靠背调整引导信息。
84.在一可选实施例中,处理器65在判断视觉注意力信息是否符合安全驾驶对应的标准注意力条件时,具体用于:若驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,或者驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则确定视觉注意力信息不符合标准注意力条件;相应地,处理器65在驾驶人员处于非安全驾驶行为状态,输出第一调整引导信息,以提示并引导驾驶人员调整其驾驶行为时,具体用于:若检测到驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,则输出提醒驾驶人员提高注意力的引导信息;或者若检测到驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则输出提醒驾驶人员放松的引导信息。
85.在一可选实施例中,处理器65还用于:将多张图像输入姿态检测模型,对驾驶人员的局部驾驶姿态进行检测与识别,局部驾驶姿态包括头部姿态、手部姿态以及躯干姿态中的至少一种;若识别到驾驶人员的头部姿态、手部姿态以及躯干姿态中的至少一种与对应部位的错误姿态匹配,则对外输出第二调整引导信息,以供驾驶人员调整对应部位的姿态。
86.在一可选实施例中,若识别到驾驶人员的头部姿态、手部姿态以及躯干姿态中的至少一种与对应部位的错误姿态匹配,则处理器65在对外输出第二调整引导信息,以供驾驶人员调整对应部位的姿态时,具体用于:针对头部姿态,若检测到驾驶人员相对标准头部姿态扭动角度超过设定的第一头部扭转角度,或者向下低头的角度超过设定的第二头部扭转角度,则对外输出头部姿态调整引导消息;针对手部姿态,若在驾驶人员使用方向盘的情况下,驾驶人员的手部姿态不满足设定方向盘使用条件,或者,在驾驶人员使用档杆的情况下,驾驶人员的手部姿态不满足设定档杆使用条件,或者,在驾驶人员使用喇叭的情况下,驾驶人员的手部姿态不满足设定喇叭使用条件,或者,在驾驶人员使用灯光或雨刷调节开关的情况下,驾驶人员的手部姿态不满足设定开关使用条件,则输出手部姿态调整引导信息;针对躯干姿态,若检测到驾驶人员的躯干与车辆方向盘不满足设定的第三距离条件,或者驾驶人员的躯干姿态不满足设定的倾斜或旋转条件,则输出躯干姿态调整引导信息。
87.本技术实施例提供的车辆驾驶人员驾驶行为调整设备,在驾驶人员驾车过程中采集驾驶人员的多张图像,根据采集到的多张图像,确定驾驶人员的整体驾驶姿态信息和/或视觉注意力信息,根据驾驶人员的整体驾驶姿态信息和/或视觉注意力信息确定驾驶人员的行为状态,并在驾驶人员处于非安全驾驶行为状态时,及时输出与驾驶人员的历史驾驶行为状态适配的调整引导信息,以提示并引导驾驶人员调整其驾驶行为,提高了输出调整引导信息的准确性和实效性,保障了驾驶人员的行车安全。
88.进一步,如图6所示,该车辆驾驶人员驾驶行为调整设备还包括:通信组件66、显示器67、电源组件68、音频组件69等其它组件。图6中仅示意性给出部分组件,并不意味着车辆
驾驶人员驾驶行为调整设备只包括图6所示组件。需要说明的是,图6中虚线框内的组件为可选组件,而非必选组件,具体可视车辆驾驶人员驾驶行为调整设备的产品形态而定。
89.相应地,本技术实施例还提供一种存储有计算机程序的计算机可读存储介质,当计算机程序被处理器执行时,致使处理器能够实现本技术实施例提供的图1中的各步骤。
90.上述图6中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如wifi,2g、3g、4g/lte、5g等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
91.上述图6中的显示器包括屏幕,其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
92.上述图6中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
93.上述图6中的音频组件,可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(mic),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
94.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
95.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
96.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
97.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
98.在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
99.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
100.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
101.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
102.以上仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。

技术特征:
1.一种车辆驾驶人员驾驶行为调整方法,应用于目标车辆,其特征在于,所述目标车辆中安装有至少一个视觉传感器,所述方法包括:利用所述至少一个视觉传感器采集驾驶人员在驾车过程中的多张图像;根据所述多张图像分别识别所述驾驶人员的整体驾驶姿态信息和/或视觉注意力信息;根据所述整体驾驶姿态信息和/或所述视觉注意力信息,确定所述驾驶人员的驾驶行为状态;在所述驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导所述驾驶人员调整其驾驶行为;所述第一调整引导信息与所述驾驶人员的历史驾驶行为状态适配。2.根据权利要求1所述的方法,其特征在于,根据所述多张图像识别所述驾驶人员的整体驾驶姿态信息,包括:根据所述多张图像识别所述驾驶人员的躯干与方向盘的第一实际距离、所述驾驶人员的头部与车辆顶部的第二实际距离以及座椅靠背的实际角度,作为所述驾驶人员的整体驾驶姿态信息。3.根据权利要求2所述的方法,其特征在于,根据所述多张图像识别所述驾驶人员的视觉注意力信息,包括:从所述多张图像中选择包含所述驾驶人员的脸部区域的目标图像;从所述目标图像中识别所述驾驶人员的面部神态和/或眼神状态;根据所述面部神态和/或眼神状态,确定所述驾驶人员的视觉注意力信息。4.根据权利要求3所述的方法,其特征在于,根据所述整体驾驶姿态信息和/或所述视觉注意力信息,确定所述驾驶人员的驾驶行为状态,包括:判断所述整体驾驶姿态信息是否符合安全驾驶对应的标准驾驶姿态,并判断所述视觉注意力信息是否符合安全驾驶对应的标准注意力条件;若所述整体驾驶姿态信息不符合所述标准驾驶姿态,或者所述视觉注意力信息不符合所述标准注意力条件,则确定所述驾驶人员处于非安全驾驶行为状态,其中,所述标准驾驶姿态、所述标准注意力条件与所述驾驶人员适配。5.根据权利要求4所述的方法,其特征在于,所述标准驾驶姿态包括:驾驶人员的躯干与方向盘的第一标准距离、驾驶人员的头部与车辆顶部的第二标准距离以及座椅靠背的标准角度;判断所述整体驾驶姿态信息是否符合安全驾驶对应的标准驾驶姿态,包括:若所述第一实际距离与所述第一标准距离不满足设定第一距离条件,或者所述第二实际距离与所述第二标准距离不满足设定的第二距离条件,或者,所述实际角度与所述标准角度不满足设定角度条件,则确定所述整体驾驶姿态信息不符合所述标准驾驶姿态;相应地,在所述驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导所述驾驶人员调整其驾驶行为,包括:若所述第一实际距离与所述第一标准距离不满足设定第一距离条件,则输出躯干调整引导信息;若所述第二实际距离与所述第二标准距离不满足设定的第二距离条件,则输出头部调整引导信息;若座椅靠背的实际角度与所述标准角度不满足设定角度条件,则输出
座椅靠背调整引导信息。6.根据权利要求4所述的方法,其特征在于,判断所述视觉注意力信息是否符合安全驾驶对应的标准注意力条件,包括:若所述驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,或者所述驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则确定所述视觉注意力信息不符合标准注意力条件;相应地,在所述驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导所述驾驶人员调整其驾驶行为,包括:若检测到所述驾驶人员的眼神涣散且持续时长为超过设定的第一时间阈值,则输出提醒驾驶人员提高注意力的引导信息;或者若检测到所述驾驶人员的眼神专注且持续时长超过设定的第二时间阈值,则输出提醒驾驶人员放松的引导信息。7.根据权利要求1所述的方法,其特征在于,还包括:将所述多张图像输入姿态检测模型,对所述驾驶人员的局部驾驶姿态进行检测与识别,所述局部驾驶姿态包括头部姿态、手部姿态以及躯干姿态中的至少一种;若识别到所述驾驶人员的头部姿态、手部姿态以及躯干姿态中的至少一种与对应部位的错误姿态匹配,则对外输出第二调整引导信息,以供驾驶人员调整对应部位的姿态。8.根据权利要求7所述的方法,其特征在于,若识别到所述驾驶人员的头部姿态、手部姿态以及躯干姿态中的至少一种与对应部位的错误姿态匹配,则对外输出第二调整引导信息,以供驾驶人员调整对应部位的姿态,包括:针对头部姿态,若检测到所述驾驶人员相对标准头部姿态扭动角度超过设定的第一头部扭转角度,或者向下低头的角度超过设定的第二头部扭转角度,则对外输出头部姿态调整引导消息;针对手部姿态,若在所述驾驶人员使用方向盘的情况下,所述驾驶人员的手部姿态不满足设定方向盘使用条件,或者,在所述驾驶人员使用档杆的情况下,所述驾驶人员的手部姿态不满足设定档杆使用条件,或者,在所述驾驶人员使用喇叭的情况下,所述驾驶人员的手部姿态不满足设定喇叭使用条件,或者,在所述驾驶人员使用灯光或雨刷调节开关的情况下,所述驾驶人员的手部姿态不满足设定开关使用条件,则输出手部姿态调整引导信息;针对躯干姿态,若检测到所述驾驶人员的躯干与车辆方向盘不满足设定的第三距离条件,或者所述驾驶人员的躯干姿态不满足设定的倾斜或旋转条件,则输出躯干姿态调整引导信息。9.一种车辆驾驶人员驾驶行为调整装置,应用于目标车辆,其特征在于,所述目标车辆中安装有至少一个视觉传感器,所述车辆驾驶人员驾驶行为调整装置包括:采集模块、识别模块、确定模块以及输出模块;所述采集模块,用于利用所述至少一个视觉传感器采集驾驶人员在驾车过程中的多张图像;所述识别模块,用于根据所述多张图像分别识别所述驾驶人员的整体驾驶姿态信息和/或视觉注意力信息;所述确定模块,用于根据所述整体驾驶姿态信息和/或所述视觉注意力信息,确定所述驾驶人员的驾驶行为状态;
所述输出模块,用于在所述驾驶人员处于非安全驾驶行为状态时,输出第一调整引导信息,以提示并引导所述驾驶人员调整其驾驶行为;所述第一调整引导信息与所述驾驶人员的历史驾驶行为状态适配。10.一种车辆驾驶人员驾驶行为调整设备,应用于目标车辆,其特征在于,所述目标车辆中安装有至少一个视觉传感器,所述设备包括:存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,与所述存储器耦合,用于执行所述计算机程序,以实现权利要求1-8任一项所述方法中的步骤。11.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,致使所述处理器实现权利要求1-8任一项所述方法中的步骤。

技术总结
本申请实施例提供一种车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质。在本申请实施例中,在驾驶人员驾车过程中采集驾驶人员的多张图像,根据采集到的多张图像,确定驾驶人员的整体驾驶姿态信息和/或视觉注意力信息,根据驾驶人员的整体驾驶姿态信息和/或视觉注意力信息确定驾驶人员的行为状态,并在驾驶人员处于非安全驾驶行为状态时,及时输出与驾驶人员的历史驾驶行为状态适配的调整引导信息,以提示并引导驾驶人员调整其驾驶行为,提高了输出调整引导信息的准确性和实效性,保障了驾驶人员的行车安全。障了驾驶人员的行车安全。障了驾驶人员的行车安全。


技术研发人员:侯玉璐 史利民 张磊 任献东 宋玉强
受保护的技术使用者:天津五八驾考信息技术有限公司
技术研发日:2021.12.31
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-16248.html

最新回复(0)