1.本公开涉及计算机技术领域,具体涉及计算机视觉技术的车辆控制领域,尤其涉及一种车窗的控制方法、装置、电子设备及存储介质。
背景技术:2.目前,在汽车的设计制造过程中,越来越侧重于提高车辆的舒适性、操控的便捷性。而相关技术中,车辆的车窗控制通常采用机械式开关,车内人员通过持续按压该机械式开关的方式实现车窗的升降,不利于满足车内人员对车窗的智能化、便捷化控制的需求。
技术实现要素:3.本公开提出了一种车窗的控制技术方案。
4.根据本公开的一方面,提供了一种车窗的控制方法,包括:获取车身信号;根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图;在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像;根据所述目标对象的图像识别所述目标对象的手部动作;在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。
5.在一种可能的实施方式中,所述车身信号包括所述目标对象所在座位的安全带锁扣信号、所述车辆的行驶状态信号、所述车辆的车门信号中的至少一项。
6.在一种可能的实施方式中,所述车身信号包括安全带使用信号;所述获取车身信号,包括:获取车内图像;根据车内图像检测所述目标对象的安全带佩戴情况,得到所述目标对象所在座位的安全带使用信号。
7.在一种可能的实施方式中,所述在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态包括:在确定所述目标对象的手部动作为预设动作的情况下,确定所述手部动作的指向区域;根据所述手部动作的指向区域,确定目标车窗;根据所述离车意图或所述行车意图,调节所述目标车窗的开闭状态。
8.在一种可能的实施方式中,所述获取所述目标对象的图像,包括:获取设置于车辆内的多个摄像头采集的多个视角的、带有目标对象的图像;所述根据所述手部动作的指向区域,确定目标车窗,包括:根据多个视角的、带有目标对象的图像中所述手部动作的指向区域,生成每个车窗对应的置信度;根据所述置信度,确定所述车辆的车窗中的目标车窗。
9.在一种可能的实施方式中,所述获取所述目标对象的图像包括:获取连续多帧目标对象的图像;所述根据所述目标对象的图像识别所述目标对象的手部动作,包括:针对所述连续多帧目标对象的图像,分别识别每帧图像中目标对象的手势;根据对所述连续多帧目标对象的图像中的目标对象的手势的识别结果,确定所述目标对象的手势变化信息,作为所述目标对象的手部动作的识别结果。
10.在一种可能的实施方式中,所述根据所述离车意图或所述行车意图,调节所述车
辆的车窗的开闭状态,包括以下至少一项:在所述目标对象存在离车意图的情况下,关闭所述车辆的至少一个车窗;在所述目标对象存在行车意图的情况下,开启所述车辆的至少一个车窗。
11.在一种可能的实施方式中,在所述目标对象为所述车辆的驾驶员的情况下,所述关闭所述车辆的至少一个车窗包括关闭所述车辆的全部车窗,所述开启所述车辆的至少一个车窗包括开启所述车辆的全部车窗。
12.在一种可能的实施方式中,所述方法还包括:根据所述目标对象的图像以及所述车辆的注册驾驶员信息对所述目标对象进行识别,以确定所述目标对象是否为所述车辆的驾驶员;或者获取所述车辆内部场景的图像,并根据所述车辆内部场景的图像识别所述目标对象在所述车辆中的乘坐位置,以确定所述目标对象是否为所述车辆的驾驶员。
13.在一种可能的实施方式中,所述调节所述车辆的车窗的开闭状态,包括以下至少一项:根据所述车辆所处环境的环境信息,调节所述车辆的车窗的开闭程度;在确定至少一个所述车窗的升降区域存在遮挡物的情况下,生成调节结束请求;其中,所述调节结束请求用以停止调节所述至少一个所述车窗的开闭。
14.根据本公开的一方面,提供了一种车窗的控制装置,包括:车身信号获取模块,用以获取车身信号;意图确定模块,用以根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图;图像获取模块,用以在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像;手部动作识别模块,用以根据所述目标对象的图像识别所述目标对象的手部动作;车窗调节模块,用以在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。
15.根据本公开的一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
16.根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。
17.本公开实施例可获取车身信号,而后根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图,在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像,再根据所述目标对象的图像识别所述目标对象的手部动作,最终在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。本公开实施例提供的车窗的控制方法,可通过确定目标对象不同意图的方式,智能化地调节车窗的开闭,以实现自动化的车窗控制流程。此外,由于本公开实施例提供的控制方法可实现无接触式的车窗控制,故可应用于无机械式车窗开关的车辆,以降低电路的排布难度、节省电路排布空间,有利于车窗功能设计的进一步发展。
18.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
20.图1示出了根据本公开实施例提供的车窗的控制方法的流程图。
21.图2示出了根据本公开实施例提供的预设动作的参考示意图。
22.图3示出了根据本公开实施例提供的摄像头设置位置的参考示意图。
23.图4示出了根据本公开实施例提供的车窗的控制装置的框图。
24.图5示出了根据本公开实施例提供的一种电子设备的框图。
具体实施方式
25.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
26.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
27.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
28.另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
29.相关技术中,车内人员通常通过手动调节机械式开关的方式实现车窗的升降,此举存在着以下问题:1、车内人员通常需要持续按压该机械式开关,车窗控制流程不便捷。2、在驾驶员离车的情况下,若机械式开关的按压时间不够,则可能会导致车窗未完全关闭,进而可能会导致车内财物丢失。3、机械式开关增加了电路排布的难度。换言之,相关技术中的车窗控制方法不仅不够便捷,而且安全性较低、电路排布难度较高。
30.有鉴于此,本公开实施例提供了一种车窗的控制方法,可获取车身信号,而后根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图,在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像,再根据所述目标对象的图像识别所述目标对象的手部动作,最终在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。本公开实施例提供的车窗的控制方法,可通过确定目标对象意图的方式,智能化地调节车窗的开闭,以实现自动化的车窗控制流程。此外,由于本公开实施例提供的控制方法可实现无接触式的车窗控制,故可应用于无机械式车窗开关的车辆,以降低电路的排布难度、节省电路排布空间,有利于车窗功能设计的进一步发展。
31.在一种可能的实施方式中,上述控制方法可以由终端设备等电子设备执行,终端设备可以为用户设备(user equipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant,pda)、手持设备、计算设备、车载设备、可
穿戴设备等,所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。例如:上述控制方法可集成于一车载终端(例如:车机)中,车载终端可与仪表盘、车窗控制器等汽车部件连接,以监测车辆的实时信号参数(如:车速、车内温度、空调风向等)。该车载终端可与至少一个摄像头相连,如:oms(即occupant monitoring system,乘员监测系统的简称)摄像头、dms(即driver monitoring system,驾驶员监测系统的简称)摄像头、外接娱乐摄像头(如智能手机)等,以采集目标对象的图像。
32.参阅图1所示,图1示出了根据本公开实施例提供的车窗的控制方法的流程图。如图1所示,上述控制方法可包括:
33.步骤s100,获取车身信号。示例性地,上述车身信号可由上述仪表盘、车窗控制器等汽车部件获取,而后传输至与其相连的终端设备中。在一个示例中,所述车身信号包括车内作为的安全带使用信号、所述车辆的行驶状态信号、所述车辆的车门信号中的至少一项。上述安全带使用信号可以用以表示车辆的安全带是否为佩戴状态,上述行驶状态信号用以表示车辆是否处于行进状态,上述车门信号用以表示车辆的车门是否为开启状态。示例性地,安全带使用信号可以包括安全带锁扣信号,可通过安全带锁扣传感器发送的信号获取;上述车辆的行驶状态信号可通过车辆的车速传感器获取;上述车辆的车门信号可通过车辆的车门传感器获取,例如:传感器与终端设备之间可通过can信号(即controller area network,控制器局域网络的简称)进行信息传输。
34.安全带使用信号还可以通过对车内图像进行处理来获得。在一种可能的实施方式中,步骤s100可包括:获取车内图像,而后根据车内图像检测所述目标对象的安全带佩戴情况,得到所述目标对象所在座位的安全带使用信号。示例性地,上述车内图像可由上文中与终端设备连接的摄像头获取。在一个示例中,可通过相关技术中的机器学习模型,对目标对象是否佩戴安全带进行检测,例如:可将上述车内图像输入至一训练后的机器学习模型,由机器学习模型进行二分类,输出目标人物是否已佩戴安全带。示例性地,上述机器学习模型在训练时的输入可为:标记为
‘
已佩戴安全带’的训练用图像、
‘
未佩戴安全带’的训练用图像,以使训练后的机器学习模型能够根据输入的图像,确定目标人物是否已佩戴安全带,从而获得安全带使用信号。
35.步骤s200,根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图。上述目标对象可为车辆中的任意一个目标人物。在一个示例中,出于提高目标人物代表性的考虑,可选取驾驶员作为上述目标人物。结合实际情况,驾驶员在离车时,通常代表车辆即将上锁,即车窗需被控制的几率更大,而在乘客离车时,驾驶员可能还需要前往下一个地点,车辆可能需要继续行驶,故车窗被控制需求度相对较小。因此,可将驾驶员作为上述目标人物,以增加离车意图、行车意图的代表性,进而降低车窗被误控制的几率。
36.示例性地,在以下至少一项的情况下,可确定目标人物存在离车意图:目标人物由已佩戴安全带状态转换为未佩戴安全带状态、车辆由行进状态转换为停止状态、车门为关闭状态且接收到车门开启信号。在以下至少一项的情况下,可确定目标人物存在行车意图:目标人物由未佩戴安全带状态转换为已佩戴安全带状态、车辆为停止状态且接收到点火信号、车门为开启状态且接收到车门关闭信号。
37.继续参阅图1,步骤s300,在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像。示例性地,上述目标对象的图像可通过上文中与终端设备连
接的摄像头获取,其中,目标对象的图像、上文中的车内图像可经由相同或不同的摄像头获取,本公开实施例在此不作限制。
38.步骤s400,根据所述目标对象的图像识别所述目标对象的手部动作。上述手部动作可为图像中目标对象的手部所做出的任意动作。示例性地,可将摄像头采集到包括目标对象手部动作的图像输入至相关技术中的手部检测模型中,而后手部检测模型输出该图像中的手部区域的位置。可选地,该手部检测模型还可以进一步输出手部动作信息。或者,可以将图像中的手部区域分割出来,并输入至经过训练的手势检测模型,由该模型输出目标对象的手部动作的识别结果。
39.步骤s500,在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。示例性地,可以判断手势检测模型输出的目标对象的手部动作是否为预设动作。终端设备也可通过一显示屏幕显示预设动作与车窗控制指令的对应关系,以便于用户控制车窗。结合图2所示,图2示出了根据本公开实施例提供的预设动作的参考示意图,在一个示例中,预设动作可包括静态动作、动态动作中的至少一种,其中,静态动作适用于单一手部动作的检测,动态动作适用于手部动作变换的检测,本公开实施例在此不限制预设动作的具体表现形式,例如:静态动作可包括:握拳、伸出拇指、伸出食指、手掌展开等。动态动作可包括:手部由手掌展开转换为握拳(如图2中手势1)、手部由握拳转换为手掌展开(如图2中手势2)、手部由伸出拇指转换为握拳等。示例性地,在预设动作包括动态动作的情况下,上述手势检测模型的输入为至少两帧包括不同手部动作的手部区域图像,以使得手势检测模型可检测到目标对象手部动作的变化。例如:机器学习模型在训练时可输入连续5帧训练图像中的手部坐标信息(可通过相关技术中的手部关键点检测模型/算法获取),即为5组手部坐标信息,每组手部坐标信息包括多个手部关键点对应的坐标,上述手部关键点对应的坐标为在以训练图像为基准所建立的二维坐标系中手部关键点对应位置的坐标。通过将5组手部坐标信息输入至机器学习模型对其进行迭代训练,训练后的机器学习模型即可对输入的多帧目标对象的图像进行手部动作的检测,也即将训练后的机器学习模型作为上述手势检测模型。
40.在一种可能的实施方式中,上述获取所述目标对象的图像可包括:获取连续多帧目标对象的图像。所述根据所述目标对象的图像识别所述目标对象的手部动作,包括:针对所述连续多帧目标对象的图像,分别识别每帧图像中目标对象的手势,而后根据对所述连续多帧目标对象的图像中的目标对象的手势的识别结果,最终确定所述目标对象的手势变化信息,作为所述目标对象的手部动作的识别结果。示例性地,上述手势变化信息即为不同手部动作依次进行变换的顺序、动作内容信息。
41.在一种可能的实施方式中,步骤s500中根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态,可包括以下至少一项:在所述目标对象存在离车意图的情况下,关闭所述车辆的至少一个车窗。在所述目标对象存在行车意图的情况下,开启所述车辆的至少一个车窗。结合实际应用场景,在目标对象存在离车意图时,目标对象可通过上述预设动作,使得车窗自动关闭,以降低车内财物丢失的可能性。在目标对象存在行车意图时,目标对象可通过上述预设动作,使得车窗自动开启,以加快换气效率。
42.在一种可能的实施方式中,在所述目标对象为所述车辆的驾驶员的情况下,所述关闭所述车辆的至少一个车窗包括关闭所述车辆的全部车窗,所述开启所述车辆的至少一
个车窗包括开启所述车辆的全部车窗。这样,驾驶员可以通过一个手部动作便捷地控制全车车窗的开启和/或关闭,提升了控制的灵活性。
43.在一个示例中,可通过如下方式确定目标对象是否为车辆的驾驶员:根据所述目标对象的图像以及所述车辆的注册驾驶员信息对所述目标对象进行识别,以确定所述目标对象是否为所述车辆的驾驶员。示例性地,车辆的驾驶员可预先完成注册,通过车内的摄像头进行图像采集,使与车辆绑定的终端设备保存驾驶员的人体特征(如:通过相关技术中的面部特征提取模型获取驾驶员的面部特征等),或将驾驶员的人体特征和车辆信息关联地注册至云端。而后可将从目标对象的图像提取出的目标对象的人体特征与驾驶员的人体特征进行对比,即可确定目标对象是否为所述车辆的驾驶员。在一个示例中,也可获取所述车辆内部场景的图像,并根据所述车辆内部场景的图像识别所述目标对象在所述车辆中的乘坐位置,以确定所述目标对象是否为所述车辆的驾驶员。例如,乘坐于驾驶区域的目标对象即为车辆的驾驶员。示例性地,可根据不同地区的驾驶规定或车型设置,设定驾驶员对应的乘坐位置,以与目标对象的乘坐位置进行比对,例如:驾驶员的乘坐位置通常设置为前排左侧或右侧,本公开实施例在此不作限定。上述乘坐位置可表现为摄像头拍摄的图像中目标对象的所在位置对应的世界坐标(用以表示目标对象的实际位置),如可根据车内空间建立世界坐标系,摄像头可将该世界坐标系并与自身所拍摄的图像的图像坐标系产生映射,以使得终端设备可根据图像中目标对象所处的图像坐标,确定目标对象位于车内空间的世界坐标。世界坐标系的生成方式与摄像头的内、外参设置及坐标系的映射关系可参考相关技术,本公开实施例在此不作赘述。
44.在一种可能的实施方式中,步骤s500中调节所述车辆的车窗的开闭状态,可包括:根据所述车辆所处环境的环境信息,调节所述车辆的车窗的开闭程度。示例性地,上述环境信息可包括:雨量信息、温度信息、污染度信息等,本公开实施例在此不作限制。例如:上述雨量信息、温度信息、污染度信息可通过终端设备访问无线网络、或通过相应的传感器获取,也可通过摄像头获取。本公开实施例可根据车辆所处的环境,判断车窗的控制指令是否合理,并可根据不同的环境,智能化地调节车窗的开闭程度。例如:在天气为小雨的情况下,目标对象欲控制车窗开启,则终端设备可将车窗的开启程度控制在50%,以降低目标对象被雨水淋湿的几率。在天气炎热的情况下,目标对象欲控制车窗开启,则终端设备可将车窗的开启程度控制在100%,以加快空气的流通效率。在天气寒冷的情况下,目标对象欲控制车窗开启,则终端设备可将车窗的开启程度控制在20%,以降低目标对象因寒冷而产生不适感的几率。上述开闭程度开发人员可统一在出厂时设定,也可由车内人员自行调整,以更符合实际需求,本公开实施例在此不作限制。而后在确定至少一个所述车窗的升降区域存在遮挡物的情况下,生成调节结束请求。所述调节结束请求用以停止调节所述至少一个所述车窗的开闭。示例性地,可通过车窗的红外线传感器或车内的摄像头,确定车窗的升降区域是否存在遮挡物。上述遮挡物可为人体、衣物等任何有碍于车窗升降的异物。示例性地,终端设备在生成调节结束请求后可生成结束提示(例如:语音提示、文本提示等),以提醒目标对象此次车窗控制流程结束,而后也可通过语音检测、虚拟按键检测以确定目标对象是否坚持调节车窗,若目标对象坚持调节车窗,则终端设备重新调节车窗的开闭。本公开实施例可通过确定车窗区域是否存在遮挡物的方式,进而降低财物受损、人物受伤的几率。
45.在一种可能的实施方式中,步骤s500可包括:在确定所述目标对象的手部动作为
预设动作的情况下,确定所述手部动作的指向区域。示例性地,可将目标对象的图像输入至相关技术中的手势方向检测模型,以得到上述指向区域。例如:可基于车内空间进行三维空间建模,以得到一个三维空间模型,而后以该三维空间模型建立三维坐标系,上述指向检测模型可基于目标对象的图像,输出指向区域在该三维坐标系中对应的三维坐标。例如:指向区域可对应多个边界点坐标。终端设备根据所述手部动作的指向区域,确定目标车窗。示例性地,每个车窗均可通过上述三维坐标系中的三维坐标表示为一个车窗区域,例如:终端设备内可存储有多个车窗区域对应的边界点坐标,以便于与指向区域比对。示例性地,可通过比较指向区域、车窗区域的边界点坐标,确定二者是否存在重合区域,在二者存在重合区域的情况下,将车窗区域所对应的车窗作为上述目标车窗。在一个示例中,还可将上述重合区域的面积与一面积阈值比较,在重合区域的面积大于该面积阈值的情况下,将上述车窗区域所对应的车窗作为上述目标车窗。而后根据所述离车意图或所述行车意图,调节所述目标车窗的开闭状态。
46.在一种可能的实施方式中,上述获取所述目标对象的图像,可包括:获取设置于车辆内的多个摄像头采集的多个视角的、带有目标对象的图像。所述根据所述手部动作的指向区域,确定目标车窗,可包括:根据多个视角的、带有目标对象的图像中所述手部动作的指向区域,生成每个车窗对应的置信度,而后根据所述置信度,确定所述车辆的车窗中的目标车窗。示例性地,上述置信度用以表示每个车窗为目标车窗的可能性,本公开实施例在此不限制置信度的具体计算方式。例如:上述置信度可与上述重合面积正相关。终端设备可根据所述置信度,确定所述车窗中的目标车窗。例如:终端设备可将不同视角中,置信度之和最高的车窗作为上述目标车窗。再例如:终端设备可根据手部动作与不同摄像头的距离(可表现为带有目标对象的图像中手部动作的占用像素数量)为不同视角下的图像设定不同的权值,再将置信度之和最高的车窗作为上述目标车窗,以提高得到目标车窗的准确性。
47.参阅图3,图3示出了根据本公开实施例提供的摄像头设置位置的参考示意图。结合实际应用场景,上述终端设备可为车辆中的一个车机,摄像头可设置于图3中的a处,以获取驾驶员的图像。车机通过can信号获取车辆从行进状态切换为静止状态,且主驾驶位置的安全带锁扣由扣上变为解开。车机即推测驾驶员将要离车,即开始采集图像。此时,驾驶员通过手部做出一个预设动作(如手部动作由伸出手掌变为握拳),即可自动关闭所有车窗(例如:前排左侧车窗、前排右侧车窗、后排左侧车窗、后排右侧车窗、天窗等),以提升车内财物的安全性。
48.再例如:车机通过can信号获取车辆为静止状态,且主驾驶位置的安全带扣锁由解开变为扣上,车机即推测驾驶员将要行车,即开始采集图像。此时,驾驶员通过手部做出一个预设动作(如手部动作由握拳变为伸出手掌),即可自动开启所有车窗,以提升车内的换气效率。
49.可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
50.此外,本公开还提供了车窗的控制装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种车窗的控制方法,相应技术方案和描述和参见方法部
分的相应记载,不再赘述。
51.参阅图4,图4示出了根据本公开实施例提供的车窗的控制装置100的框图,如图4所示,所述装置包括:车身信号获取模块110,用以获取车身信号;意图确定模块120,用以根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图;图像获取模块130,用以在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像;手部动作识别模块140,用以根据所述目标对象的图像识别所述目标对象的手部动作;车窗调节模块150,用以在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。
52.在一种可能的实施方式中,所述车身信号包括所述目标对象所在座位的安全带锁扣信号、所述车辆的行驶状态信号、所述车辆的车门信号中的至少一项。
53.在一种可能的实施方式中,所述车身信号包括安全带使用信号;所述获取车身信号,包括:获取车内图像;根据车内图像检测所述目标对象的安全带佩戴情况,得到所述目标对象所在座位的安全带使用信号。
54.在一种可能的实施方式中,所述在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态包括:在确定所述目标对象的手部动作为预设动作的情况下,确定所述手部动作的指向区域;根据所述手部动作的指向区域,确定目标车窗;根据所述离车意图或所述行车意图,调节所述目标车窗的开闭状态。
55.在一种可能的实施方式中,所述获取所述目标对象的图像,包括:获取设置于车辆内的多个摄像头采集的多个视角的、带有目标对象的图像;所述根据所述手部动作的指向区域,确定目标车窗,包括:根据多个视角的、带有目标对象的图像中所述手部动作的指向区域,生成每个车窗对应的置信度;根据所述置信度,确定所述车辆的车窗中的目标车窗。
56.在一种可能的实施方式中,所述获取所述目标对象的图像包括:获取连续多帧目标对象的图像;所述根据所述目标对象的图像识别所述目标对象的手部动作,包括:针对所述连续多帧目标对象的图像,分别识别每帧图像中目标对象的手势;根据对所述连续多帧目标对象的图像中的目标对象的手势的识别结果,确定所述目标对象的手势变化信息,作为所述目标对象的手部动作的识别结果。
57.在一种可能的实施方式中,所述根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态,包括以下至少一项:在所述目标对象存在离车意图的情况下,关闭所述车辆的至少一个车窗;在所述目标对象存在行车意图的情况下,开启所述车辆的至少一个车窗。
58.在一种可能的实施方式中,在所述目标对象为所述车辆的驾驶员的情况下,所述关闭所述车辆的至少一个车窗包括关闭所述车辆的全部车窗,所述开启所述车辆的至少一个车窗包括开启所述车辆的全部车窗。
59.在一种可能的实施方式中,所述装置还包括对象识别模块,用以执行以下步骤:根据所述目标对象的图像以及所述车辆的注册驾驶员信息对所述目标对象进行识别,以确定所述目标对象是否为所述车辆的驾驶员;或者获取所述车辆内部场景的图像,并根据所述车辆内部场景的图像识别所述目标对象在所述车辆中的乘坐位置,以确定所述目标对象是否为所述车辆的驾驶员。
60.在一种可能的实施方式中,所述调节所述车辆的车窗的开闭状态,包括以下至少一项:根据所述车辆所处环境的环境信息,调节所述车辆的车窗的开闭程度;在确定至少一个所述车窗的升降区域存在遮挡物的情况下,生成调节结束请求;其中,所述调节结束请求用以停止调节所述至少一个所述车窗的开闭。
61.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
62.本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
63.本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
64.本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述方法。
65.电子设备可以被提供为终端或其它形态的设备。
66.图5示出了根据本公开实施例提供的一种电子设备800的框图。例如,电子设备800可以是用户设备(user equipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,pda)、手持设备、计算设备、车载设备、可穿戴设备等终端设备。
67.参照图5,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(i/o)接口812,传感器组件814,以及通信组件816。
68.处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
69.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
70.电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
71.多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸
传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
72.音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(mic),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
73.i/o接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
74.传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如互补金属氧化物半导体(cmos)或电荷耦合装置(ccd)图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
75.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如无线网络(wi-fi)、第二代移动通信技术(2g)、第三代移动通信技术(3g)、第四代移动通信技术(4g)、通用移动通信技术的长期演进(lte)、第五代移动通信技术(5g)或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
76.在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
77.在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
78.本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
79.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、
电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
80.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
81.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等,以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
82.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
83.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
84.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的
指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
85.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
86.该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
87.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
88.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
89.若本技术技术方案涉及个人信息,应用本技术技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本技术技术方案涉及敏感个人信息,应用本技术技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
90.以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
技术特征:1.一种车窗的控制方法,其特征在于,所述控制方法包括:获取车身信号;根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图;在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像;根据所述目标对象的图像识别所述目标对象的手部动作;在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。2.如权利要求1所述的控制方法,其特征在于,所述车身信号包括所述目标对象所在座位的安全带锁扣信号、所述车辆的行驶状态信号、所述车辆的车门信号中的至少一项。3.如权利要求1所述的控制方法,其特征在于,所述车身信号包括安全带使用信号;所述获取车身信号,包括:获取车内图像;根据车内图像检测所述目标对象的安全带佩戴情况,得到所述目标对象所在座位的安全带使用信号。4.如权利要求1至3中任意一项所述的控制方法,其特征在于,所述在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态包括:在确定所述目标对象的手部动作为预设动作的情况下,确定所述手部动作的指向区域;根据所述手部动作的指向区域,确定目标车窗;根据所述离车意图或所述行车意图,调节所述目标车窗的开闭状态。5.如权利要求4所述的方法,其特征在于,所述获取所述目标对象的图像,包括:获取设置于车辆内的多个摄像头采集的多个视角的、带有目标对象的图像;所述根据所述手部动作的指向区域,确定目标车窗,包括:根据多个视角的、带有目标对象的图像中所述手部动作的指向区域,生成每个车窗对应的置信度;根据所述置信度,确定所述车辆的车窗中的目标车窗。6.如权利要求1至5中任意一项所述的控制方法,其特征在于,所述获取所述目标对象的图像包括:获取连续多帧目标对象的图像;所述根据所述目标对象的图像识别所述目标对象的手部动作,包括:针对所述连续多帧目标对象的图像,分别识别每帧图像中目标对象的手势;根据对所述连续多帧目标对象的图像中的目标对象的手势的识别结果,确定所述目标对象的手势变化信息,作为所述目标对象的手部动作的识别结果。7.如权利要求1至6中任意一项所述的控制方法,其特征在于,所述根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态,包括以下至少一项:在所述目标对象存在离车意图的情况下,关闭所述车辆的至少一个车窗;在所述目标对象存在行车意图的情况下,开启所述车辆的至少一个车窗。8.如权利要求7所述的控制方法,其特征在于,在所述目标对象为所述车辆的驾驶员的
情况下,所述关闭所述车辆的至少一个车窗包括关闭所述车辆的全部车窗,所述开启所述车辆的至少一个车窗包括开启所述车辆的全部车窗。9.如权利要求8所述的方法,其特征在于,所述方法还包括:根据所述目标对象的图像以及所述车辆的注册驾驶员信息对所述目标对象进行识别,以确定所述目标对象是否为所述车辆的驾驶员;或者获取所述车辆内部场景的图像,并根据所述车辆内部场景的图像识别所述目标对象在所述车辆中的乘坐位置,以确定所述目标对象是否为所述车辆的驾驶员。10.如权利要求1至9中任意一项所述的控制方法,其特征在于,所述调节所述车辆的车窗的开闭状态,包括以下至少一项:根据所述车辆所处环境的环境信息,调节所述车辆的车窗的开闭程度;在确定至少一个所述车窗的升降区域存在遮挡物的情况下,生成调节结束请求;其中,所述调节结束请求用以停止调节所述至少一个所述车窗的开闭。11.一种车窗的控制装置,其特征在于,所述控制装置包括:车身信号获取模块,用以获取车身信号;意图确定模块,用以根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图;图像获取模块,用以在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像;手部动作识别模块,用以根据所述目标对象的图像识别所述目标对象的手部动作;车窗调节模块,用以在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。12.一种电子设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至10中任意一项所述的控制方法。13.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的控制方法。
技术总结本公开涉及一种车窗的控制方法、装置、电子设备及存储介质,所述方法包括:获取车身信号;根据所述车身信号确定车辆中的目标对象是否存在离车意图或行车意图;在确定所述目标对象存在离车意图或行车意图的情况下,获取所述目标对象的图像;根据所述目标对象的图像识别所述目标对象的手部动作;在确定所述目标对象的手部动作为预设动作的情况下,根据所述离车意图或所述行车意图,调节所述车辆的车窗的开闭状态。本公开实施例可根据目标对象的意图进行自动化地车窗控制,提高了车窗控制的便捷性。性。性。
技术研发人员:孟艳雯 范亦卿 陶莹 许亮
受保护的技术使用者:上海商汤临港智能科技有限公司
技术研发日:2022.03.29
技术公布日:2022/7/5