本描述涉及电子装置的基于姿势的远程控制。
背景技术:
1、一些用户环境包括按布置放置在用户附近的多个电子装置。例如,家庭或办公室环境可以具有多个屏幕、房间灯控制器、恒温器、门铃和/或安全相机、车库门以及诸如冰箱、烤箱、微波炉和洗碗机的智能电器。在此类用户环境中,用户可能希望控制环境中的多个电子装置中的所有电子装置。例如,电子装置中的每一个可以具有相应的远程控制,用户能够通过该远程控制来控制电子装置,例如,改变电视上的频道、提高电视的音量、预热烤箱、将微波炉的烹饪时间增加30秒、将恒温器设置为更高的温度、打开或关闭灯和/或将灯调暗到期望的水平等等。
技术实现思路
1、本文描述的实现方式涉及提供对多个电子装置的通用的基于姿势的远程控制。虽然存在单个电子装置的基于姿势的远程控制的示例。然而,对于用户附近的多个装置,可能存在复杂情况。例如,考虑用户在具有电视、声音系统、微波炉和照明的房间中,并且用户希望调暗照明。被配置为控制房间中所有装置的基于姿势的远程控制从用户形成的姿势中识别用户意图控制哪个装置以及针对所选择装置的控制的类型。对于这种基于姿势的远程控制,向用户提供可穿戴装置,例如具有用于基于特定姿势生成姿势信号的惯性测量单元(imu)和光电容积描记(photoplethysmography) (ppg)传感器的腕带。来自这些信号的数据被输入到机器学习引擎(以下也称为模型),具体来说是卷积神经网络(cnn),以识别由用户选择的装置和控制。用于这种远程控制的cnn针对每个相应的信号源(imu、ppg)和每个自由度(x,y,z)使用单独的通道,使得cnn针对每个通道使用各自相异的模型;相异的模型的输出在cnn的全连接层处被组合,以产生识别装置和控制的输出。
2、在一个通常方面,基于计算机的方法可以包括由计算机接收表示用户的如由用户穿戴的可穿戴装置检测到的用户移动的信号数据,该计算机具有到多个电子装置所连接到的网络的连接。该方法还可以包括将信号数据输入到模型中,以识别多个电子装置中的电子装置以及要应用于所识别的电子装置的控制,该模型包括神经网络,该神经网络被配置为将信号数据作为输入并产生所识别的电子装置的装置标识符和识别该控制的控制标识符作为输出。该方法还可以包括将所识别的控制应用于所识别的电子装置。
3、在另一个通常方面,计算机程序产品包括非暂时性存储介质,该计算机程序产品包括代码,该代码当由计算装置的处理电路系统执行时,使处理电路系统执行方法。该方法可以包括由计算机从由用户穿戴的可穿戴装置接收信号数据,该计算机具有到多个电子装置所连接到的网络的连接,并且信号数据表示用户的如由可穿戴装置检测到的用户移动。该方法还可以包括将信号数据输入到模型中,以识别多个电子装置中的电子装置以及要应用于所识别的电子装置的控制,该模型包括神经网络,该神经网络被配置为将信号数据作为输入并产生电子装置的标识符作为输出。该方法还可以包括将所识别的控制应用于所识别的电子装置。
4、在另一个通常方面,电子设备包括存储器和耦接到存储器的控制电路系统。控制电路系统可以被配置为从由用户穿戴的可穿戴装置接收表示用户的如由可穿戴装置检测到的用户移动的信号数据,该用户位于多个电子装置附近。控制电路系统还可以被配置为将信号数据输入到模型中,以识别多个电子装置中的电子装置以及要应用于所识别的电子装置的控制,该模型包括神经网络,该神经网络被配置为将信号数据作为输入并产生电子装置的标识符作为输出。控制电路系统还可以被配置为将所识别的控制应用于所识别的电子装置。
5、一个或多个实现方式的细节在附图和以下描述中进行阐述。其他特征将从描述和附图以及从权利要求中显而易见。
1.一种方法,包括:
2.如权利要求1所述的方法,其中,所述机器学习引擎是被配置为将所述信号数据作为输入并产生所述多个电子装置中的所述电子装置的所述装置标识符和所述控制的所述控制标识符作为输出的卷积神经网络(cnn)。
3.如权利要求2所述的方法,其中,由所述用户穿戴的所述可穿戴装置包括电子传感器集合,所述电子传感器集合中的每个电子传感器被配置为响应于检测到所述用户移动而产生所述信号数据。
4.如权利要求3所述的方法,其中,所述电子传感器集合包括惯性测量单元(imu)传感器。
5.如权利要求3或4所述的方法,其中,所述电子传感器集合包括光电容积描记(ppg)传感器。
6.如权利要求3至5中任一项所述的方法,其中,所述cnn包括多个堆叠层,所述多个堆叠层中的每个堆叠层与所述电子传感器集合中的相应电子传感器相对应并且处理由所述相应电子传感器生成的所述信号数据。
7.如权利要求6所述的方法,其中,所述cnn的所述多个堆叠层中的每个堆叠层表示模型组件,并且
8.如权利要求7所述的方法,还包括:
9.如权利要求3至8中任一项所述的方法,其中,所述cnn包括多个堆叠层,所述多个堆叠层中的每个堆叠层与所述用户移动的相应自由度相对应并且处理与所述用户移动的相应自由度相关联的所述信号数据。
10.如前述权利要求中任一项所述的方法,其中,所述信号数据还表示至少一个场境信号集合,所述场境信号集合已经由除所述可穿戴装置之外的其他传感器生成。
11.如权利要求10所述的方法,其中,一个场境信号集合源自指南针并指示所述用户移动所指向的方向。
12.如权利要求10或11所述的方法,其中,一个场境信号集合包括来自嵌入电子装置中的相机的由所述用户形成的姿势的图像。
13.如权利要求10至12中任一项所述的方法,其中,一个场境信号集合源自全球定位系统gps并指示所述用户的位置。
14.如前述权利要求中任一项所述的方法,其中,所述机器学习引擎还被配置为输出指示所述多个电子装置中的第一电子装置和第二电子装置是否充分分开以供所述机器学习引擎进行稳健的识别输出的间隔指示符。
15.如前述权利要求中任一项所述的方法,其中,所述机器学习引擎被配置为确定所述用户移动是否形成预定的姿势。
16.如前述权利要求中任一项所述的方法,其中,所述用户、所述计算机和所述多个电子装置位于以物理墙壁为界的房间内。
17.一种非暂时性存储介质,包括代码,所述代码在由搜索引擎被配置为在其上执行的处理电路系统执行时,使所述处理电路系统执行方法,所述方法包括:
18.如权利要求17所述的非暂时性存储介质,其中,所述机器学习引擎是被配置为将所述信号数据作为输入并产生所述多个电子装置中的所述电子装置的装置标识符和所述控制的控制标识符的卷积神经网络(cnn)。
19.如权利要求18所述的非暂时性存储介质,其中,由所述用户穿戴的所述可穿戴装置包括电子传感器集合,所述电子传感器集合中的每个电子传感器被配置为响应于检测到所述用户移动而产生所述信号数据,
20.一种设备,所述设备包括:
