交互处理方法、装置及电子设备与流程

allin2024-12-08  54



1.本技术主要涉及人工智能技术领域,更具体地说是涉及一种交互处理方法、装置及电子设备。


背景技术:

2.然而,在增强现实(augmented reality,ar)或虚拟现实(virtual reality, vr)场景应用中,当需要增加或调整已有虚拟对象的情况下,通常需要借用交互对象来不断调整该虚拟对象的显示位置,效率低下。


技术实现要素:

3.有鉴于此,本技术提供了一种交互处理方法,所述方法包括:
4.获得针对目标虚拟对象的位置引导信息,在输出的应用场景中呈现所述位置引导信息;
5.响应对所述目标虚拟对象的交互触发操作,依据针对所述目标虚拟对象的交互触发位置以及所述位置引导信息,确定所述目标虚拟对象的目标显示位置;
6.将所述目标虚拟对象融合至所述应用场景中的所述目标显示位置上进行显示。
7.可选的,所述获得针对目标虚拟对象的位置引导信息,包括:
8.识别应用场景中第一场景对象存在的第一面,确定所述第一面上的至少一个引导位置点,利用确定的所述至少一个引导位置点,构成针对目标虚拟对象的位置引导信息;和/或,
9.响应针对目标虚拟对象的位置引导触发操作,获得针对所述目标虚拟对象的位置引导信息;所述位置引导信息包括由引导线和/或引导面构成的目标引导图形。
10.可选的,所述识别应用场景中第一场景对象存在的第一面,确定所述第一面上的至少一个引导位置点,包括:
11.依据应用场景的视角信息,确定所述应用场景中的第一场景对象;
12.确定所述第一场景对象存在的第一面,识别所述第一面的几何特征信息;
13.依据所述几何特征信息,按照目标引导规则,获得所述第一面上的至少一个引导位置点。
14.可选的,所述确定所述第一场景对象存在的第一面,包括:
15.扫描所述第一场景对象存在的多个面,将处于指定空间平面中的面确定为第一面;或者,
16.扫描所述第一场景对象存在的多个面,检测针对所述多个面的选择操作;
17.响应所述选择操作,确定所选择的第一面。
18.可选的,所述目标引导规则的获取方法,包括:
19.从针对不同几何特征的面所配置的预设引导规则中,调取与识别到的所述几何特征信息对应的预设引导规则为目标引导规则;或者,
20.响应引导规则配置触发操作,输出针对所述应用场景的引导规则配置界面,在所述引导规则配置界面呈现多个待选择引导模式;
21.响应对所述多个待选择引导模式的选择操作,确定目标引导规则。
22.可选的,所述响应针对目标虚拟对象的位置引导触发操作,获得针对所述目标虚拟对象的位置引导信息,包括:
23.响应针对目标虚拟对象的位置引导创建操作,依据交互对象的运动信息创建引导图形,构成针对所述目标虚拟对象的位置引导信息;或者,
24.响应针对目标虚拟对象的位置引导调取操作,输出引导图形展示界面,且在所述引导图形展示界面上呈现有至少一种引导图形;
25.响应于对所呈现的所述引导图形的选择操作,由所选择的引导图形,构成针对所述目标虚拟对象的位置引导信息。
26.可选的,所述构成针对所述目标虚拟对象的位置引导信息,包括:
27.在所述应用场景中显示所述创建或选择的引导图形;
28.响应对显示的所述引导图形的显示状态编辑操作,调整该引导图形的显示状态,得到针对目标虚拟对象的目标引导图形;
29.至少由所述目标引导图形构成针对所述目标虚拟对象的位置引导信息。
30.可选的,所述依据针对所述目标虚拟对象的交互触发位置以及所述位置引导信息,确定所述目标虚拟对象的目标显示位置,包括:
31.获取目标虚拟对象的预设几何特征点或面的实时移动位置与所述位置引导信息包含的各引导对象之间的相对位置关系;所述实时移动位置基于交互对象的交互触发操作确定;所述各引导对象包括引导位置点和/或至少一个引导图形;
32.依据所述相对位置关系和目标引导规则,在所述引导对象中确定所述目标虚拟对象的目标显示位置;
33.所述将所述目标虚拟对象融合至所述应用场景中的所述目标显示位置上进行显示,包括:
34.将所述目标虚拟对象从所处的实时移动位置直接移动至所述应用场景中对应的目标显示位置,以使位于同一指定引导线或指定引导面上的多个对象对齐;所述对象至少包括所述目标虚拟对象;
35.检测到所述应用场景中的所述目标显示位置处存在任一虚拟对象,将该虚拟对象移动至所述目标显示位置的相邻显示位置进行显示,在所述目标显示位置处显示所述目标虚拟对象;
36.检测到所述应用场景显示的所述目标虚拟对象的显示状态不符合显示要求,响应对所述目标虚拟对象的调整操作,调整所述目标虚拟对象的显示状态。
37.本技术还提出了一种交互处理装置,所述装置包括:
38.位置引导信息输出模块,用于获得针对目标虚拟对象的位置引导信息,在输出的应用场景中呈现所述位置引导信息;
39.目标显示位置确定模块,用于响应对所述目标虚拟对象的交互触发操作,依据针对所述目标虚拟对象的交互触发位置以及所述位置引导信息,确定所述目标虚拟对象的目标显示位置;
40.目标虚拟对象显示模块,用于将所述目标虚拟对象融合至所述应用场景中的所述目标显示位置上进行显示。
41.本技术还提出了一种电子设备,所述电子设备包括:
42.显示模组;多个传感器;
43.存储器,用于存储实现如上述的交互处理方法的程序;
44.处理器,用于加载执行所述存储器存储的所述程序,实现如上述的交互处理方法。
45.由此可见,本技术提出了一种交互处理方法、装置及电子设备,用户穿戴电子设备观看其输出的任一应用场景过程中,电子设备可以先获得针对该目标虚拟对象的位置引导信息,呈现在该应用场景中,以使用户能够依据直观看到的位置引导信息,执行对目标虚拟对象的交互触发操作,电子设备响应该交互触发操作,将依据所得到的交互触发位置和位置引导信息,快速且准度地确定出目标虚拟对象的目标显示位置,将目标虚拟对象融合至应用场景中的目标显示位置上进行显示,满足对应用场景呈现内容的灵活更新需求,相对于用户凭个人眼睛观察确定目标显示位置的处理方法,不仅丰富了交互处理方式,且提高了交互处理效率和精准度。
附图说明
46.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
47.图1为适用于本技术提出的交互处理方法的电子设备的一可选示例的硬件结构示意图;
48.图2为适用于本技术提出的交互处理方法的一可选应用环境的系统架构示意图;
49.图3为本技术提出的交互处理方法的一可选示例的流程示意图;
50.图4为本技术提出的交互处理方法的又一可选示例的流程示意图;
51.图5为本技术提出的交互处理方法的一可选场景的流程示意图;
52.图6为本技术提出的交互处理方法中,多个目标虚拟对象的一可选放置场景示意图;
53.图7为本技术提出的交互处理方法中,基于预测移动轨迹来移动目标虚拟对象的一可选场景的示意图;
54.图8为本技术提出的交互处理方法的又一可选示例的流程示意图;
55.图9为本技术提出的交互处理方法中,一种引导规则配置界面示意图;
56.图10a为本技术提出的交互处理方法中,矩形对象的几何特征示意图;
57.图10b为本技术提出的交互处理方法中,圆形对象的几何特征示意图;
58.图10c为本技术提出的交互处理方法中,不规则对象的几何特征示意图;
59.图11为本技术提出的交互处理方法的又一可选示例的流程示意图;
60.图12a为本技术提出的交互处理方法中,创建引导图形的一可选场景示意图;
61.图12b为本技术提出的交互处理方法中,编辑引导线的一可选场景示意图;
62.图12c为本技术提出的交互处理方法中,编辑引导面的一可选场景示意图;
63.图12d为本技术提出的交互处理方法中,目标虚拟对象自动吸附至引导线上的一可选交互处理场景示意图;
64.图12e为本技术提出的交互处理方法中,目标虚拟对象自动吸附至引导面上的一可选交互处理场景示意图;
65.图13为本技术提出的交互处理装置的一可选示例的结构示意图。
具体实施方式
66.针对背景技术部分的描述,在用户佩戴ar(augmented reality,增强现实)设备、vr(virtual reality,虚拟现实)设备等电子设备的情况下,观看该电子设备呈现出的应用场景过程中,本技术希望可以在调整该应用场景中某虚拟对象的显示位置,和/或增加某一个或多个虚拟对象,甚至是对虚拟对象之间或与应用场景已有对象之间形成特定的位置关系,如多个对象对齐摆放、呈特定形状摆放、摆放到特定位置等,面对诸如此类的各应用需求,提出在借助交互对象(如手柄等交互设备、用户手等)对该虚拟对象进行操作之前,先获得针对该虚拟对象的位置引导信息(如指示虚拟对象摆放位置的引导线、引导面、引导位置点、特定引导图形等),将其呈现在该应用场景中,这样,用户就可以参考该位置引导信息实现虚拟对象的显示位置移动,快速且准确地放置到目标显示位置进行显示,相对于凭借用户自身的观察来不断调整虚拟对象显示位置的处理方式,本技术提高了交互处理效率和准确性,能够更好地满足不同类型的交互处理需求,提高用户体验。
67.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
68.参照图1,为适用于本技术提出的交互处理方法的电子设备的一可选示例的硬件结构示意图,该电子设备可以包括如上述ar设备、vr设备等能够为用户呈现某应用场景(其可以是虚拟环境与显示环境结合构成的,也可以是虚拟环境构成的,本技术对该应用场景的构成方式及其内容不做限制,可视情况而定)的终端设备,如头盔式、眼镜式等ar设备/vr设备等,本技术对该电子设备的产品类型不做限制,用户可以依据实际情况选择佩戴,实现本技术提出的交互处理方法。
69.在实际应用中,如图1所示,该电子设备可以包括:显示模组11、多个传感器12、至少一个存储器13和至少一个处理器14,其中:
70.显示模组11、传感器12、存储器13和处理器14可以连接通信总线,实现相互之间的数据交互,本技术对电子设备内部各组成部件之间的通信连接方式不做限制,可以依据各部件的接口类型及其通信方式确定。
71.显示模组11可以用于向电子设备使用者展示渲染后的应用场景,在该应用场景中,可以包含虚拟环境和/或现实环境的渲染所得到的虚拟场景,如在游戏场景下,用户佩戴电子设备,可以通过显示模组11展示游戏环境,该游戏环境可以是结合部分现实环境渲染得到的,也可以是只虚拟环境进行渲染得到的,可视情况而定。在实际应用中,该显示模组11可以集成在电子设备中,也可以利用如手机等具有显示器的其他终端,与该电子设备连接,作为该电子设备的显示模组11实现应用场景的展示。关于这类电子设备的显示模组
11的组成结构及其类型,本技术不做限制。
72.其中,对于显示模组11所输出的应用场景的渲染过程,可以由电子设备自身的处理器14实现,这样就可以离线使用电子设备;在一些实施例中,如图2所示的应用环境示意图,电子设备也可以联网接入任一业务服务器,由该业务服务器提供电子设备的显示模组11需要输出的应用场景数据,这种情况下,为了减轻电子设备的处理负担,可以由业务服务器实现应用场景的渲染处理过程;同理,电子设备也可以接入其他具有较强数据处理能力的终端设备,如笔记本电脑、台式电脑等,由其为如ar、vr等电子设备提供业务数据等,本技术对电子设备的应用环境不做限制。
73.多个传感器12可以包括但并不局限于:如加速度传感器、陀螺仪和地磁传感器等惯性传感器(也可以称为动作捕捉传感器),用于捕捉用户头部和/ 或其他身体部分的动作,如移动、转动等,根据需要还可以包括接近传感器、电容感应传感器、红外传感器、图像传感器等不同类型的传感器,可以依据电子设备的功能需求确定,本技术对电子设备包含的传感器类型不做限制。其中,对于各类型的传感器,可以依据其功能确定其在电子设备中的位置,如位于手柄、手套等交互对象上,位于佩戴与
74.存储器13可以用于存储实现上述各方法实施例描述的信息处理方法的程序;处理器14可以加载并执行存储器13存储的该程序,以实现上述相应方法实施例描述的信息处理方法的各个步骤,具体实现过程可以参照下文实施例相应部分的描述。
75.本技术实施例中,存储器13可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器14,可以为中央处理器(central processing unit,cpu)、特定应用集成电路(application-specific integrated circuit,asic)、数字信号处理器 (dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件等。本技术对上述存储器32和处理器33的结构及其型号不做限定,可以根据实际需求灵活调整。
76.应该理解的是,图3所示的终端设备的结构并不构成对本技术实施例中终端设备的限定,在实际应用中,终端设备可以包括比图3所示的更多的部件,或者组合某些部件,如拾音器、扬声器、电源模组以及各种通信模组等,本技术在此不做一一列举。
77.参照图3,为本技术提出的交互处理方法的一可选示例的流程示意图,该方法可以由电子设备执行,可以适用于用户佩戴电子设备,观看电子设备展示的应用场景,需要对其包含的虚拟对象或来自现实环境的实体对象的交互操作,或在该应用场景中增加其他虚拟对象等交互处理场景,可以依据实际情况确定。如图3所示,该方法可以包括:
78.步骤s31,获得针对目标虚拟对象的位置引导信息,在输出的应用场景中呈现该位置引导信息;
79.结合上文对本技术技术方案的相关描述,目标虚拟对象可以是用户佩戴电子设备所呈现的应用场景中的任一个或多个虚拟对象,也可以是用户想要在当前呈现的应用场景中添加的虚拟对象,本技术希望能够快速且精准地将该目标虚拟对象放置到目标显示位置上进行展示,因此,本技术可以先获得针对目标虚拟对象的位置引导信息,将其呈现在应用场景中,使佩戴电子设备的用户可以直观看到该位置引导信息,这样就可以引导用户将目标虚拟对象快速且准确移动至所要放置的目标显示位置。
80.需要说明,本技术对位置引导信息的内容及其表示形式不做限制。示例性,若想将
目标虚拟对象放置到应用场景中一张桌子上的中间位置,那么,该位置引导信息可以包括呈现在该桌子中心位置处的引导位置点,甚至可以在中心线的若干等分位置上呈现引导位置点,辅助用户来放置目标虚拟对象;若想要将多个目标虚拟对象对齐,放置到桌子上,位置引导信息可以包括呈现再桌子面上的一条引导线或一个引导面,辅助用户实现多个目标虚拟对象的对齐放置等。可见,本技术可以依据目标虚拟对象类型,以及对其在应用场景中的放置需求确定,本技术不做一一举例详述。
81.其中,对于位置引导信息在应用场景中的呈现位置,可以由用户灵活调整,也可以依据其生成方式确定,本技术对其呈现位置和方式不做限制。
82.步骤s32,响应对目标虚拟对象的交互触发操作,依据针对目标虚拟对象的交互触发位置以及位置引导信息,确定目标虚拟对象的目标显示位置;
83.如上述分析,用户看到的位置引导信息可以作为将目标虚拟对象放置到目标显示位置的辅助工具,可以通过借用如手柄(用户可以触发手柄上的功能按钮、转动手柄等操作,实现与对象的交互操作)、手套(用户佩戴手套进行交互操作)等交互对象,来选中或确定目标虚拟对象,移动目标虚拟对象在应用场景中的显示位置,在该过程中,可以同步移动显示目标虚拟对象,也可以在确定一显示位置后,目标虚拟对象再在该显示位置处进行显示等,本技术对如何实现目标虚拟对象的移动方法不做限制。
84.基于上段描述,步骤s32中的交互触发操作可以是用户对电子设备的交互对象的触发操作,通过对该交互触发操作产生的交互数据进行分析,确定每次交互触发操作产生的交互触发位置,如表征目标虚拟对象的显示移动位置,之后,可以按照预设的位置配置规则,对该交互触发位置和位置引导信息进行比对分析,参考该位置引导信息包含的独立引导位置点或连续多个引导位置点等,来确定目标虚拟对象的目标显示位置,需要时也可以据此引导用户借用交互对象的交互触发操作,继续更新目标虚拟对象的显示移动位置,直至将目标虚拟对象移动至目标显示位置。
85.其中,若移动的目标虚拟对象的交互触发位置可以实时呈现在应用场景中,可以由用户自己观看该交互触发位置与位置引导信息之间的位置关系,确定应该将目标虚拟对象放置到的目标显示位置,据此移动目标虚拟对象至目标显示位置,或直接将所选择的目标虚拟对象放置到该目标显示位置等。
86.在一些实施例中,针对位置引导信息配置目标虚拟对象的显示位置自动引导功能,且针对该功能配置相应的有效距离范围,这样,在交互触发位置进入该有效距离范围内,可以自动控制目标虚拟对象到位置引导信息中的目标显示位置,或自动选择位置引导信息中的一引导位置处为目标显示位置等,本技术对步骤s32的实现方法不做限制,可以参照但并不局限于下文细化实施例相应部分的描述。
87.步骤s33,将目标虚拟对象融合至该应用场景中的目标显示位置上进行显示。
88.在一种可能的实现方式中,确定目标虚拟对象在当前帧(甚至后续连续若干帧,这取决于下一次对目标虚拟对象的显示位置调整时间)的应用场景中的目标显示位置后,经过图像渲染技术,输出在目标显示位置处显示目标虚拟对象的应用场景;在又一种可能的实现方式中,对于应该渲染展示在应用场景中的目标虚拟对象,可以直接将其叠加到该目标显示位置上进行显示等。
89.其中,对于上文应用场景及各虚拟对象的渲染过程,可以在电子设备上实现,也可
以由业务服务器或其他终端设备执行,再将渲染得到的连续帧图像反馈至电子设备,以使得电子设备给用户呈现的应用场景中的目标显示位置处显示有目标虚拟对象。本技术对步骤s33的实现方法不做限制。
90.综上,本技术实施例中,用户穿戴电子设备观看其输出的任一应用场景过程中,需要在其中的某位置记为目标显示位置(其是指符合目标虚拟对象的显示要求的位置,由于呈现出的应用场景多变性,目标显示位置通常无法预先得知位置坐标)处显示目标虚拟对象(已存在或/或新添加的虚拟对象),电子设备可以先获得针对该目标虚拟对象的位置引导信息,呈现在该应用场景中,以使用户能够依据直观看到的位置引导信息,执行对目标虚拟对象的交互触发操作,电子设备响应该交互触发操作,将依据所得到的交互触发位置和位置引导信息,快速且准度地确定出目标虚拟对象的目标显示位置,将目标虚拟对象融合至应用场景中的目标显示位置上进行显示,满足对应用场景呈现内容的灵活更新需求,相对于用户凭个人眼睛观察确定目标显示位置的处理方法,不仅丰富了交互处理方式,且提高了交互处理效率和精准度。
91.参照图4,为本技术提出的交互处理方法的又一可选示例的流程示意图,本实施例可以是对上文实施例描述的交互处理方法的一可选细化实现方法,如对位置引导信息获得过程的细化描述,但并不局限于本实施例描述的这种获得方法,如图4所示,该方法可以包括:
92.步骤s41,输出图像渲染得到的任一应用场景;
93.步骤s42,识别该应用场景中第一场景对象存在的第一面,确定第一面上的至少一个引导位置点;
94.本技术实施例中,第一场景对象可以是指当前呈现在穿戴电子设备的用户眼前的应用场景中的任一个或多个对象,可以是现实环境中存在的现实对象,也可以是虚拟环境中虚拟对象,本技术对第一场景对象的类型不做限制,可视情况而定。
95.以应用场景为虚实结合增强现实场景为例进行说明,若当前该应用场景中已存在多个场景对象,在需要放置目标虚拟对象时,通常可以检测已有场景对象的平面(可以由碰撞检测射线确定)的尺寸和距离信息,选择距离该应用场景下距离用户最近用户的平面作为第一面,用以放置目标虚拟对象,但这种处理方式具有很大局限性,往往无法满足ar社交技术方面的应用需求。
96.对此,本技术实施例提出识别出场景对象的表面后,结合其几何特征来进一步确定其上存在的引导位置点,用以引导或辅助用户在精准的引导位置点放置虚拟对象。所以,电子设备可以对当前输出的应用场景中的每一个或指定场景对象进行识别检测,确定该场景对象上存在的所有或指定用以放置其他对象的表面,本技术对该识别检测方法不做限制。
97.因此,用户看到应用场景内的对象后,若需要在其中放置新的虚拟对象即目标虚拟对象,或者是需要将已有的某一虚拟对象移动到其他位置,用户已知目标虚拟对象的目标显示位置,可以直接选择该目标显示位置在的物体对象为第一物体对象,再对其进行识别,以使电子设备得知该第一物体对象包含的一个或多个表面,用户可以进一步选择其中的一个或多个表面为第一面,用来放置目标虚拟对象;当然,此时也可以不用选择,将识别出的所有表面确定为第一面,对所确定的各第一面进行几何特征分析检测。
98.需要说明,在上段确定第一物体对象时,并不局限于用户选择的实现方式,本技术的电子设备也可以依据目标虚拟对象的对象属性信息(如对象类型、尺寸、形状、放置姿态等要求等),以及应用场景中存在的各物体对象自身的属性信息(如物体类型、尺寸、形状、其他基本属性等)进行匹配分析,来确定适合放置目标虚拟对象的物体对象为第一物体对象,甚至可以同时确定该第一物体对象的第一面,再进行后续几何特征的分析;当然,电子设备也可以直接对应用场景当前存在的各物体对象进行表面识别,再基于用户选择操作,确定对应第一物体对象上的第一面,或者直接将识别到的各表面均确定为该物体对象的第一面等,本技术对应用场景中第一场景对象存在的第一面的识别实现方法不做限制,包括但并不局限于上文列举的几种实现方法。
99.之后,可以进一步对所识别出的第一面的几何特征做进一步识别分析,按照预设的引导规则获得该第一面上存在的至少一个引导位置点。其中,该引导规则可以是用户提前配置好的,可以通过预设的触发方式,如语音触发、特定功能按钮的触发、菜单触发、交互对象或用户的特定姿态触发方式等,来触发引导位置配置功能,完成引导规则的配置。该引导规则可以包括对各种引导位置点的类别要求,如端点、中点、中心点、四分点、交点、最近点、延伸线/面、平行等,用户可以基于实际情况选择所需的引导规则内容,以使后续据此生成符合的引导位置点。
100.可以理解,对于上述引导规则配置过程中,用户可以通过交互对象进行自主选择,也可以输入新的规则内容,从而确定实际所需的引导规则,记为目标引导规则,以供实际调用,更好地满足不同用户的个性化需求。当然,对于该目标引导规则也可以是该电子设备出厂配置好的,无需用户自己再花费时间进行配置好的,使得对电子设备配置不了解的用户能方便使用电子设备,提高这类用户的使用感受。
101.在又一些实施例中,关于步骤s42的实现方法,包括但并不局限于上文描述的实现方式,还可以在确定各第一面上的所有引导位置点,在应用场景中呈现所确定的引导位置点,以供用户从中选择需要的引导位置点保留,其他引导位置点可以取消,该选择实现方法本技术不做限制,如电子设备可以响应对呈现的各引导位置点的选择触发操作,删除所选择引导位置点,剩余引导位置点可以作为引导位置信息继续显示,引导或辅助用户将目标虚拟对象移动到所显示的某一个或多个引导位置点上或其附近。
102.步骤s43,利用确定的至少一个引导位置点,构成针对目标虚拟对象的位置引导信息,将其呈现于该应用场景中;
103.继上文描述,按照上文描述方法,确定所识别出的应用场景中第一物体对象的第一面上的至少一个引导位置点后,可以直接由确定的这些引导位置点,作为目标虚拟对象的引导位置信息呈现于应用场景中,也可以按照上文描述的选择方式,由所选择保留的引导位置点组成引导位置信息显示,还可以基于所确定的多个引导位置点,确定出一个或多个引导图形,由该引导图形和引导位置点构成引导位置信息等,本技术对引导位置信息的构成方法不做限制。
104.其中,引导图形可以是引导线、引导面、特定形状的引导图形等,本技术对引导图形的形状及其显示状态不做限制,可以依据实际对虚拟对象的摆放要求(如对齐摆放、摆放呈特定形状等)进行灵活配置,如按照预设引导图形要求,对多个引导位置点自动连续构成;或,响应于对呈现的多个引导位置点的连线操作,确定引导图形等。
105.步骤s44,响应对目标虚拟对象的交互触发操作,确定目标虚拟对象的预设几何特征点的实时移动位置;
106.结合上文实施例相应部分的描述,用户借用交互对象对目标虚拟对象进行移动过程中,通常需要实时检测目标虚拟对象的位置,由于目标虚拟对象通常不是一个点,在定位目标虚拟对象的位置坐标时,可以将该目标虚拟对象的预设几何特征点的实时位置,确定为目标虚拟对象的实时移动位置,该预设几何特征点可以指目标虚拟对象的重心、顶点、中心点等,本技术对该预设几何特征点的位置类型不做限制,可以依据目标虚拟对象自身的几何特征确定,对于具有不同几何特征的目标虚拟对象,所确定的预设几何特征点可以不同,也可以相同,可视情况而定。
107.在又一些实施例中,依据目标虚拟对象的放置需求,本技术也可以将目标虚拟对象的预设面的位置,确定为目标虚拟对象的实时移动位置,该预设面的位置表示,可以通过该预设面的各端点和/或边的位置等信息表示,本技术对此不做限制。如在需要将目标虚拟对象的呈特定姿态放置在第一物体对象的第一面上,此时目标虚拟对象中需要与第一面接触的顶点、边或面等是确定的,本技术可以由互动对象所在位置表征这些特征所在位置,进而表征目标虚拟对象实时移动位置;当然,也可以检测目标虚拟对象的其他几何特征点、边或面的实时移动位置,来确定目标虚拟对象的实时移动情况,根据需要可以在应用场景中同步显示移动的目标虚拟对象,观看其移动轨迹等。
108.对于电子设备中交互对象的移动位置,可以通过其中配置的传感器的感应参数来确定,本技术对如何基于交互对象的交互触发操作,确定上述实时移动位置的获取方法不做详述。
109.步骤s45,获取该实时移动位置与位置引导信息包含的各引导对象之间的相对位置关系;
110.结合上文对位置引导信息的相关描述,引导对象可以包括但并不局限于上文描述的引导位置点和/或至少一个引导图形,若包括多个引导图形,这多个引导图形的类型可以相同,也可以不同,可视情况而定。
111.本技术实施例可以位置距离差、结合各对象姿态确定的角度关系等,来表示实时移动位置处的目标虚拟对象与各引导对象之间的相对位置关系,包括相对距离、相对姿态角度关系等,本技术对相对位置关系的内容及其表示方式不做限制。
112.步骤s46,依据该相对位置关系和目标引导规则,在引导对象中确定目标虚拟对象的目标显示位置;
113.步骤s47,将目标虚拟对象从所处的实时移动位置直接移动至应用场景中对应的目标显示位置进行显示。
114.需要说明,本技术在配置目标引导规则过程中,不仅可以定义引导对象的类型和构建方式等信息,还可以定义在依据所选定的引导对象,对目标虚拟对象引导过程中,可以采用的引导模式,如相对距离较小时可以自动吸附目标虚拟对象至该引导对象,或其他引导方式;所选定的引导对象处存在其他虚拟对象时,如何确定目标虚拟对象的目标显示位置,及对该引导对象处存在其他虚拟对象的显示位置的调整;目标虚拟对象的数量为多个,如何实现对多个目标虚拟对象的引导放置等等,可视情况而定,本技术不做一一详述。
115.基于此,结合上文对本技术技术方案的相关描述,本技术是由应用场景中呈现的
位置引导信息,直观引导或辅助用户将目标虚拟对象放置到目标显示位置,如图5所示的场景示意图,灰度圆圈可以表示第一面上的各引导特征点,但并不局限于圆圈这种显示标识对引导对象的表示,图5所示虚拟对象和引导对象是一种示例,并不构成对象类型及其显示方式的限制。基于此,通过交互对象控制目标虚拟对象在线移动或表征其显示位置移动过程中,可以同步检测其与目标虚拟对象之间的相对位置关系,并确定该相对位置关系是否符合预设的引导定位规则,对于不同内容的引导定位规则,检测实现方法往往不通过,本技术在此不做详述。
116.本技术实施例中,确定当前获得的相对位置关系符合该引导定位规则,说明电子设备当前基本确定出目标显示位置,之后,可以直接控制目标虚拟对象直接在该目标显示位置处进行显示。示例性的,若引导定位规则包括目标虚拟对象的实时移动位置与引导对象之间的第一距离小于第一距离阈值,可以将目标虚拟对象自动吸附到该引导对象所在的目标显示位置,如自动控制目标虚拟对象直接从当前所处位置移动至目标显示位置处显示,提高交互处理效率和操作便利性。
117.其中,第一距离阈值可以是对应引导对象对虚拟对象实现如上述自动吸附功能的预设有效范围的半径,即目标虚拟对象进入任一引导对象的预设有效范围内,目标虚拟对象即可被自动吸附至该引导位置处。该预设有效范围通常是以该引导对象为中心,第一距离阈值为半径的圆周范围,本技术对该第一距离阈值的数值以及预设有效范围的形状不做限制,可以依据实际需求进行灵活配置,且对于不同引导对象的预设有效范围和第一距离阈值可以相同,也可以不同,本技术对此不做限制。
118.在一些实施例中,上述图4所示的本实施例的引导对象可以是指引导特征点,且在确定目标显示位置处当前不存在其他虚拟对象的情况下,直接将目标虚拟对象吸附至引导对象所处的目标显示位置处进行显示。若该目标显示位置处已存在其他虚拟对象,目标虚拟对象仍移动至该目标显示位置处,往往导致该目标显示位置处的多个虚拟对象之间的相互遮挡,无法达到同时显示这多个虚拟对象的效果。
119.所以,为了避免上述情况,在一些实施例中,若检测到应用场景中的目标显示位置处存在任一虚拟对象,可以将该虚拟对象移动至目标显示位置(即引导特征点所在位置)的相邻显示位置或其他显示位置进行显示,再在该目标显示位置处显示目标虚拟对象。所以说,若同一目标显示位置处要显示多个虚拟对象,可以依据这多个虚拟对象的放置顺序,将之前放置的虚拟对象挤到相邻引导对象所在的显示位置处,若该相邻引导对象所在的显示位置处仍存在其他虚拟对象,如图5所示,可以按照上述放置继续将该处的虚拟对象挤到其相邻引导对象所在的显示位置,如此引导定位,保证最新放置目标虚拟对象在目标显示位置处显示,但并不局限于这种处理方式。
120.在又一些实施例中,若检测到所确定的目标显示位置(即引导特征点所在位置)处已存在虚拟对象,若目标引导规则包括虚拟对象与引导对象之间的自动吸附功能,可以自动取消该自动吸附功能,即该自动吸附功能暂时失效,或由用户通过交互对象执行相应的功能取消操作,如上文描述的语音触发、特定姿态/手势触发、菜单触发等任一触发方式,实现自动吸附功能的启动或取消操作,此时,取消该自动吸附功能后,目标虚拟对象即便进入本次确定的目标显示位置的预设有效范围内,也不会被自动吸附至该目标显示位置,这样,该目标显示位置处的虚拟对象仍可以继续在此显示。用户可以按照上文描述的方法,继续
向其他引导对象位置移动,重新确定其他引导对象所在的目标显示位置,或者可以在当前确定的目标显示位置的周围位置(如预设范围内)为新的目标显示位置,实现对目标虚拟对象的显示。
121.其中,用户通过交互对象移动目标虚拟对象(其可以是目标虚拟对象直接呈现在应用场景显示,也可以是表征目标虚拟对象的实时移动位置的显示标识等)到其他引导对象过程中,若之前取消了自动吸附功能,可以恢复该自动吸附功能,这样,在目标虚拟对象靠近新的引导对象并进入其预设有效范围内,将自动移动至该引导对象所在位置处显示,实现过程不做赘述。
122.在又一些实施例中,在上述引导对象为引导线或引导面的情况下,由于这类引导图形通常是引导多个虚拟对象对齐放置,所以,在放置任一目标虚拟对象过程中,在执行上述步骤s46时,可以依据该引导对象上已存在其他对象(如其他至少一个虚拟对象和/或至少一个现实场景中的真实对象),确定目标虚拟对象的目标显示位置,如引导线上已有虚拟对象的相邻空闲位置为目标显示位置,之后,若预先配置了自动吸附功能,可以控制目标虚拟对象自动移动至该目标虚拟对象显示,根据需要可以自动调整目标虚拟对象的角度,以使在同一该引导对象上的多个对象(其至少包括目标虚拟对象)对齐摆放显示。
123.当然,在上述引导对象为引导线或引导面的情况下,确定目标虚拟对象的目标显示位置时,并不局限于上文描述的已有对象的相邻显示位置,也可以是已有对象的开始显示位置或该引导对象中特定位置(如端点、中心、某一边等),此时,若这类位置已有其他对象,按照上文描述的实现方法,可以将该其他对象移动至目标显示位置的相邻位置,将目标虚拟对象放置到该目标显示位置处显示,使得该目标显示位置处的目标虚拟对象是最新放置对象,若该引导对象上都是放置的虚拟对象,那么,其他越靠近该目标虚拟对象的显示位置,其上显示的虚拟对象放置时间与当前时间的时间差越小。
124.在本技术提出的又一些实施例中,在上述目标虚拟对象的数量为多个的情况下,在一种可能的实现方式中,可以按照上文描述的方法,同时确定多个目标虚拟对象各自的目标显示位置,将这多个目标虚拟对象同时移动至各自的目标显示位置上进行显示,从而将多个目标虚拟对象同时融合至应用场景中对应的目标显示位置进行显示。对于每一个目标虚拟对象移动至目标显示位置处进行显示的处理过程,可以参照上文对应部分的描述,本实施例不做赘述。
125.其中,多个目标虚拟对象各自的目标显示位置之间可以呈一定规则排布,即多个目标显示位置连接可以呈预设要求形状,如图6所示,多个目标显示位置可以在桌子的第一面上的四个端点和中心位置,这样,在通过交互对象控制目标虚拟对象的实时移动位置靠近这些目标显示位置过程中,可以按照尚未描述方法,在相对距离小于第一距离阈值时,多个目标虚拟对象可以被自动吸附到这多个目标显示位置处显示。但并不局限于图6所示的多个目标显示位置的数量和布局方式,可视情况而定,本技术不做一一举例详述。
126.在又一种可能的实现方式中,多个目标虚拟对象也可以依序顺次移动至目标显示位置处进行限制,在实现过程中,可以按照上文描述的方式,确定对应数量的多个目标显示位置,按照但并不局限于图6所示的顺序实现多个目标虚拟对象在应用场景中的摆放显示,可以理解,对于多个目标显示位置之间的位置关系,可以实际需求进行灵活配置,配置方法可以借用交互对象或语音触发方式实现,本技术不做详述。
127.在又一种可能的实现方式中,多个目标虚拟对象所需要显示的目标显示位置可以是一一对应的,也可以是多对一的关系,即多个目标虚拟对象的目标显示位置相同,这种情况下,按照顺序在该目标显示位置上显示的第一个目标虚拟对象,仍可以按照上文描述的方法移动显示,再移动第二个目标虚拟对象靠近该目标显示位置时,如上文可选实施例的描述,可以将之前显示的另一目标虚拟对象移动至相邻显示位置上显示,再将本次移动的目标虚拟对象移动至该目标显示位置处显示,实现过程不做赘述。可以理解,在该交互处理过程中,对于需要在其他目标显示位置处显示的其他目标虚拟对象,仍可以按照上文描述移动显示处理方法进行同步显示或顺序显示,可视情况而定。
128.在又一些实施例中,若需要在多个目标显示位置处摆放相同的目标虚拟对象的场景下,可以依据实际需求预先配置一个目标虚拟对象需要摆放的多个目标显示位置之间的位置关系,以及对各目标显示位置在第一面上的位置要求等,这样,在移动目标虚拟对象过程中,与目标显示位置之间的距离小于第一距离阈值,可以按照预设要求,将该目标虚拟对象同时或顺次移动至多个目标显示位置处进行显示,实现过程与上文描述的可选实施例的实现过程类似,本技术不做详述。
129.由此可见,无论是同时将多个目虚拟对象移动至对应的多个目标显示位置处进行显示,还是将同一目标虚拟对象移动至多个目标显示位置处进行显示,这多个目标显示位置可以根据实际需求进行灵活配置,如均匀分布、特定形状分布等,本技术不做一一举例说明。而且,用户在依据应用场景呈现的位置引导信息中的各引导位置点,以及目标虚拟对象的实时移动位置的直观观察,将目标虚拟对象靠近目标显示位置,且满足预设自动吸附要求(其可以依据需求预先灵活配置的,若不需要,可以取消该自动吸附功能,由用户依据引导位置点的直观位置指示,手动将目标虚拟对象移动至该位置处),可以安装预设显示要求(其可以指示预先灵活配置的多个虚拟对象的摆放模式,如按照什么形状顺次或同时摆放等),将目标虚拟对象自动移动至对应的目标显示位置处进行显示,丰富了交互处理方法,提高了处理效率和趣味的。
130.此外,按照上文描述的任一内容引导规则,将任一目标虚拟对象移动至对应的目标显示位置进行显示后,用户可以观看目标虚拟对象在应用场景中的整体显示效果,若对显示结果不满足,可以取消上述自动吸附功能后,可以移动目标虚拟对象,更新其目标显示位置,实现对目标虚拟对象的微调。
131.因此,在目标显示位置处显示目标虚拟对象后,可以进一步检测应用场景显示的目标虚拟对象的显示状态(其可以包括上述显示位置,也可以包括显示颜色、尺寸、角度等其他显示状态,本技术对该显示状态包含的内容不做限制,可视情况而定)是否符合显示要求(其可以由用户主观判断,也可以是电子设备预先配置,获取目标虚拟对象的显示状态信息,将其与预设显示要求进行匹配实现等),若符合显示要求,可以继续对其他虚拟对象进行处理;若不符合显示要求,用户可以通过语音触发、基于交互对象触发等任一触发方式(可以参照上文实施例描述的引导规则配置触发、自动吸附功能触发等触发方式的描述,本实施例不做详述),触发输出针对目标虚拟对象的显示状态调整界面,对其包含的任一个或多个显示状态参数进行调整操作,以使电子设备响应对目标虚拟对象的调整操作,调整目标虚拟对象的显示状态,如改变目标虚拟对象的显示尺寸、显示颜色、显示亮度等,可视情况而定。
132.其中,在按照上文方法对目标虚拟对象进行微调,或依据显示的各引导位置点和/或引导图形,移动目标虚拟对象靠近目标显示位置过程中,为了提高手动对目标虚拟对象的调整效率和可靠性,可以依据目标虚拟对象的位置变化,来预测目标虚拟对象的移动轨迹,记为预测移动轨迹,也可以将其作为一种能够实时产生的位置引导信息,呈现在应用场景中,引导或辅助用户按照该预测移动轨迹移动目标虚拟对象,在该移动过程中若目标虚拟对象的移动方向发生变化,由于预测移动轨迹可以实时更新,所呈现的预测移动轨迹的移动方向将相应改变,如此推进,可以手动控制目标虚拟对象快速且准确地移动至目标显示位置处进行显示。
133.示例性的,如图7所示,对于任一目标虚拟对象,当用户需要水平或垂直或任一角度调整该目标虚拟对象的当前显示位置时,在移动之前选中目标虚拟对象,使其进入编辑状态,可以以该目标虚拟对象为原点形成空间坐标系,并展示该空间坐标系的不同坐标轴,如以虚线等形式进行显示,在移动目标虚拟对象后,按照上文描述方法,可以依据目标虚拟对象移动显示位置的实时变化,来预测该目标虚拟对象的预测移动轨迹,如图7所示,仍可以但并不局限于虚线方式展示该预测移动规则,以指示目标虚拟对象按照该预测移动轨迹进行移动,在移动过程中可以按照上文描述方法实时更新预测移动轨迹并展示,直至目标虚拟对象移动至目标显示位置处显示。
134.可选的,对于上述预测移动轨迹的预测实现方法,为了提高预测准确性,可以结合目标虚拟对象自身的对象属性,以及应用场景包含的各对象的属性或位于目标虚拟对象的预设距离范围内的各对象的属性等,甚至还可以包括该用户账号下对该类目标虚拟对象的移动历史记录或应用场景的历史布局信息等,采用人工智能的深度学习、机器学习等算法,来预测目标虚拟对象到达目标显示位置处的移动轨迹,可以说是推荐移动轨迹。此外,对于上述各移动轨迹、空间坐标轴等位置引导信息的呈现方式,包括但并不局限于图7所示的虚线显示方式,可以依据实际情况灵活配置,本技术不做一一举例说明。
135.参照图8,为本技术提出的交互处理方法的又一可选示例的流程示意图,本实施例可以是对上文实施例描述的交互处理方法的又一可选细化实现方法,该方法仍可以电子设备执行,如图8所示,该方法可以包括:
136.步骤s81,输出图像渲染得到的任一应用场景;
137.步骤s82,依据该应用场景的视角信息,确定应用场景中的第一场景对象;
138.步骤s83,确定第一场景对象存在的第一面,识别第一面的几何特征信息;
139.结合上文实施例相应部分的描述,第一场景对象是电子设备当前输出的应用场景中的任一对象,可以是现实环境中的真实对象,也可以是虚拟环境中的虚拟对象。第一面可以是该第一场景对象存在的任一个或多个表面,可以依据实际需求确定。
140.在一种可能的实现方式中,电子设备可以通过扫描第一场景对象存在的多个面,将处于指定空间平面(可以由用户按照上文描述的选择或配置方式确定,也可以结合第一场景对象和目标虚拟对象各自的属性信息确定,本技术对此不作限制)中的面确定为第一面,如上述场景示例中桌子的桌面、侧面等,但并不局限于此。
141.在又一种可能的实现方式中,可以由用户自由选择第一面,因此,电子设备可以扫描第一场景对象存在的多个面,检测针对多个面的选择操作(如调整扫描到的多个面各自的显示状态,提醒用户注意到这多个面,用户可以通过交互对象点击选择其中的一个或多
个面),通过响应该选择操作,确定所选择的第一面,但并不局限于本实施例描述的第一面的确定方法。
142.之后,为了确定该第一面存在或产生的位置引导信息,可以识别第一面的几何特征信息,如第一面的形状、尺寸、矩形的顶点、中心、圆形的圆形或均分点等,可以依据实际情况确定。当然,本技术也可以依据预设配置的目标引导规则内容,确定所要识别的几何特征信息内容,本技术对几何特征信息内容及其识别方法不做限制。
143.步骤s84,依据该几何特征信息,按照目标引导规则,获得第一面上的至少一个引导位置点后显示;
144.结合上文实施例对引导规则的相关描述,该目标引导规则可以是指示确定引导位置点的几何特征类型,根据需要还可以包含后续移动目标虚拟对象靠近目标显示位置过程中,是否启动自动吸附功能等,本技术对此不作限制。
145.可选的,为了获得目标引导规则,本技术可以从针对不同几何特征的面所配置的预设引导规则中,调取与识别到的几何特征信息对应的预设引导规则为目标引导规则,这种情况下,可以预先构建不同几何特征信息或不同类别的几何特征信息(本身对其分类方式不做限制,如几何图形类别等),与不同引导规则之间的对应关系,这样,实际应用中,可以直接按照该对应关系,调取与当前所识别到的几何特征信息所对应的引导规则。
146.在又一些实施例中,用户可以采用如上文描述的任一触发方式,执行引导规则配置触发操作,如按下交互对象上对应的功能按钮、包含引导规则配置内容的语音触发信号、预设交互姿态等触发操作,以使电子设备响应该引导规则配置触发操作,输出针对应用场景的引导规则配置界面,如图9所示,在该引导规则配置界面呈现多个待选择引导模式,如图9所示的打开对象引导,对象的引导模式(即图9所示的对象锁点模式)可以包括但并不局限于:端点、中点、中心点、几何中心点、插入点、互垂点、相切点、最近点、延伸、平行、四分点、交点等几何特征点选项(即不同对象锁点选项),还可以包括打开物体引导追踪选项、自动吸附功能选项等(图9并未示出),可视情况而定,本技术不做一一列举。
147.其中,对于不同规则几何体,其产生的几何特征点可能不同,也可以包括相同类型的几何特征点,如图10a所示的矩形对象的几何特征点、图10b所示的圆形几何特征点、图10c所示的不规则对象的重心(即质心)这一几何特征点,如将多边形分割为不同三角形,再依据各三角形的重心和面积,计算得到整个对象的重心,本技术对不规则对象的重心计算方法不做限制。需要说明,在引导位置配置界面中,用户也可以依据实际情况灵活配置几何特征点,如6均分点、8均分点等其他均分点,或其他有意义的几何特征点等,本技术不做一一举例。
148.之后,用户可以从引导规则配置界面输出的待选择引导模式中选择所需要的,电子设备响应对多个待选择引导模式的选择操作,确定目标引导规则,从而按照该目标引导规则,结合几何特征信息确定第一面上的各引导位置点。可选的,此后还可以根据需要,如对于不规则的第一物体对象,还可以进一步依据多个第一面上的引导位置点和第一面的如面积等其他属性信息,来确定第一场景对象上的其他类型的引导位置点等,本技术实施例仅以确定第一面上的引导位置点为例进行说明。
149.其中,电子设备在确定各引导位置点后,为了突出显示引起用户特别注意,可以采用可视化提示方式,调整各引导位置点的显示方式和显示状态,如采用预设的ar标记、动画
或其他显示方式,还可以结合显示颜色来区分不同类型的引导位置点等,本技术对引导位置点在应用场景中的显示方式和显示状态不做限制。
150.步骤s85,响应交互对象针对目标虚拟对象的移动操作,获取目标虚拟对象的实时移动位置与各引导位置点之间的相对距离;
151.步骤s86,确定任一相对距离小于第一距离阈值,将目标虚拟对象移动至对应引导位置点处进行显示。
152.关于步骤s85和步骤s86的实现过程,可以参照上文描述的方法实现,本实施例不做详述。
153.由此可见,在本技术示例中,通过对应用场景中第一场景对象的第一面进行几何特征分析,按照目标引导规则,确定第一面上的各引导位置点并显示,用户可以从中确定出目标虚拟对象的目标显示位置,这样,用户就可以据此直接将目标虚拟对象直接移动至所需引导位置点,根据需要也可以进一步进行位置微调,直至到达目标显示位置处显示,相对于无任何引导位置点盲移动的处理方式,极大提高了虚拟对象移动效率和准确性。而且,在目标虚拟对象足够接近目标显示位置处的引导位置点,将目标虚拟对象可以自动吸附至该引导位置点处显示,无需用户精准移动,进一步提高了虚拟对象移动效率和准确性,丰富了ar/vr等电子设备的交互方式。
154.参照图11,为本技术提出的交互处理方法的又一可选示例的流程示意图,本实施例可以是对上文实施例描述的交互处理方法的又一可选细化实现方法,本实施例描述了区别于上文实施例提出的又一种获得针对目标虚拟对象的位置引导信息的实现方法,即在线绘制引导图形作为摆放目标虚拟对象的位置引导信息,电子设备可以通过响应针对目标虚拟对象的位置引导触发操作,获得针对目标虚拟对象的位置引导信息,但并不局限于本实施例描述的这一种细化实现方法。本实施例该方法仍可以由电子设备执行,如图11所示,该方法可以包括:
155.步骤s111,输出图像渲染得到的任一应用场景;
156.步骤s112,响应针对目标虚拟对象的位置引导创建操作,依据交互对象的运动信息创建引导图形,在该应用场景中显示创建的引导图形;
157.其中,应用场景可以如上文实施例的描述内容,包括至少一个对象,如现实环境中的真实对象或虚拟对象,也可以是现实环境与虚拟环境结合的多种对象;本技术实施例中,应用场景也开始待放置虚拟对象的虚拟环境,其中可以不包含任何虚拟对象,等待用户放置等。
158.若需要在应用场景中放置多个目标虚拟对象,且多个目标虚拟对象放置位置呈一定布局规则,如某一面/点呈一条直线、放置在同一面上、呈特定形状(如三角形、圆形、某动物形状等)摆放,用户通过人眼观察来直接手动摆放每一个目标虚拟对象,效率非常低且很难达到所需摆放效果,对此,本技术提出创建适用于当前对目标虚拟对象的摆放要求的引导图形,将其作为摆放目标虚拟对象的辅助工具,辅助用户快速且准确地将各目标虚拟对象放置到对应的目标显示位置上。
159.基于用户可以操作交互对象执行位置引导创建操作,此时,针对要创建的引导图形类型不同,所执行的操作内容可以不同,如本技术可以预先针对不同类型的引导图形,配置对应的创建功能按钮/按键组合/指定交互姿态等创建触发方式,这样,用户确定本次需
要创建的引导图形类型后,可以按照对应的创建触发方式,进入该引导图形的创建模式,之后,用户可以按照该引导图形移动交互对象完成引导图形的绘制,电子设备可以同步响应交互对象的运动信息,实时绘制引导图形直至创建完成。
160.示例性的,以交互对象为电子设备中实现与输出的应用场景的交互操作的手柄为例进行说明,在创建引导线这种引导图形过程中,结合图12a所示的场景示意图,用户可以按下手柄中创建引导线对应的第一创建图形按钮,进入线型图形创建模式,并将当前位置作为待创建引导线的起始位置,移动手柄,在应用场景所在的虚拟空间中从该起始位置开始,同步绘制与手柄移动轨迹一致的线条,随着手柄的移动不断变化,直至在此按下该第一创建图形按钮,确定所绘制/创建的图形的终点位置,完成引导线的创建。整个过程可以在应用场景的空间中同步展示,以便用户观看所创建的图形,为了区别于应用场景中的其他对象,可以调整当前创建的图形的显示状态,如使其呈现预设颜色等。
161.需要说明,所创建的引导线可以是直线或曲线或折线等,本技术对其线条类型不做限制,可视情况而定。如可以在创建该引导线之前,选择所创建的引导线的线条类型及其表示形式(如实线、虚线、点画线等),之后,用户移动交互对象过程中,可以据此呈现所绘制的图形,实线过程不做详述,图12a第二行附图仅以绘制直线型的引导线为例进行说明,对于其他类型或形式的引导线的创建过程类似,本技术不做赘述。
162.在实际应用中,由于引导线通常用来实现多个对象对齐,可以不用关心其长度,为了提高图形创建效率和整齐度,可以预先配置引导线的预设长度,这样,在按照上文描述方法完成引导线创建,确定其终点位置,松开对交互对象的操作时,可以依据所绘制的图形类型,直接跳转为预设长度的引导线。同理,对于曲线,也可以预先配置曲线波形,这样,在用户绘制类似波形,可以直接生成标准波形的引导曲线等,实现过程本技术不做一一详述。
163.步骤s113,响应对显示的引导图形的显示状态编辑操作,调整该引导图形的显示状态,得到针对目标虚拟对象的目标引导图形;
164.步骤s114,至少由目标引导图形构成针对目标虚拟对象的位置引导信息;
165.按照上文描述的方法绘制完引导线后,该引导线在应用场景空间中当前显示姿态和/或位置等属性可能不符合应用要求,可以对创建的引导线的当前显示位置、当前显示姿态等进行调整,所以,参照图12b所示的引导线编辑场景示意图,用户可以控制手柄靠近应用场景所呈现的引导线,并实时计算该手柄所在位置与引导线的几何特征点(如图12b所示的两个端点、中心点等)之间的距离,若任一距离小于第二距离阈值(其数值不做限制,可视情况而定),可以确定进入该引导线的显示状态编辑模式,根据需要可以调整引导线的显示颜色为编辑显示颜色(可以调整引导线的其他显示状态,并不局限于显示颜色),以使用户直观看到引导线所处的模式。
166.之后,用户可以依据对引导线的编辑需求,按下实现对应编辑功能的按钮,控制交互对象靠近对应的几何特征点,在交互对象与该几何特征点(如中心点或端点)的距离小于第三距离阈值(其数值不做限制),此时进入的显示状态编辑模式可以是移动模式,如图12b右侧上方所示,引导线可以随着交互对象的移动而同步移动,直至到的目标位置,松开按下的编辑功能按钮;同理,若需要调整引导线姿态,用户可以手持手柄靠近引导线的某一端点,进入端点编辑模式后,如图12b右侧下方所示的移动方式,来转动引导线,改变引导线在应用场景空间中的姿态,直至满足对目标虚拟对象的摆放辅助要求,松开按下的编辑功能
按钮。
167.同理,对于引导面这类引导图形的创建,按下手柄上引导面对应的第二创建图形按钮,可以按照上文描述方法创建两条引导线,且在创建第二条引导线时,可以将第一条引导线结束位置作为第二条引导线的起始位置,即第一次按下第二创建图形按钮,移动手柄绘制第一条引导线至其结束位置时,松开第二创建图形按钮后再次按下该按钮,开始从该位置绘制第二条引导线,如图12a第一行所示,直至第二条引导线结束位置松开第二创建图形按钮,可以得到三个顶点位置,据此计算法线,形成等边三角形,也可以是其他类型的三角形,本技术对此不做限制,由于引导面的面积形状无意义,可以任一配置,本技术仅以等边三角形为例进行说明。对于得到的等边三角形所表示的这一引导面,也可以调整其显示状态,如显示颜色,来突出显示其在应用场景空间中的显示。
168.之后,若需要移动或转动所创建的引导面,如上文引导线的移动和转动实现过程类似,结合图12c所示,手柄逐渐靠近引导面,当手柄位置与该引导面的多个几何特征点(如三角形的三个顶点和中心)的距离小于第四距离阈值(其数值不做限制,可视情况而定),可以进入编辑模式,此时根据需要可以调整引导面的显示状态,之后,依据对引导面的编辑需求,按照对应的编辑功能按钮,靠近三角形的中心,通过手柄移动来同步移动引导面;靠近三角形的任一顶点,通过手柄移动来转动引导面。
169.需要说明,本技术依据交互对象的运动信息创建引导图形,构成针对目标虚拟对象的位置引导信息的实现方法包括但并不局限于上文步骤s113和步骤s114记载的方法,本技术仅以此为例进行说明。关于其他类型的引导图形的创建及其编辑实现过程类似,本技术不做一一举例详述;且对于每一种引导图形的编辑处理方法,包括但并不局限于上文描述的移动和转动方式,且并不局限于手柄这种交互对象,对于其他交互对象或其他操作方式,创建和编辑引导图形的实现过程可以参照上文描述过程,本技术不做详述。
170.在又一些实施例中,本技术还可以直接从预先配置的多种引导图形中直接选择,无需用户在线绘制,提高了位置引导信息获得效率,更好地满足不会绘制引导图形的用户对电子设备的使用和操作需求。因此,电子设备可以响应针对目标虚拟对象的位置引导调取操作,输出引导图形展示界面,且在引导图形展示界面上呈现有至少一种引导图形,以供用户对其进行选择操作,电子设备响应于对所呈现的引导图形的选择操作,由所选择的引导图形构成针对目标虚拟对象的位置引导信息。
171.可选的,对于直接选择调取的引导图形,仍可以按照上文描述的编辑方法,对其进行编辑处理后,再由编辑处理后的引导图形构成位置引导信息等,即检测到交互对象检测交互对象的触发位置与待定引导图形(即直接创建或选择的引导图形)中的几何特征点之间的第一位置关系,如果该第一位置关系符合引导图形编辑条件,进入待定引导图形的编辑模式,更新待定引导图形的显示状态,从而依据交互对象的触发位置与待定引导图形中的指定几何特征点之间的相对位置变化信息,控制应用场景呈现的待定引导图形进行移动或转动,得到针对目标虚拟对象的目标引导图形,之后,可以将目标引导图形更新后的显示状态恢复至初始显示状态,退出待定引导图形的编辑模式。
172.在又一些实施例中,对于上述构成的位置引导信息,可以包括但并不局限于所创建或选择的目标引导图形,根据需要还可以包括该目标引导图形的相关参数,如该目标引导图形在应用场景空间中各顶点的空间坐标等,可视情况而定。
173.步骤s115,响应交互对象对目标虚拟对象的移动操作,依据交互对象的运动信息,控制目标虚拟对象同步移动显示;
174.步骤s116,获得目标虚拟对象的实时移动位置与位置引导信息中目标引导图形之间的相对位置关系;
175.关于步骤s115和步骤s116的实现过程,可以参照上文实施例相应部分的描述,本技术不做赘述。
176.步骤s117,依据相对位置关系和目标引导规则,控制目标虚拟对象移动至目标引导图形上的目标显示位置处进行显示。
177.结合上文实施例对目标引导规则的相关描述,参照图12d和图12e所示的移动目标虚拟对至目标显示位置的场景示意图。假设目标引导图形为引导线,目标虚拟对象为立方体,如图12d所示,通过手柄移动立方体靠近引导线中心,待两者距离小于第一距离阈值,可以自动吸附至引导线中心位置,也可以由用户手动移动至中心位置(这种情况下,可以在应用场景中呈现引导线的中点和立方体的重心等),之后,若立方体呈现姿态不符合要求,可以通过手柄按照上文描述的引导图形转动方式,转动立方体直至目标显示位置,也可以在转动到与切线相切,自动转动到切线方向进行显示。
178.若目标引导图形为引导面,如图12e所示,通过手柄移动立方体靠近引导面,两者之间的距离小于第一距离阈值,立方体可以自动吸附到引导面上,若此时该引导面上存在其他立方体,可以将本次放置立方体吸附到已有立方体的相邻位置显示,或将本次放置的立方体放置到开始位置,该位置上其他立方体可以向相邻位置移动,实现过程可以参照上文实施例自动吸附功能的相关描述,本技术在此不做赘述。通过这种处理方式,实现了多个虚拟对象的对齐摆放,提高了处理效率和准确性。
179.可以理解,依据应用场景呈现的其他类型的引导图形,实现对一个或多个目标虚拟对象,将其移动至一个或多个显示位置处进行显示的实现方法,包括但并不局限于上文买描述的自动吸附功能,用户也可以参照引导图形及其展示的几何特征点,以及目标虚拟对象的几何特征点,来手动移动目标虚拟对象至对应的目标显示位置,实现过程本技术不做赘述。
180.在又一些实施例中,在上文描述的各交互处理方法实现过程中,还可以结合目标虚拟对象以及引导位置信息各自的几何特征和属性信息等进行分析,来确定各目标虚拟对象的目标显示位置,和/或实现目标显示位置的微调,和/或调整目标虚拟对象的显示状态等,实现方法本技术不做限制。可选的,在确定目标显示位置过程中,结合上述属性信息的分析,确定该位置不适合放置虚拟对象,可以输出相应的提示信息,提醒用户移动目标虚拟对象,重新确定目标显示位置。
181.其中,按照上述分析方式,确定目标显示位置处存在属于预设类型的显示信息,如重要信息,将目标虚拟对象放置到目标显示位置处进行显示时,可以调整目标虚拟对象的透明度,以使用户可以通过该目标虚拟对象查看到其下方的显示信息。
182.参照图13,为本技术提出的交互处理装置的一可选示例的结构示意图,该装置可以部署在电子设备侧,如图13所示,该装置可以包括:
183.位置引导信息输出模块131,用于获得针对目标虚拟对象的位置引导信息,在输出的应用场景中呈现所述位置引导信息;
184.目标显示位置确定模块132,用于响应对所述目标虚拟对象的交互触发操作,依据针对所述目标虚拟对象的交互触发位置以及所述位置引导信息,确定所述目标虚拟对象的目标显示位置;
185.目标虚拟对象显示模块133,用于将所述目标虚拟对象融合至所述应用场景中的所述目标显示位置上进行显示。
186.在一些实施例中,上述位置引导信息输出模块131可以包括:
187.引导位置点确定单元,用于识别应用场景中第一场景对象存在的第一面,确定所述第一面上的至少一个引导位置点;
188.第一引导构成单元,用于利用确定的所述至少一个引导位置点,构成针对目标虚拟对象的位置引导信息。
189.在又一些实施例中,上述位置引导信息输出模块131可以包括:
190.位置引导信息获得单元,用于响应针对目标虚拟对象的位置引导触发操作,获得针对所述目标虚拟对象的位置引导信息;所述位置引导信息包括由引导线和/或引导面构成的目标引导图形。
191.基于上述分析,可选的,上述引导位置点确定单元1311可以包括:
192.第一场景对象确定单元,用于依据应用场景的视角信息,确定所述应用场景中的第一场景对象;
193.几何特征识别单元,用于确定所述第一场景对象存在的第一面,识别所述第一面的几何特征信息;
194.引导位置点获得单元,用于依据所述几何特征信息,按照目标引导规则,获得所述第一面上的至少一个引导位置点。
195.可选的,为了确定所述第一场景对象存在的第一面,上述几何特征识别单元可以包括:
196.第一扫描单元,用于扫描所述第一场景对象存在的多个面,将处于指定空间平面中的面确定为第一面;或者,
197.扫描选择单元,用于扫描所述第一场景对象存在的多个面,检测针对所述多个面的选择操作;
198.第一面确定单元,用于响应所述选择操作,确定所选择的第一面。
199.为了获得上述目标引导规则,上述引导位置点获得单元可以包括:
200.引导规则调取单元,用于从针对不同几何特征的面所配置的预设引导规则中,调取与识别到的所述几何特征信息对应的预设引导规则为目标引导规则;或者,
201.引导规则配置界面输出单元,用于响应引导规则配置触发操作,输出针对所述应用场景的引导规则配置界面,在所述引导规则配置界面呈现多个待选择引导模式;
202.引导模式选择单元,用于响应对所述多个待选择引导模式的选择操作,确定目标引导规则。
203.在又一些实施例中,上述位置引导信息获得单元可以包括:
204.引导图形创建单元,用于响应针对目标虚拟对象的位置引导创建操作,依据交互对象的运动信息创建引导图形,构成针对所述目标虚拟对象的位置引导信息;或者,
205.引导图形展示界面输出单元,用于响应针对目标虚拟对象的位置引导调取操作,
输出引导图形展示界面,且在所述引导图形展示界面上呈现有至少一种引导图形;
206.第二引导构成单元,用于响应于对所呈现的所述引导图形的选择操作,由所选择的引导图形,构成针对所述目标虚拟对象的位置引导信息。
207.可选的,上述第二引导构成单元,可以包括:
208.引导图形显示单元,用于在所述应用场景中显示所述创建或选择的引导图形;
209.显示编辑单元,用于响应对显示的所述引导图形的显示状态编辑操作,调整该引导图形的显示状态,得到针对目标虚拟对象的目标引导图形;
210.第三引导构成单元,用于至少由所述目标引导图形构成针对所述目标虚拟对象的位置引导信息。
211.在又一些实施例中,上述目标显示位置确定模块132可以包括:
212.相对位置关系获取单元,用于获取目标虚拟对象的预设几何特征点或面的实时移动位置与所述位置引导信息包含的各引导对象之间的相对位置关系;所述实时移动位置基于交互对象的交互触发操作确定;所述各引导对象包括引导位置点和/或至少一个引导图形;
213.目标显示位置确定单元,用于依据所述相对位置关系和目标引导规则,在所述引导对象中确定所述目标虚拟对象的目标显示位置;
214.基于此,上述目标虚拟对象显示模块133可以包括:
215.移动显示单元,用于将所述目标虚拟对象从所处的实时移动位置直接移动至所述应用场景中对应的目标显示位置,以使位于同一指定引导线或指定引导面上的多个对象对齐;所述对象至少包括所述目标虚拟对象;
216.显示位置调整单元,用于检测到所述应用场景中的所述目标显示位置处存在任一虚拟对象,将该虚拟对象移动至所述目标显示位置的相邻显示位置进行显示,在所述目标显示位置处显示所述目标虚拟对象;
217.显示状态调整单元,用于检测到所述应用场景显示的所述目标虚拟对象的显示状态不符合显示要求,响应对所述目标虚拟对象的调整操作,调整所述目标虚拟对象的显示状态。
218.需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
219.本技术还提供了一种计算机可读存储介质,其上可以存储计算机程序,该计算机程序可以被处理器调用并加载,以实现上述实施例描述的交互处理方法的各个步骤。
220.最后,需要说明的是,关于上述各实施例中,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
221.其中,在本技术实施例的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关
系,例如,a和/或b,可以表示:单独存在 a,同时存在a和b,单独存在b这三种情况。另外,在本技术实施例的描述中,“多个”是指两个或多于两个。
222.本技术涉及到的术语诸如“第一”、“第二”等仅用于描述目的,用来将一个操作、单元或模块与另一个操作、单元或模块区分开来,而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
223.另外,本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备、介质而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
224.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征:
1.一种交互处理方法,所述方法包括:获得针对目标虚拟对象的位置引导信息,在输出的应用场景中呈现所述位置引导信息;响应对所述目标虚拟对象的交互触发操作,依据针对所述目标虚拟对象的交互触发位置以及所述位置引导信息,确定所述目标虚拟对象的目标显示位置;将所述目标虚拟对象融合至所述应用场景中的所述目标显示位置上进行显示。2.根据权利要求1所述的方法,所述获得针对目标虚拟对象的位置引导信息,包括:识别应用场景中第一场景对象存在的第一面,确定所述第一面上的至少一个引导位置点,利用确定的所述至少一个引导位置点,构成针对目标虚拟对象的位置引导信息;和/或,响应针对目标虚拟对象的位置引导触发操作,获得针对所述目标虚拟对象的位置引导信息;所述位置引导信息包括由引导线和/或引导面构成的目标引导图形。3.根据权利要求2所述的方法,所述识别应用场景中第一场景对象存在的第一面,确定所述第一面上的至少一个引导位置点,包括:依据应用场景的视角信息,确定所述应用场景中的第一场景对象;确定所述第一场景对象存在的第一面,识别所述第一面的几何特征信息;依据所述几何特征信息,按照目标引导规则,获得所述第一面上的至少一个引导位置点。4.根据权利要求3所述的方法,所述确定所述第一场景对象存在的第一面,包括:扫描所述第一场景对象存在的多个面,将处于指定空间平面中的面确定为第一面;或者,扫描所述第一场景对象存在的多个面,检测针对所述多个面的选择操作;响应所述选择操作,确定所选择的第一面。5.根据权利要求3所述的方法,所述目标引导规则的获取方法,包括:从针对不同几何特征的面所配置的预设引导规则中,调取与识别到的所述几何特征信息对应的预设引导规则为目标引导规则;或者,响应引导规则配置触发操作,输出针对所述应用场景的引导规则配置界面,在所述引导规则配置界面呈现多个待选择引导模式;响应对所述多个待选择引导模式的选择操作,确定目标引导规则。6.根据权利要求2所述的方法,所述响应针对目标虚拟对象的位置引导触发操作,获得针对所述目标虚拟对象的位置引导信息,包括:响应针对目标虚拟对象的位置引导创建操作,依据交互对象的运动信息创建引导图形,构成针对所述目标虚拟对象的位置引导信息;或者,响应针对目标虚拟对象的位置引导调取操作,输出引导图形展示界面,且在所述引导图形展示界面上呈现有至少一种引导图形;响应于对所呈现的所述引导图形的选择操作,由所选择的引导图形,构成针对所述目标虚拟对象的位置引导信息。7.根据权利要求6所述的方法,所述构成针对所述目标虚拟对象的位置引导信息,包括:在所述应用场景中显示所述创建或选择的引导图形;
响应对显示的所述引导图形的显示状态编辑操作,调整该引导图形的显示状态,得到针对目标虚拟对象的目标引导图形;至少由所述目标引导图形构成针对所述目标虚拟对象的位置引导信息。8.根据权利要求2-7任一项所述的方法,所述依据针对所述目标虚拟对象的交互触发位置以及所述位置引导信息,确定所述目标虚拟对象的目标显示位置,包括:获取目标虚拟对象的预设几何特征点或面的实时移动位置与所述位置引导信息包含的各引导对象之间的相对位置关系;所述实时移动位置基于交互对象的交互触发操作确定;所述各引导对象包括引导位置点和/或至少一个引导图形;依据所述相对位置关系和目标引导规则,在所述引导对象中确定所述目标虚拟对象的目标显示位置;所述将所述目标虚拟对象融合至所述应用场景中的所述目标显示位置上进行显示,包括:将所述目标虚拟对象从所处的实时移动位置直接移动至所述应用场景中对应的目标显示位置,以使位于同一指定引导线或指定引导面上的多个对象对齐;所述对象至少包括所述目标虚拟对象;检测到所述应用场景中的所述目标显示位置处存在任一虚拟对象,将该虚拟对象移动至所述目标显示位置的相邻显示位置进行显示,在所述目标显示位置处显示所述目标虚拟对象;检测到所述应用场景显示的所述目标虚拟对象的显示状态不符合显示要求,响应对所述目标虚拟对象的调整操作,调整所述目标虚拟对象的显示状态。9.一种交互处理装置,所述装置包括:位置引导信息输出模块,用于获得针对目标虚拟对象的位置引导信息,在输出的应用场景中呈现所述位置引导信息;目标显示位置确定模块,用于响应对所述目标虚拟对象的交互触发操作,依据针对所述目标虚拟对象的交互触发位置以及所述位置引导信息,确定所述目标虚拟对象的目标显示位置;目标虚拟对象显示模块,用于将所述目标虚拟对象融合至所述应用场景中的所述目标显示位置上进行显示。10.一种电子设备,所述电子设备包括:显示模组;多个传感器;存储器,用于存储实现如权利要求1-8任一项所述的交互处理方法的程序;处理器,用于加载执行所述存储器存储的所述程序,实现如权利要求1-8任一项所述的交互处理方法。

技术总结
本申请提出了一种交互处理方法、装置及电子设备,用户穿戴电子设备观看其输出的任一应用场景过程中,电子设备可以先获得针对该目标虚拟对象的位置引导信息,呈现在该应用场景中,以使用户能够依据直观看到的位置引导信息,执行对目标虚拟对象的交互触发操作,电子设备响应该交互触发操作,将依据所得到的交互触发位置和位置引导信息,快速且准度地确定出目标虚拟对象的目标显示位置,将目标虚拟对象融合至应用场景中的目标显示位置上进行显示,满足对应用场景呈现内容的灵活更新需求,相对于用户凭个人眼睛观察确定目标显示位置的处理方法,不仅丰富了交互处理方式,且提高了交互处理效率和精准度。互处理效率和精准度。互处理效率和精准度。


技术研发人员:孙文涛 郭宗琪
受保护的技术使用者:联想(北京)有限公司
技术研发日:2021.12.29
技术公布日:2022/7/4
转载请注明原文地址: https://www.8miu.com/read-17441.html

最新回复(0)