本公开整体涉及提供计算机生成的体验的计算机系统,包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备。
背景技术:
1、近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
技术实现思路
1、用于与包括至少一些虚拟元素的环境(例如,应用、增强现实环境、混合现实环境和虚拟现实环境)进行交互的一些方法和界面是麻烦、低效并且受限的。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费的时间比必要的要长,从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
2、因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。
3、通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本计算机、平板计算机或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触摸板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个手部跟踪部件。在一些实施方案中,除显示生成部件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(gui)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于gui(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与gui进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
4、需要具有用于与三维环境中的内容进行交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与三维环境中的内容交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。对于电池驱动的计算设备,此类方法和界面节省功率,并且增大电池充电之间的时间间隔。
5、在一些实施方案中,计算机系统执行不同的对象选择相关操作。在一些实施方案中,计算机系统基于用户的注意力来将对象放置在显示区中的位置处。在一些实施方案中,计算机系统在三维环境中显示具有曲率的容器虚拟对象。
6、需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本发明的主题。
1.一种方法,所述方法包括:
2.根据权利要求1所述的方法,所述方法还包括:
3.根据权利要求1至2中任一项所述的方法,所述方法还包括:
4.根据权利要求1至3中任一项所述的方法,所述方法还包括:
5.根据权利要求1至4中任一项所述的方法,所述方法还包括:
6.根据权利要求1至5中任一项所述的方法,其中显示处于所述选定状态的所述第二用户界面对象包括:经由所述显示生成部件显示所述第二用户界面对象处于所述选定状态的视觉指示。
7.根据权利要求1至6中任一项所述的方法,所述方法还包括:
8.根据权利要求1至6中任一项所述的方法,所述方法还包括:
9.根据权利要求1至8中任一项所述的方法,所述方法还包括:
10.根据权利要求9所述的方法,所述方法还包括:
11.根据权利要求1至10中任一项所述的方法,所述方法还包括:
12.根据权利要求1至11中任一项所述的方法,所述方法还包括:
13.根据权利要求1至12中任一项所述的方法,其中当所述计算机系统正在第一操作模式下操作时检测所述第一输入,在所述第一操作模式下,用户界面对象以一种或多种第一方式被置于所述选定状态或所述未选定状态,所述方法还包括:
14.根据权利要求13所述的方法,所述方法还包括:
15.根据权利要求13至14中任一项所述的方法,其中在容器用户界面对象内显示一个或多个用户界面对象,所述方法还包括:
16.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至15中任一项所述的方法的指令。
17.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
18.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
19.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
20.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
21.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
22.一种方法,所述方法包括:
23.根据权利要求22所述的方法,所述方法还包括:
24.根据权利要求23所述的方法,其中所述上下文菜单包括能够被选择以将虚拟对象粘贴到所述组成区中的可选择选项。
25.根据权利要求23至24中任一项所述的方法,其中所述上下文菜单包括除能够被选择以将虚拟对象粘贴到所述组成区中的可选择选项之外的一个或多个可选择选项。
26.根据权利要求22至25中任一项所述的方法,所述方法还包括:
27.根据权利要求26所述的方法,所述方法还包括:
28.根据权利要求27所述的方法,其中显示与所述第二虚拟对象相关联的所述菜单包括:
29.根据权利要求22至28中任一项所述的方法,所述方法还包括:
30.根据权利要求22至29中任一项所述的方法,所述方法还包括:
31.根据权利要求30所述的方法,所述方法还包括:
32.根据权利要求22至31中任一项所述的方法,所述方法还包括:
33.根据权利要求22至32中任一项所述的方法,其中在所述组成区中的所述第一位置处显示所述第一虚拟对象包括:
34.根据权利要求22至33中任一项所述的方法,所述方法还包括:
35.根据权利要求34所述的方法,所述方法还包括:
36.根据权利要求22至35中任一项所述的方法,所述方法还包括:
37.根据权利要求22至36中任一项所述的方法,其中所述第一输入是复制被包括在所述组成区中的第二虚拟对象的输入。
38.根据权利要求22至36中任一项所述的方法,其中所述第一输入是将先前拷贝的虚拟对象粘贴到所述组成区中的输入,所述方法还包括:
39.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求22至38中任一项所述的方法的指令。
40.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
41.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
42.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
43.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
44.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
45.一种方法,所述方法包括:
46.根据权利要求45所述的方法,其中所述第一位置与所述三维环境中的第三对象对应,并且当检测到所述第一输入时,在所述第一位置处以所述第一曲率量显示所述第一虚拟对象。
47.根据权利要求46所述的方法,其中当接收到所述第一输入时并且当在除所述第一位置和所述第二位置之外的第三位置处显示所述第一虚拟对象时,以所述第二曲率量显示所述第一虚拟对象。
48.根据权利要求45所述的方法,其中所述第一位置不与所述三维环境中的对象对应,并且当检测到所述第一输入时,在所述第一位置处以所述第二曲率量显示所述第一虚拟对象。
49.根据权利要求45至48中任一项所述的方法,其中所述第一位置与能够从中看见所述三维环境的用户的视点相距第一距离,并且所述第二位置与所述用户的所述视点相距所述第一距离。
50.根据权利要求45至49中任一项所述的方法,其中当所述第一虚拟对象处于所述三维环境中的相应位置处时,在所述相应位置处显示所述第一虚拟对象包括:
51.根据权利要求45至50中任一项所述的方法,其中当所述第一虚拟对象处于所述三维环境中的相应位置处时,在所述相应位置处显示所述第一虚拟对象包括:
52.根据权利要求45至51中任一项所述的方法,其中当所述第一虚拟对象处于所述三维环境中的相应位置处时,在所述相应位置处显示所述第一虚拟对象包括:
53.根据权利要求45至52中任一项所述的方法,其中所述第二对象是所述计算机系统的物理环境中的物理对象。
54.根据权利要求45至53中任一项所述的方法,其中所述第一虚拟对象包括作为二维对象的第二虚拟对象,并且当所述第一虚拟对象具有第一曲率时,所述第二虚拟对象具有与所述第一曲率对应的第三曲率。
55.根据权利要求54所述的方法,其中当所述第一虚拟对象具有第二曲率时,所述第二虚拟对象具有与所述第三曲率不同的第四曲率,其中所述第四曲率与所述第二曲率对应。
56.根据权利要求45至55中任一项所述的方法,其中所述第一虚拟对象包括作为三维对象的第二虚拟对象,并且不以基于所述第一虚拟对象的曲率的曲率来显示所述第二虚拟对象。
57.根据权利要求45至56中任一项所述的方法,所述方法还包括:
58.根据权利要求45至56中任一项所述的方法,所述方法还包括:
59.根据权利要求57至58中任一项所述的方法,其中所述用户界面元素不包含在所述第一虚拟对象中。
60.根据权利要求45至59中任一项所述的方法,其中所述第一虚拟对象与可选择选项相关联地显示,所述可选择选项能够被选择以发起改变所述第一虚拟对象的大小的过程,所述方法还包括:
61.根据权利要求60所述的方法,其中具有所述第一大小的所述第一虚拟对象具有沿着第一方向的第一尺寸和沿着第二方向的第二尺寸,并且响应于检测到所述第二输入:
62.根据权利要求61所述的方法,其中响应于检测到所述第二输入:
63.根据权利要求45至62中任一项所述的方法,其中所述第一虚拟对象包括第二虚拟对象,并且:
64.根据权利要求45至63中任一项所述的方法,所述方法还包括:
65.根据权利要求45至64中任一项所述的方法,所述方法还包括:
66.根据权利要求45至65中任一项所述的方法,所述方法还包括:
67.根据权利要求66所述的方法,其中以具有与所述第一值不同的所述相应值的所述第一视觉特性显示所述第二虚拟对象包括:
68.根据权利要求66至67中任一项所述的方法,其中在所述第一虚拟对象的背景元素前面显示所述第二虚拟对象,并且:
69.根据权利要求68所述的方法,其中具有所述第三值的所述第二视觉特性与以至少某种半透明度显示的所述背景元素对应。
70.根据权利要求66至69中任一项所述的方法,所述方法还包括:
71.根据权利要求70所述的方法,所述方法还包括:
72.根据权利要求71所述的方法,其中所述第三输入包括处于与在所述第二呈现模式下显示所述滚动指示符相关联的相应状态的所述计算机系统的用户的相应部分。
73.根据权利要求70至72中任一项所述的方法,其中显示所述滚动指示符包括:
74.根据权利要求70至73中任一项所述的方法,所述方法还包括:
75.根据权利要求70至74中任一项所述的方法,所述方法还包括:
76.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求45至75中任一项所述的方法的指令。
77.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
78.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
79.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
80.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
81.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括: