沉浸式虚拟显示
1.本技术是申请日为2017年9月22日、申请号为201780057756.1、名称为“沉浸式虚拟显示”的发明专利申请的分案申请。
背景技术：2.虚拟现实(vr)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(mr)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。
技术实现要素：3.本发明描述了用于为车辆中的乘客提供增强的虚拟现实(vr)和/或混合现实(mr)体验的方法和设备的各种实施方案。本发明描述了vr系统的实施方案，所述vr系统可实施vr方法以例如解决运动中车辆可能引起乘客晕动病的问题。vr系统的实施方案可向车辆中的乘客提供沉浸式vr体验，例如通过将现实世界视图替换为乘客可能期望的各种类型的虚拟体验和环境中的任何一种。可将车辆运动集成到虚拟体验中以帮助防止晕动病。在一些实施方案中，约束范围内的活动车辆系统和/或车辆控制系统可与vr系统集成以提供具有虚拟体验的物理效果，例如通过hvac系统冲出风或热、通过音频系统产生环绕声和声音效果，以及通过座椅的加速度或运动效果。
4.除了减少晕动病之外，vr系统的实施方案还可为移动车辆中的乘客提供增强的沉浸式虚拟体验，这在常规的固定式vr系统中是不可实现的。将vr系统与运动中的车辆集成提供了增强使用固定模拟器或佩戴hmd坐在房间中时不能感受到的虚拟体验的机会。例如，虚拟体验中的加速度和运动可与车辆的加速度和运动相匹配或通过车辆的加速度和运动增强，因此不必像在固定模拟器中那样使用重力矢量来模拟。
5.在一些实施方案中，vr系统可包括生成投影给乘客的虚拟内容的至少一个vr控制器，以及至少一个vr投影或显示设备，诸如头戴式耳机、头盔、护目镜或眼镜(本文中称为头戴式显示器(hmd))，其包括投影仪机构，用于向乘客的眼睛投射或显示包括左图像和右图像的帧，从而向乘客提供3d虚拟视图。另选地，在一些实施方案中，vr系统可包括生成为乘客投影的虚拟内容的至少一个vr控制器，以及至少一个投影仪机构，用于将虚拟帧投影或显示到车辆的至少一个窗户，从而向乘客提供3d虚拟视图。在任一种情况下，3d虚拟视图可包括增强了虚拟内容(例如，虚拟对象、虚拟标签等)的乘客环境的视图(包括车辆外部的环境)，或者可提供可包括车辆外部环境的视觉提示的沉浸式vr环境。
6.vr系统的实施方案可集成来自多个源的输入，所述多个源包括但不限于车辆内部和外部传感器(例如，深度相机(例如，lidar)和视频相机)、车辆和hmd惯性测量单元(imu)、车辆控制系统(诸如油门控制、制动、转向、导航和主动悬架系统)、世界地图，3d模型、视频、
音频和来自外部源(诸如基于云的存储或基于网络的应用程序)的其他信息；来自车辆av系统和用户设备诸如笔记本电脑、平板电脑或智能电话的视频或音频输入，以生成用于通过hmd或其他vr投影系统输出的沉浸式虚拟内容。在一些实施方案中，vr系统还可向车辆控制系统(例如，在约束范围内控制制动、加速度、转向或悬架/运动)和车辆活动系统(例如，音频和hvac系统，以及主动座椅)生成信号，以提供与投影的虚拟内容同步的物理效果，从而进一步增强乘客的体验。
7.在移动车辆中使用vr系统时，一些乘客可能比其他乘客更容易经历晕动病。在一些实施方案中，vr系统可调整vr环境和体验以适应不同乘客的偏好和倾向。例如，当与车辆的实际速度或加速度相比时，可减慢或加速指示经过乘客的视觉提示，以适应不同乘客的偏好和倾向。在一些实施方案中，vr系统可监控乘客是否有不适或晕动病的迹象。如果检测到晕动病的迹象，则vr系统可调整虚拟环境以减轻晕动病，例如通过减慢视觉提示，使得与实际车辆速度或加速度具有1:1的映射比率。除了调整乘客的映射比率以帮助防止晕动病之外，还可在vr体验中使用一种或多种其他视觉和听觉技术或提示(称为调节)，以增加使用车辆中的vr系统的乘客的舒适度并减轻其晕动病。
附图说明
8.图1示出了根据一些实施方案的虚拟现实(vr)系统，其包括可由车辆中的乘客使用的头戴式设备(hmd)。
9.图2示出了根据一些实施方案的vr系统，其将vr内容投影到车辆的窗户以供乘客观看。
10.图3示出了根据一些实施方案的投影vr内容，使得观看者看起来该vr内容在车辆前方的空间中。
11.图4示出了根据一些实施方案的投影vr内容，使得观看者看起来该vr内容在车辆的现实世界视图中的空间中。
12.图5示出了根据一些实施方案的投影vr内容，使得观看者看起来该vr内容在车辆的模拟视图中的空间中。
13.图6示出了根据一些实施方案的车辆中的vr系统。
14.图7是示出根据一些实施方案的车辆中的vr系统的部件的框图。
15.图8是示出根据一些实施方案的可在vr系统中使用以向乘客提供同步的物理效果的车辆中的活动系统的框图。
16.图9至图11示出了可由vr系统的实施方案提供的若干示例性vr体验，并且并非不旨在进行限制。
17.图12是根据一些实施方案的用于向车辆中的乘客提供vr体验的方法的高级流程图。
18.图13是根据一些实施方案的用于向车辆中的乘客提供环境的混合现实视图中的虚拟内容的方法的流程图。
19.图14是根据一些实施方案的用于向车辆中的乘客提供具有环境影响的沉浸式vr体验的方法的流程图。
20.图15至图17以图形方式示出了根据一些实施方案的可在vr体验中使用的视觉调
节。
21.图18示出了根据一些实施方案的使用车辆中的vr系统监控乘客的vr系统。
22.图19示出了根据一些实施方案的基于乘客偏好和乘客传感器数据来调整vr体验以适应乘客的vr应用程序。
23.图20是根据一些实施方案的用于基于乘客偏好和乘客传感器数据来调整vr体验以适应乘客的方法的流程图。
24.本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
[0025]“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
[0026]“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35 u.s.c.
§
112(f)。此外，“被配置为”可包括由软件和/或固件(例如，fpga或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
[0027]“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
[0028]“基于”。如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于b来确定a”。在这种情况下，b为影响a的确定的因素，此类短语不排除a的确定也可基于c。在其他实例中，可仅基于b来确定a。
具体实施方式
[0029]
本发明描述了用于为车辆中的乘客提供增强的虚拟现实(vr)体验的方法和设备的各种实施方案。虽然本文的实施方案通常是指包括vr控制器和vr投影设备的vr系统，其为车辆中的乘客提供增强的vr体验，注意vr系统的一些实施方案可以代替或者也为车辆中的乘客提供混合现实(mr)体验。
[0030]
如本文所用，术语“车辆”通常是指乘客车辆。类似地，如本文所用，“乘客”通常是指车辆的乘员。如本文所述的vr系统的实施方案可例如在所有乘员均为乘客的自主或“自驾”车辆中实现。然而，需注意，实施方案也可在约束范围内的其中一个乘员是驾驶员的常
规车辆中实施。此外，实施方案可在其他类型的地面运输(例如公共汽车和火车)中实施，并且还可适用于飞机、直升机、船只、船舶等。如本文所用，术语“车辆”涵盖所有这些使用情况。还需注意，实施方案通常被描述为为移动车辆中的乘客提供增强的vr体验。然而，在一些实施方案中，vr系统可在固定车辆中使用以向用户提供有趣的vr体验。此外，在一些实施方案中，可记录由vr系统提供的移动车辆中的增强vr体验以供具有初始体验的人或其他人稍后回放，例如，当坐在起居室中时，或者当遵循可映射到体验的类似路线时。另外，在一些实施方案中，车辆中的两个或更多乘客，或车辆中的一个或多个乘客以及其他位置处诸如办公室或家中的一个或多个人可使用vr系统参与虚拟环境。
[0031]
车辆中的许多乘客可能会经历晕动病。通常，驾驶员不会出现这种情况。然而，随着自主车辆的到来，驾驶员变成为乘客，因此可能想要在例如乘车上班时做些什么。例如，常规或自主车辆中的乘客可能想要看书或在笔记本计电脑上工作。然而，车辆中的许多乘客如果试图看书或在计算机上工作可能会发生晕动病，因为前庭运动感与所经历的视觉运动不对应，例如，前庭器官报告乘客正在经历车辆的加速，而视觉感觉(主要由书或计算机屏幕的图像实现)报告乘客没有移动或移动速度与车辆截然不同。他们的大部分视力都充满了不移动的物体(例如，书或计算机屏幕)，而他们的前庭感则报告了加速度。另一种可能导致晕动病的生理效应是，当绕过弯道时或在其他车辆旋转期间乘客的头部向侧面、向下或向后倾斜；乘客可响应身体视觉和前庭系统的运动而经历不同且迷失方向的信号。
[0032]
随着vr系统诸如头戴式显示器(hmd)的到来，乘客可能希望在乘坐车辆时享受vr体验。然而，常规的vr系统也可能在移动车辆中引起晕动病，因为人的身体体验到与他们在视觉上看到的运动不同的运动。此外，许多人由于类似的原因坐在车辆后座会发生晕动病，因为他们的眼睛可能集中在汽车内部，因此他们所体验到的运动可能与他们在视觉上看到的不一致，因为他们无法看到车辆外的前方视野(如果有的话)。对于乘坐在后向座椅(例如可能在自主车辆中提供)上的乘客来说，这个问题可能更严重。此外，自主车辆可能具有有限的甚至没有窗户，因此乘客在此类车辆中体验到的运动可能与他们在视觉上看到的运动不一致，从而可能引起晕动病。
[0033]
本发明描述了vr系统的实施方案，所述vr系统可实施vr方法以解决运动中车辆可能引起乘客晕动病的这些和其他问题。vr系统的实施方案可例如提供增强或虚拟视图，其有助于将视觉提示与移动车辆中的乘客正在体验的运动相匹配。此外，vr系统的实施方案可将乘客可能想要观看或阅读的内容(诸如计算机屏幕、书籍或视频)投影为距观看者一定距离(例如，车辆外部或车辆前方的一些距离)的虚拟内容，使得虚拟内容显示为在外部环境中稳定或固定的远距离物体，同时现实环境的视觉提示在乘客的视野中移动，允许乘客舒适地工作、观看或阅读，而不会经历如果乘客试图在放在他们膝上的便携式计算设备上的物理屏幕上工作或观看内容、或者阅读实体书或报纸而可能发生的晕动病。因此，vr系统的实施方案可有助于提高生产率，因为车辆中的乘客在乘坐车辆时可更舒适地执行工作。
[0034]
如上所述，vr系统的实施方案可投影虚拟内容以便在距乘客一定距离处(例如，车辆外部或车辆前方的一些距离)观看，使得虚拟内容显示为在外部环境中稳定或固定的远距离物体，同时现实环境的视觉提示在乘客的视野中移动。在一些实施方案中，这些视觉提示与车辆的实际速度或加速度的映射比率可以1:1传递。然而，在一些实施方案中，当与车辆的实际速度或加速度相比时，视觉提示可以减慢或加速，这可以例如帮助减轻晕动病，或
用于为乘客提供其他效果或感觉。例如，保持1:1的映射比率或减慢视觉提示，可帮助减轻患有晕动病或表现出晕动病迹象的乘客的晕动病。又如，对于不倾向于或者不表现出晕动病迹象的乘客，可例如将视觉提示加速至1:2的映射比率，以为乘客提供增强的、更刺激的虚拟体验。
[0035]
在一些实施方案中，vr系统可包括生成投影给乘客的虚拟内容的至少一个vr控制器，以及至少一个vr投影设备，诸如头戴式耳机、头盔、护目镜或眼镜(本文中称为头戴式显示器(hmd))，其包括投影仪机构，用于向乘客的眼睛投影或显示包括左图像和右图像的帧，从而向乘客提供3d虚拟视图。如果车辆中有两个或更多个乘客，则vr系统可包括一个以上的hmd；每个乘客可佩戴由vr控制器控制的hmd。另选地，在一些实施方案中，vr系统可包括生成为乘客投影的虚拟内容的至少一个vr控制器，以及至少一个投影仪机构，用于将包括虚拟内容的帧投影或显示到车辆的窗户，从而向乘客提供3d虚拟视图。在任一种情况下，3d虚拟视图可包括增强了虚拟内容(例如，虚拟对象、虚拟标签等)的乘客环境的视图(包括车辆外部的环境)，或者可提供可包括车辆外部环境的视觉提示的沉浸式vr环境。
[0036]
vr系统的实施方案可集成来自多个源的输入，所述多个源包括但不限于车辆内部和外部传感器(例如，深度相机(例如，lidar)和视频相机)、车辆和hmd惯性测量单元(imu)、车辆控制系统(诸如油门控制、制动、转向、导航和主动悬架系统)、世界地图，3d模型、视频、音频和来自外部源(诸如基于云的存储或基于网络的应用程序)的其他信息；来自车辆av系统的视频或音频输入；来自移动多用途设备(诸如连接到车辆av系统的智能电话)上的应用程序的输入；来自连接到车辆obd-ii端口的设备和用户设备诸如笔记本电脑、平板电脑或智能电话的输入，以生成用于通过hmd或其他vr投影系统输出的增强或沉浸式虚拟内容。在一些实施方案中，vr系统还可向车辆控制系统(例如，在约束范围内控制制动、加速度、转向或悬架/运动)和车辆活动系统(例如，音频和hvac系统，以及主动座椅)生成信号，以提供与投影的虚拟内容同步的物理效果，从而进一步增强乘客的体验。当呈现虚拟内容以供显示时，vr系统可基于来自车辆中的一个或多个源的输入，使虚拟内容的运动和加速度与车辆沿着现实世界中的路线行进的运动和加速度同步。
[0037]
除了解决移动车辆中乘客的晕动病问题以及为移动车辆中乘客提供诸如提高生产率的益处之外，vr系统的实施方案可向车辆中的乘客提供沉浸式vr体验，例如通过将现实世界视图替换为乘客可能期望的各种类型的虚拟体验和环境中的任何一种。可将车辆运动集成到虚拟体验中以帮助防止晕动病或增强虚拟体验。将vr系统与运动中的车辆集成提供了增强使用固定模拟器或佩戴hmd坐在房间中时不能感受到的虚拟体验的机会。例如，虚拟体验中的加速度和运动可与车辆的加速度和运动相匹配或由车辆的加速度和运动来增强。在一些实施方案中，约束范围内的活动车辆系统(例如，hvac系统、音频系统和主动座椅)和/或车辆控制系统(例如，制动、油门、转向和主动悬架系统)可与vr系统集成以提供具有虚拟体验的物理效果，例如通过hvac系统冲出风或热、通过音频系统产生环绕声和声音效果，以及通过座椅的加速度或运动效果。乘客可选择在乘车时享受轻松的虚拟体验(诸如在河中漂浮或在悬挂式滑翔机上翱翔)，或激动人心的虚拟体验(诸如追车或驾车穿过僵尸攻击的后世界末日荒地)，或介于两者之间的任何虚拟体验。乘客可选择享受乘车穿过其他真实位置(诸如伦敦街道，或穿过虚构的城市或景观)的虚拟体验。虚拟体验可以是教育性的和交互式的，例如允许乘客在他们正在体验的城市的虚拟视图中发现关于地标的历史或
其他信息。虚拟体验可以其他方式进行交互，例如允许乘客在公路比赛体验期间超过其他车辆，或者在后世界末日景观中跑过僵尸。又如，如果在后世界末日景观中逃离僵尸时车辆在红灯处或因其他原因而停止，虚拟体验可使得车辆停止并且不允许汽车重新启动直到灯变为绿色以构建悬念。
[0038]
在一些实施方案中，真实或虚构人物的虚拟视图可集成到vr系统提供的虚拟体验中。例如，作者或脱口秀节目主持人的虚拟表示可能看起来坐在乘客旁边的座椅上；虚拟作者可能正在向乘客阅读他们的一本书，或者虚拟脱口秀节目主持人可能坐在乘客旁边的座椅上主持节目，其中他们的声音通过音频系统提供。又如，乘客可体验乘坐在平板卡车上观看乐队的演奏会，其中乐队的音乐通过音频系统提供。
[0039]
在一些实施方案中，汽车中的两个或更多个乘客可参与同一虚拟体验。例如，四个乘客可各自佩戴一个hmd，该hmd投影一个视图，好像乘客在滑翔在景观或城市上方的巨型悬挂式滑翔机上一样。乘客的虚拟体验可以是交互式的；例如，乘客可将虚拟水气球放到环境中的特征物上。
[0040]
在一些实施方案中，沉浸式vr体验可用于在乘坐车辆时提高生产率，同时还为参与者提供有趣的vr体验。例如，两个或更多个人可在虚拟环境中的桌子周围(例如在虚拟房间中或在平板卡车的床上)举行会议作为替代。另选地，不同的参与者可体验不同的vr环境以进行会议；例如，对于一个参与者而言，他们可看起来好像是在卡车的平板上举行会议，而对另一个参与者而言，他们可看起来正在办公室的一个房间里举行会议。参与者可以在上下班的途中的同一车辆中，或不同的车辆中。或者一些参与者可在上下班途中的车辆中，而一个或多个其他参与者已在办公室、家中或其他地方。可将参与者中的一个的计算机屏幕的视图投影到虚拟环境中，以供所有参与者观看。在一些实施方案中，参与者基于其实际环境具有不同的虚拟体验。例如，已在办公室中的参与者可以在模拟办公室环境中观看会议，而仍然在其车辆中的参与者可以在虚拟平板卡车的床上观看会议。对于不同车辆中的参与者，虚拟体验可根据他们在现实环境中遵循的不同路线而有所不同。
[0041]
在一些实施方案中，两个或更多个自主车辆中的vr系统可用于向不同车辆中的乘客提供有趣的交互体验。例如，自主车辆可被带到轨道或大型开放地段，并且vr系统可用于向乘客提供比赛的虚拟体验。vr系统可在约束范围内引导车辆的控制系统(例如，转向、制动、油门、主动悬架)在轨道上或在地段中行驶，同时向车辆中的乘客提供视觉、听觉和触觉vr体验。例如，乘客可在视觉上、听觉上以及通过车辆中的vr系统所产生的物理输入看起来他坐在赛车中，其他车辆显示为参与比赛的其他赛车。又如，乘客可看起来好像他们正在参与实际电影中的场景。
[0042]
上文仅提供了可由如本文所述的vr系统提供和使用的不同增强或沉浸式虚拟体验的一些示例，并且不旨在进行限制。
[0043]
图1示出了根据一些实施方案的虚拟现实(vr)系统，其包括可由车辆中的乘客使用的头戴式设备(hmd)。在这些实施方案中，车辆中的vr系统100包括vr控制器110(例如，安装在仪表板下方)和vr头戴式耳机(hmd 112)。hmd 112可实现各种类型的虚拟现实投影技术中的任何一种。例如，hmd 112可以是近眼vr系统，其在由乘客190观看的用户190的眼睛前面的屏幕上投影左图像和右图像，例如dlp(数字光处理)、lcd(液晶显示器)和lcos(硅上液晶)技术vr系统。又如，hmd 112可以是直接视网膜投影仪系统，其逐个像素地向乘客190
的眼睛扫描左图像和右图像。为了扫描图像，左投影仪和右投影仪产生的光束被引导到位于用户190眼睛前方的左反射部件和右反射部件(例如，椭圆形反射镜或全息组合器)；反射部件将光束引导到使用者的眼睛。为了创建三维(3d)效果，3d虚拟视图114中的不同深度或距离处的虚拟内容116在两个图像中作为距离三角测量的函数向左或向右移位，较近物体的移位比较远物体的移位更大。
[0044]
乘客190可佩戴hmd 112，同时例如在用户设备192(例如，笔记本或膝上型计算机)上工作。控制器110和hmd 112可通过有线(例如，用户可将hmd 112插入座椅或控制台上的端口(例如，usb端口)或无线(例如，蓝牙)连接通信地联接。控制器110和用户设备192也可通过有线(例如，用户可将用户设备192插入座椅或控制台上的端口(例如，usb端口)或无线(例如，蓝牙)连接通信地联接。可将来自用户设备192的视频输出提供给vr控制器110，该vr控制器随后可生成包括提供给hmd 112的帧中的设备192(例如，窗口)的输出的虚拟内容。hmd112可投影帧以供乘客190观看。在一些实施方案中，帧可在混合或增强现实视图中投影，使得乘客190在现实环境的视图中看到虚拟内容116，或者另选地可投影到具有其他虚拟内容的虚拟环境中。如果投影到现实环境的视图中，则虚拟内容116可能看起来固定在车辆前方的某个距离处(例如，几米，或者甚至在地平线处显示为巨型显示器)，以减轻可能引起晕动病的影响。如果投影到虚拟环境中，则虚拟内容116可能看起来固定在乘客190前方的一定距离处，并且可提供视觉提示(例如，移动经过乘客190的虚拟标记)以减轻可能引起晕动病的影响。
[0045]
图2示出了根据一些实施方案的vr系统，其将vr内容投影到车辆的窗户以供乘客观看。在这些实施方案中，车辆中的vr系统200包括vr控制器210(例如，安装在仪表板下方)和被配置成将虚拟内容投影到窗户208(例如，车辆的挡风玻璃)上的投影仪220系统。在一些实施方案中，窗户208可包括诸如波导技术或全息组合器技术的技术，以改善通过将光投影到常规玻璃窗户上可以实现的投影。乘客290可在用户设备292(例如，笔记本或膝上型计算机)上工作。控制器210和投影仪220可通过有线或无线(例如，蓝牙)连接通信地联接。控制器210和用户设备292也可通过有线(例如，用户可将用户设备292插入座椅或控制台上的端口(例如，usb端口)或无线(例如，蓝牙)连接通信地联接。可将来自用户设备292的视频输出提供给vr控制器210，该vr控制器随后可生成包括提供给投影仪220的帧中的设备292(例如，窗口)的输出的虚拟内容。hmd 220可将帧投影到窗户208上以供乘客290观看。在一些实施方案中，帧可在混合或增强现实视图214中投影，使得乘客290在窗户208外的现实环境的视图中看到虚拟内容216，或者另选地可投影到具有其他虚拟内容的虚拟环境中。如果投影到现实环境的视图中，则虚拟内容216可能看起来固定在车辆前方的某个距离处(例如，几米，或者甚至在地平线处显示为巨型显示器)，以减轻可能引起晕动病的影响。如果投影到虚拟环境中，则虚拟内容216可能看起来固定在乘客290前方的一定距离处，并且可提供视觉提示(例如，移动经过乘客290的虚拟标记)以减轻可能引起晕动病的影响。
[0046]
虽然图2示出了投影到窗户208(诸如车辆的挡风玻璃)上，但是在一些实施方案中，一个或多个投影仪220可用于将由vr控制器210生成的虚拟内容投影到车辆中的一个或多个其他窗户(例如，侧窗或门窗，或后窗)，或投影到车辆中的所有窗户以提供“环绕”虚拟体验。还需注意，在一些实施方案中，代替或除了在车辆的窗户上显示虚拟内容之外，车辆中的一个或多个显示屏可用于显示由vr控制器210生成的虚拟内容。
[0047]
图3示出了根据一些实施方案的投影vr内容316，使得观看者看起来其固定在车辆前方的某个距离处的现实环境中的空间中。如图3所示，虚拟内容316(例如，显示器的投影或乘客手持的计算设备的显示器部分)可在乘客看起来固定在车辆前方的某个距离处(例如，几米，或者甚至在地平线处显示为巨型显示器)，例如以减轻可能引起晕动病的影响。在一些实施方案中，虚拟内容316可以是部分透明的，使得乘客可观看内容316后面的场景。虚拟内容316可包括但不限于各种显示窗口(例如，目录、浏览器、网页)、生产力工具(例如，文字处理器)、电子邮件应用程序或电子邮件消息、消息传送应用程序、游戏窗口、视频(例如，来自视频流应用程序的视频)等。虽然实施方案被描述为显示从乘客的个人设备(诸如笔记本电脑)输入的虚拟内容316，但是需注意，可替代地或者也可显示来自其他来源的内容，例如来自车辆av系统的dvd或播放器的视频或其他内容，或来自外部(例如，基于网络的)源的视频或其他内容。
[0048]
图4示出了根据一些实施方案的投影vr内容，使得观看者看起来该vr内容在车辆的现实世界视图中的空间中。乘客490可坐在车辆的座椅480中。如图1或图2所示的vr系统可将虚拟内容416投影到车辆前方或周围的现实世界视图417中。在一些实施方案中，现实世界视图417可通过车辆的窗户提供。另选地，在一些实施方案中，现实世界视图417可由车辆上的摄像机提供；vr系统可将虚拟内容416与车辆周围或前方的现实世界的视频合成，并将合成视频提供给hmd或投影仪以显示给乘客490。如图4所示，虚拟内容416(例如，乘客手持的计算设备492的显示器的投影)可在乘客490看起来固定在车辆前方的某个距离处(例如，几米，或者甚至在地平线处显示为巨型显示器)，例如以减轻可能引起晕动病的影响。
[0049]
图5示出了根据一些实施方案的投影vr内容，使得观看者看起来该vr内容在车辆的模拟视图中的空间中。乘客590可坐在车辆的座椅580中。如图1或图2中所示的vr系统可生成表示包括虚拟内容516并且替换现实世界视图的虚拟世界518的帧，并且将帧提供给hmd或投影仪以显示给乘客590。如图5所示，虚拟内容516(例如，乘客手持的计算设备592的显示器的投影)可在乘客590看起来固定在乘客前方的某个距离处(例如，几米，或者甚至在地平线处显示为巨型显示器)，例如以减轻可能引起晕动病的影响。在一些实施方案中，视觉提示可包括在虚拟世界中(例如，看起来正在移动经过乘客590的虚拟对象)以帮助减轻晕动病，或者提供有趣的视觉体验。虽然未示出，但在一些实施方案中，虚拟车辆内部可包括在虚拟世界中；虚拟车辆内部可被制成代表乘客590想要看到的任何类型的车辆，例如异国情调的超级跑车、敞篷车或豪华轿车。也可呈现其他类型的虚拟车辆，例如摩托车或直升机，以向乘客590提供有趣或刺激的体验。
[0050]
在一些实施方案中，乘客590的手和用户设备592(例如，键盘)的虚拟表示也可显示在虚拟内容516中，以在乘客590使用设备592时提供帮助。在一些实施方案中，乘客590的虚拟表示(包括但不限于人的手臂、手和腿)也可显示在虚拟内容516中。可呈现乘客590的虚拟表示以匹配特定的虚拟体验。例如，如果用户在乘坐虚拟战车时正在体验罗马的虚拟之旅，则除了显示战车和马匹之外，虚拟表示还可显示穿着长袍和凉鞋的人，并且他们的手臂和手上佩戴着罗马珠宝。
[0051]
图6示出了根据一些实施方案的车辆中的vr系统。图6示出了如图1所示的包括hmd 692的vr系统；然而，需注意，类似的配置可实现如图2所示的vr系统。如图6所示，车辆600(可以是但不一定是自主车辆)可包括vr控制器610、车辆系统626(例如，车辆控制系统，例
如油门、制动、转向和主动悬架系统，以及导航、hvac和av系统)、内部和外部传感器(例如，用于深度映射的lidar、用于内部或外部视图的摄像机、imu、本地化系统等)。车辆600可包括一个或多个乘客座椅690。在该示例中，前向和后向座椅用于示例性目的。乘客690a可坐在后向座椅中，而乘客690b可坐在前向座椅中。乘客690a和690b佩戴相应的hmd692a和692b。
[0052]
在一些实施方案中，vr控制器610可从一个或多个传感器624以及从一个或多个车辆系统626获得输入，也可从一个或多个外部源(例如基于云的存储或基于网络的应用程序)获得输入，并且还可从由乘客690手持的用户设备获得输入。vr控制器610可至少部分地根据各种输入为乘客690a和690b生成相应的vr视图694a和694b，并且将vr视图694a和694b提供给相应的hmd 692a和692b以显示给乘客690a和690b。根据乘客690a和690b的偏好，vr视图694a和694b可以是相同的虚拟或现实环境，或者可以是不同的虚拟环境。例如，乘客694a可能想要看到车辆600前方的现实世界视图，因此vr控制器610可从前向摄像机生成视图(可以但不一定包括合成的虚拟内容)，并且将vr视图694a提供给hmd 692a以显示给乘客690a。在一些实施方案中，音频可通过hmd692a和692b的耳机提供；另选地，音频可通过车辆600的音频系统提供。在一些实施方案中，vr控制器610还可向车辆600的控制系统(例如，在约束范围内控制制动、加速度、转向和/或悬架运动)和车辆活动系统(例如，音频和hvac系统，以及主动座椅)生成信号，以提供与投影视图694同步的物理效果，从而进一步增强乘客的体验。
[0053]
作为示例性用例，vr系统可用于使后向乘客690a看起来他们正向前行进。有些人在向后行进时往往会引起晕动病。使用vr系统，可向乘客690a显示车辆前方的现实世界视图或者他们正在向前行进的虚拟视图。对于乘客690，由于他们在实际上向后行进时使他们看起来在向前行进，因此加速度可被感测为制动，制动可被感测为加速度，右转可被感测为左转，并且左转可被感测为右转。
[0054]
图7是示出根据一些实施方案的车辆中的vr系统的部件的框图。如图7所示，车辆700(可以是但不一定是自主车辆)可包括vr控制器710。vr控制器710可包括一个或多个处理器712。处理器712可包括各种类型的处理器、cpu、图像信号处理器(isp)、图形处理单元(gpu)、编码器/解码器(编解码器)、存储器和/或用于处理来自各种源的输入以生成vr内容和其他输出信号的其他部件中的一个或多个。vr控制器710还可包括存储器713，其可以例如存储可由处理器712执行的程序指令，以及可由程序指令使用的数据，所述程序指令用于执行vr控制器710的功能以处理来自各种源的输入并生成vr内容和其他输出信号。vr控制器710还可包括到各种车辆系统、外部源790、vr投影设备720和乘客的用户设备792的接口714。接口714可包括到各种部件的有线和/或无线连接。
[0055]
一个或多个vr投影或显示设备720(在本文中称为vr设备)可通过有线或无线通信连接联接到vr控制器710。vr投影设备720可以是如图1所示的hmd，或者可以是如图2所示的投影仪系统。在一些实施方案中，vr投影设备720可包括一个或多个处理器722、投影仪724、显示器726，以及用于连接到vr控制器710、从该vr控制器接收输入和向该vr控制器提供输出的一个或多个有线和/或无线接口729。处理器722可包括各种类型的处理器、cpu、图像信号处理器(isp)、图形处理单元(gpu)、编码器/解码器(编解码器)、存储器和/或其他部件中的一个或多个。需注意，hmd可包括向两个显示器726(例如近眼vr系统中的两个屏幕或直接
视网膜投影仪系统中的反射透镜)显示或投影虚拟内容的两个投影仪724(每个眼睛一个)。在一些实施方案中，vr投影设备720还可包括存储器723，其可以例如存储可由处理器722执行的程序指令，以及可由程序指令使用的数据，所述程序指令用于执行vr投影设备720的功能以连接到vr控制器710、与该vr控制器通信，以及处理来自该vr控制器的输入。在一些实施方案中，vr投影设备720还可包括用于检测vr投影设备720(例如，hmd)的运动和方向的imu 728。在一些实施方案中，vr投影设备720可包括或联接到个人音频输出设备725，诸如耳机或耳塞。如果vr投影设备720是hmd，则音频输出725可集成在hmd中。
[0056]
虽然未示出，但是在一些实施方案中，vr投影设备720和/或vr控制器710可包括用于接收来自乘客的语音输入的一个或多个麦克风；例如，hmd可包括用于接收来自佩戴该设备的乘客的语音输入的麦克风。语音输入可例如用于vr系统的语音控制，或者用于与佩戴hmd的其他乘客通信，或者用于通过vr控制器710或车辆700系统进行外部通信，诸如电话呼叫和电话会议。此外，在一些实施方案中，vr投影设备720和/或vr控制器710可包括或联接到内部相机或其他传感器，用于检测乘客的动作或姿势(例如手、手臂或头部姿势)、眼睛运动、面部表情等。在一些实施方案中，检测到的手势、动作或表情可用作vr系统的输入，以影响向各个乘客呈现和/或显示虚拟内容。在一些实施方案中，检测到的手势、动作或表情可用作vr系统的输入，以呈现虚拟内容中相应乘客的动画化身。此外，在一些实施方案中，vr投影设备720可包括可用作vr系统的输入以影响向相应乘客呈现和/或显示虚拟内容的一个或多个外部相机、深度相机或其他传感器。
[0057]
在一些实施方案中，vr投影设备720中、车辆700中的其他位置处或乘客的传感器和相机可用于监测乘客的晕动病迹象(例如，脸色苍白、出汗、坐立不安、吞咽、打嗝，脉搏速率、呼吸速率、眼球运动等)。如果检测到晕动病的早期迹象，则vr系统可以是保守的并且返回或维持1:1映射到显示给乘客的模拟视图中的真实生活运动和加速度，并且/或者否则可改变呈现给乘客的虚拟体验。如果乘客没有表现出晕动病迹象，则vr系统可与1:1映射不同，这使得虚拟体验更具灵活性。例如，可在虚拟体验中增加提供加速感的视觉和其他提示，以使乘客感觉到他们以比车辆实际加速更快的速度加速，并且/或者可在虚拟体验中增加提供转弯感的视觉和其他提示，以使乘客感觉到他们以比车辆实际转弯更快的速度转弯。图18至图20进一步示出了在移动车辆中使用vr系统时监控乘客并根据乘客的生理响应调整vr体验。
[0058]
如图7所示，vr控制器710可从车辆内部和外部传感器和控制系统702接收各种输入(例如，定位、加速、制动、转向、运动、取向、视频、深度图等)。车辆内部和外部传感器可包括但不限于深度相机(例如，lidar)、摄像机、惯性测量单元(imu)。车辆控制系统可包括但不限于油门控制、制动、转向、导航和主动悬架系统。vr控制器710还可从一个或多个车辆av系统706获得输入(例如，视频和/或音频)。vr控制器710还可从一个或多个外部源790(例如，基于云的存储或基于网络的应用程序)获得输入(例如，世界地图数据、本地环境的3d模型、关于本地环境中的对象或特征物的信息、视频流、音频(例如，无线电或卫星广播)等)。vr控制器710还可从一个或多个用户设备792诸如膝上型电脑或平板电脑/平板设备获得输入(例如，视频、音频、对键盘或其他输入设备的用户输入等)。vr控制器710还可从一个或多个vr投影设备720获得输入(例如，来自hmd的imu 728的运动和/或取向信息)。
[0059]
在一些实施方案中，vr控制器710还可获取在车辆路线上的先前驾驶期间收集的
数据，并且在路线上的当前驾驶期间使用该数据。例如，频繁驶过路线的数据可被存储到云存储器，并且在车辆在该路线上行驶时由vr控制器710访问。因此，在乘客经常行驶的路线上，可以在该路线上的当前驾驶期间使用来自该路线上的先前驾驶的数据。在一些实施方案中，vr控制器710还可获得已驶过路线并且也实现vr系统的其他车辆为该路线收集的数据，并且在车辆驶过该路线时使用该数据。例如，不同车辆驶过路线的数据可被存储到云存储器中，并且在车辆在该路线上行驶时由vr控制器710访问。
[0060]
vr控制器710可至少部分地根据各种输入生成用于一个或多个vr投影设备720的增强的虚拟内容，并且将vr内容作为输出提供给设备720以供显示。在一些实施方案中，vr控制器710还可生成和/或接收虚拟内容的音频，并在显示虚拟内容的同时将音频提供给要播放的一个或多个vr投影设备720。例如，虚拟内容可以在现实环境的视图中向乘客提供乘客个人设备的虚拟视图(例如，计算机显示窗口)，如图3和图4所示，使得乘客看起来该内容固定在车辆前方某个距离处的空间中，这可以例如帮助防止晕动病，并且因此可以允许乘客在乘坐车辆时进行工作。另选地，虚拟内容可向乘客提供沉浸式vr环境和体验，例如如图9至图11所示。
[0061]
在一些实施方案中，vr控制器720可向一个或多个车辆控制系统702(例如，在约束范围内控制制动、加速度、转向或悬架/运动)和车辆活动系统(例如，av 706和hvac 708系统和主动座椅730)生成输出信号，以提供与虚拟内容同步的物理效果，从而进一步增强乘客的虚拟环境和体验。
[0062]
虽然大致地描述了vr控制器710呈现虚拟内容并将包括虚拟内容的帧提供给一个或多个vr投影设备720以供显示或投影给相应乘客的实施方案，但是在一些实施方案中，虚拟内容的呈现的至少一部分可由vr投影设备720执行。另外，在一些实施方案中，vr控制器710可以是vr投影设备720的部件，例如vr控制器710可内置到hmd中，并且可通过有线和/或无线通信连接与车辆系统和传感器通信。
[0063]
图8是示出根据一些实施方案的可在vr系统中使用以向乘客提供同步的物理效果的车辆中的活动系统的框图。图8示出了一个示例，其中佩戴hmd 720的乘客790坐在包括vr控制器710的静止或移动车辆的主动座椅730中；乘客790可在车辆中面向前方或后方。如图8所示，在一些实施方案中，vr控制器720可向一个或多个车辆控制系统702(例如，在约束范围内控制制动、加速度、转向或悬架/运动)和车辆活动系统(例如，av 706和hvac 708系统和主动座椅730)生成信号，以提供与虚拟内容同步的物理效果，从而进一步增强乘客的虚拟环境和体验。例如，主动座椅730可倾斜以改变前向或后向乘客790感觉到的加速力，例如以减小或增加乘客790感觉到的加速感。例如，向后倾斜主动座椅730可使前向乘客790感觉到在其背部推动的重力矢量，从而引起或增加向前加速的感觉。又如，在一些实施方案中，一个或多个车辆控制系统702(例如，油门、制动和/或主动悬架控制系统)可在约束范围内(可能与主动座椅730一起)由vr控制器710控制，以使乘客790感觉到他们静止地坐在房间里而不是在车辆中移动。在一些实施方案中，vr控制器710可以预测道路中的颠簸(例如，行驶路线时从先前记录的车辆行驶路线的表面状况信息，或从外部源获得的表面信息)，并且向上或向下移动主动座椅730和/或在约束范围内控制车辆的控制系统中的一个或多个(例如，油门、制动和/或主动悬架)，以在车辆越过颠簸时减轻或消除乘客790可能受到的震动。又如，vr控制器710可指示hvac系统708提高其风扇速度，使得如图10(b)所示的沉浸式vr环
境诸如悬挂式滑翔机体验中的乘客790感觉到风吹过他们，或者增加热量，使得坐在虚拟壁炉或篝火前面的乘客790感觉到来自火的热量。又如，vr控制器710可通过车辆的音频系统706或者通过集成在hmd 720中的音频系统来播放伴随vr体验的音频。
[0064]
作为示例性用例，vr系统可用于使后向乘客790看起来他们正向前行进。有些人在向后行进时往往会引起晕动病。使用vr系统，可向乘客790显示车辆前方的现实世界视图或者他们正在向前行进的虚拟视图。对于乘客790，由于他们在实际上向后行进时使他们看起来在向前行进，因此加速度可被感测为制动，制动可被感测为加速度，右转可被感测为左转，并且左转可被感测为右转。在一些实施方案中，主动座椅730、hvac系统708、音频系统706和一个或多个车辆控制系统702(例如，油门、制动器和/或主动悬架控制系统)可在约束范围内由vr控制器710控制，以使乘客790在他们实际向后行进时感觉到他们正在向前行进。
[0065]
图9至图11以图形方式示出了可由vr系统的实施方案提供的若干示例性沉浸式vr体验，并且并非不旨在进行限制。vr系统的实施方案可向车辆中的乘客提供沉浸式vr体验，例如通过将现实世界视图替换为乘客可能期望的各种类型的虚拟体验和环境中的任何一种。可将车辆运动集成到虚拟体验中，例如以帮助防止晕动病并增强虚拟体验。将vr系统与运动中的车辆集成提供了增强使用固定模拟器或佩戴hmd坐在房间中时不能感受到的虚拟体验的机会。例如，虚拟体验中的加速度和运动可与车辆的加速度和运动相匹配或由车辆的加速度和运动来增强。在一些实施方案中，约束范围内的活动车辆系统(例如，hvac系统、音频系统和主动座椅)和/或车辆控制系统(例如，制动、油门、转向和主动悬架系统)可与vr系统集成以提供具有虚拟体验的物理效果，例如通过hvac系统冲出风或热、通过音频系统产生环绕声和声音效果，以及通过座椅的加速度或运动效果。
[0066]
图9(a)和图9(b)示出了沉浸式vr体验的示例，该沉浸式vr体验可用于在乘坐车辆时提高生产率，同时还为参与者提供有趣的vr体验。例如，两个或更多个人可在虚拟环境中的桌子周围(例如在如图9(a)所示的虚拟房间中或在如图9(b)所示的平板卡车的床上)举行会议作为替代。另选地，不同的参与者可体验不同的vr环境以进行会议；例如，对于一个参与者而言，他们可看起来好像是在卡车的平板上举行会议，而对另一个参与者而言，他们可看起来正在办公室的一个房间里举行会议。参与者可以在上下班的途中的同一车辆中，或不同的车辆中。或者一些参与者可在上下班途中的车辆中，而一个或多个其他参与者已在办公室、家中或其他地方。可将参与者中的一个的计算机屏幕的视图投影到虚拟环境中，以供所有参与者观看。呈现给每个参与者的虚拟内容可基于特定参与者正在经历的情况。例如，如图9b所示，可以向坐在家中或办公室中的参与者呈现办公室中的会议的静态视图，而如图9a所示，可以从卡车的后部向乘坐在车辆中的参与者呈现会议的动态视图，其中经过的风景和运动被融合到体验中。
[0067]
在一些实施方案中，乘客可选择在乘车时享受放松的虚拟体验，诸如如图10(a)所示的坐在独木舟中或管上在河中漂浮或者如图10(b)所示的在悬挂式滑翔机上翱翔。在一些实施方案中，乘客在虚拟环境中所采用的路径可遵循车辆在现实世界中遵循的实际路径；例如，实际路线上的弯道或转弯可被建模为乘客漂浮的河流上的转弯或弯道。在一些实施方案中，vr系统可预期车辆正在行驶的道路上的颠簸或车辆的停止，这可在环境中呈现虚拟内容以为乘客实际感觉到的运动提供背景；例如，当车辆经过减速带时，乘客乘坐的虚
拟独木舟可能撞到河中的虚拟原木，或者当车辆停在停车标志或红绿灯处时，虚拟独木舟暂时卡在沙洲或涡流中。在一些实施方案中，vr系统可引导车辆的系统提供物理效果以及虚拟体验，例如通过引导hvac系统在悬挂式滑翔体验期间向乘客吹风。
[0068]
图10(c)示出乘客可选择享受乘车穿过其他真实位置(诸如伦敦街道，或穿过虚构的城市或景观)的虚拟体验。虚拟体验可以是教育性的和交互式的，例如允许乘客在他们正在体验的城市的虚拟视图中发现关于地标的历史或其他信息。虚拟体验可以其他方式进行交互，例如允许乘客在虚拟公路比赛体验期间超过其他车辆，或者在后世界末日景观中跑过僵尸。在一些实施方案中，vr系统可选择被模拟的真实城市中的路线，该路线与车辆正在行驶的实际路线紧密匹配，例如使得城市虚拟化视图中的转弯、弯道和停靠点与车辆正在行驶的实际路线中的转弯、弯道和停靠点紧密匹配。需注意，正在模拟的真实城市中的路线与车辆所行驶的实际路线之间的匹配不必是1:1匹配。例如，可通过添加一个或两个模拟店面或房屋来扩展模拟的城市街区，使得模拟的城市街区与实际路线上的街道长度相匹配。在一些实施方案中，vr系统可预期车辆正在行驶的道路上的颠簸或车辆的停止，这可在环境中呈现虚拟内容以为乘客实际感觉到的运动提供背景；例如，当车辆经过减速带时，乘客乘坐的虚拟车辆可在世界末日景观中跑过僵尸。在一些实施方案中，vr系统可引导车辆的系统提供物理效果以及虚拟体验，例如通过引导hvac系统在虚拟视图显示风吹过虚拟景观时向乘客吹风。
[0069]
如图11所示，在一些实施方案中，真实或虚构人物的虚拟视图可集成到vr系统提供的虚拟体验中。例如，如图11(b)所示，作者或脱口秀节目主持人的虚拟表示1195可能看起来坐在乘客1190旁边的座椅上；虚拟作者可能正在向乘客阅读他们的一本书，或者虚拟脱口秀节目主持人可能坐在乘客旁边的座椅上主持节目，其中他们的声音通过车辆或hmd 1100的音频系统提供。又如，如图11(a)所示，乘客可体验乘坐在平板卡车上观看虚拟乐队的演奏会，其中乐队的音乐通过车辆或hmd 1100的音频系统提供。
[0070]
图12是根据一些实施方案的用于向车辆中的乘客提供vr体验的方法的高级流程图。图12的方法可例如通过如图1、图2、图6或图7中所示的vr系统来实现。
[0071]
如在1200处所示，车辆中的vr系统可从车辆传感器(例如，深度图信息、视频等)、车辆系统(例如，转向、制动、油门、主动悬架、定位和imu系统)和外部源获得输入(例如，世界地图数据、3d模型等)。如在1210处所示，vr系统可至少部分地根据来自车辆传感器、车辆系统和外部源的输入生成虚拟内容。如在1220处所示，vr系统可将虚拟内容发送到至少一个vr投影设备，例如如图1所示的hmd或如图2所示的投影仪。如在1230处所示，vr投影设备向乘客显示虚拟内容。虽然未示出，但是在一些实施方案中，vr系统还可向车辆控制系统(例如，在约束范围内控制制动、加速度、转向或悬架/运动)和车辆活动系统(例如，音频和hvac系统，以及主动座椅)生成信号，以提供与投影的虚拟内容同步的物理效果，从而进一步增强乘客的体验。如从1230返回到1200的箭头所示，图12的方法可以是vr体验持续期间的连续过程。
[0072]
在一些实施方案中，vr投影设备(例如，hmd)可包括相机、深度相机和/或其他传感器，并且vr系统可代替vr投影设备或者也可从vr投影设备获得输入，并且可至少部分地根据来自vr投影设备上的传感器的输入生成虚拟内容。
[0073]
图13是根据一些实施方案的用于向车辆中的乘客提供环境的混合现实视图中的
虚拟内容的方法的流程图。图13的方法可例如通过如图1、图2、图6或图7中所示的vr系统来实现。
[0074]
如在1300处所示，vr设备(例如，如图1中所示的hmd)和用户设备(例如，膝上型电脑或笔记本电脑、平板电脑或平板设备等)可连接到车辆中的vr系统，例如使用有线或无线连接。如在1310处所示，vr系统可从用户设备获取图像输入(例如，显示器或设备显示器上的一个或多个窗口的视图)，并且还可从车辆传感器(例如，深度图信息、视频等)、车辆系统(例如，转向、制动、油门、主动悬架、定位和imu系统)和外部源获得输入(例如，世界地图数据、3d模型等)。如在1320处所示，vr系统可生成包括从用户设备输入的图像并且根据来自车辆传感器、车辆系统和外部源的输入的虚拟内容。如在1330处所示，vr系统可将虚拟内容发送到vr设备(例如，hmd)以显示给乘客。如在1340处所示，vr设备向乘客显示虚拟内容，使得看起来图像输入固定在车辆前方的某个距离处，例如如图3、4或5所示。如从1340返回到1310的箭头所指示的，图13的方法可以是vr体验持续期间的连续过程。
[0075]
在一些实施方案中，vr投影设备(例如，hmd)可包括相机、深度相机和/或其他传感器，并且vr系统可代替vr投影设备或者也可从vr投影设备获得输入，并且可至少部分地根据来自vr投影设备上的传感器的输入生成虚拟内容。
[0076]
图14是根据一些实施方案的用于向车辆中的乘客提供具有环境影响的沉浸式vr体验的方法的流程图。图14的方法可例如通过如图1、图2、图6或图7中所示的vr系统来实现。
[0077]
如在1400处所示，vr设备(例如，如图1中所示的hmd)可连接到车辆中的vr系统，例如使用有线或无线连接。如在1410处所示，vr系统可从车辆传感器(例如，深度图信息、视频等)、车辆系统(例如，转向、制动、油门、主动悬架、定位和imu系统)和外部源获得输入(例如，世界地图数据、3d模型等)。如在1420处所示，vr系统可根据来自车辆传感器、车辆系统和外部源的输入生成表示沉浸式vr环境的虚拟内容。如在1430处所示，vr系统可将虚拟内容发送到vr设备(例如，hmd)以显示给乘客。如在1440处所示，vr设备显示虚拟内容以向乘客提供沉浸式vr体验。如在1450处所示，vr系统还可将信号发送至一个或多个车辆系统。如在1460处所示，一个或多个车辆系统可为乘客提供与vr体验同步并且增强vr体验的物理效果。如从1460返回到1400的箭头所示，图14的方法可以是vr体验持续期间的连续过程。
[0078]
在一些实施方案中，vr投影设备(例如，hmd)可包括相机、深度相机和/或其他传感器，并且vr系统可代替vr投影设备或者也可从vr投影设备获得输入，并且可至少部分地根据来自vr投影设备上的传感器的输入生成虚拟内容。
[0079]
在一些实施方案中，在图12至图14中描述的方法中，为了缩短或省去呈现虚拟内容以向乘客显示的延迟时间，vr系统可“向前看”，例如使用世界地图数据、环境的3d模型和车辆传感器数据来呈现虚拟内容并确定车辆在车辆实际到达特定位置之前正在行驶的路线上该位置的物理效果。这种“向前看”的呈现有助于确保vr环境中乘客的视觉和身体体验与路线上车辆的实际物理运动紧密匹配。
[0080]
在vr环境中适应乘客偏好和倾向
[0081]
如图1至图14所示，当参与由车辆中的vr系统呈现的vr环境时，一些乘客可能倾向于比其他乘客更容易经历晕动病。一些如此参与的乘客可能很少或从未经历过晕动病。在一些实施方案中，在vr系统上执行的vr应用程序可调整vr环境和体验以适应不同乘客的偏
好和倾向。例如，在一些实施方案中，当与车辆的实际速度或加速度相比时，可减慢或加速视觉提示，以适应不同乘客的偏好和倾向。保持1:1的映射比率或减慢视觉提示，可帮助减轻患有晕动病或表现出晕动病迹象的乘客的晕动病。对于不倾向于或者不表现出晕动病迹象的乘客，可例如将视觉提示加速至1:2的映射比率，以为乘客提供增强的、更刺激的虚拟体验。
[0082]
除了调整乘客的映射比率以帮助防止晕动病之外，还可在vr体验中使用其他几种视觉和听觉技术(称为调节)，以增加使用车辆中的vr系统的乘客的舒适度并减轻其晕动病。可以向vr应用程序开发者提供描述在车辆中使用vr系统的乘客的这些调节的指南。这些调节中的一个或多个可集成到根据该指南在vr系统中执行的vr应用程序中，并且调节可应用于vr应用程序生成的vr体验中。一个或多个调节可默认应用于vr体验中，或者可基于特定乘客的偏好和/或基于来自检测特定乘客的晕动病或不适的迹象的乘客监控系统的反馈，将一个或多个调节添加到vr体验中(或从中移除)。
[0083]
虽然实施方案通常被描述为在移动车辆中为使用vr系统的乘客提供vr体验中的调节，但是在一些实施方案中，vr体验可被记录以供具有初始体验的人或者其他人在不在移动车辆中时(例如在坐在房间中时)稍后回放。可在vr体验的回放期间提供本文所述的一个或多个调节，使得静止(例如，坐在房间中)和前庭器官不经历任何加速的观看者在观看回放的移动vr内容时不会出现晕动病的症状。
[0084]
图15至图17以图形方式示出了根据一些实施方案的可在vr体验中使用的若干视觉调节，以增加使用车辆中的vr系统的乘客的舒适度并减轻晕动病。图15至图17中所示的调节可例如在如图1至图14所示的vr系统中实现。
[0085]
如图15所示，在一些实施方案中，可在虚拟环境1500中的乘客下方(例如位于乘客的脚所在的虚拟环境1500中，)提供虚拟地平面或平台1504，以帮助避免出现晕动病的症状。这防止了乘客有在他们下方没有地面的情况下飞行穿过空间的感觉，这种感觉对一些乘客来说是令人不安的。在一些实施方案中，还可显示乘客的手臂和腿的虚拟表示。
[0086]
在移动车辆中向下或向侧面看，尤其是在进行阅读等活动时，可能会引起一些乘客的晕动病症状。因此，vr环境1500应鼓励乘客在车辆运动时向前看并且保持头部直立。在一些实施方案中，如图15所示，vr应用程序可在乘客的正前方和眼睛高度处提供引人注目的视觉内容1502，以鼓励乘客向前看并保持头部直立。vr应用程序应避免显示文本或其他引人注目的内容，这些内容需要乘客向下看，以在车辆运动时查看内容。vr应用程序应避免将文本或其他引人注目的内容显示在乘客的右侧或左侧，因为当车辆运动时，由外围虚拟内容提供的光流提示在侧面更快，因此具有引起晕动病的可能性。
[0087]
如图15所示，可提供锚固的虚拟内容1506以帮助乘客在移动车辆中体验虚拟环境1500的同时在现实世界中知道自己的方向。在一些实施方案中，对象或方面可被显示在锚固于现实世界方向(例如，锚固于正西方或正东方的太阳或月亮，或锚固于正北方的高大建筑物)的虚拟环境中，使得当车辆遵循现实世界的路线时，乘客可以更容易地确定他们在现实世界中的位置和方向。当车辆在现实世界中转弯时，虚拟世界(包括引人注目的虚拟内容1502)随车辆转动，但锚固的虚拟内容1506相对于现实世界保持固定。
[0088]
在一些实施方案中，可提供关于可身体感受的即将到来的驾驶操纵和现实世界地形效果的预览信息(例如，右转、左转、停车(例如，红灯或停车标志处)、爬升、斜坡、减速带、
下坡部分等)以改善乘客舒适度。在没有现实世界的视频透视并且没有提供关于操纵的提示的vr体验中，乘客可能会感到不适，因为他们无法分辨他们在现实世界中的位置，并且无法预测即将到来的会在身体上影响他们前庭/平衡感的驾驶操纵并且从而撑住他们的身体。用于驾驶操纵和现实世界地形效果的预览信息可由视觉、听觉和/或触觉提示提供。例如，可显示视觉提示(例如，方向箭头)以指示即将到来的左转或右转、爬升或下降。又如，可播放音频提示以指示即将到来的操纵；例如，可向左耳播放声音或音调以指示即将到来的左转，向右耳播放声音或音调以指示即将到来的右转，向两只耳朵播放不同的音调或声音以指示即将到来的下降或爬升。又如，可生成触觉提示以指示即将到来的操纵；例如，座椅的左侧可振动以指示即将到来的左转弯，并且座椅的右侧可振动以指示即将到来的右转弯。又如，可提供视觉、听觉和/或触觉提示以提醒乘客即将在路上发生倾斜或碰撞。如图16所示，在一些实施方案中，虚拟路径或轨道1608可显示在虚拟环境1600中，该虚拟路径或轨道遵循车辆正在行驶的现实世界路线的路径和轮廓，并且通过该虚拟路径或轨道乘客可看到现实世界路线的路径和轮廓，包括但不限于道路中即将到来的转弯、山丘、颠簸和倾斜。导航系统和车辆系统数据可输入到vr系统并用于提供预览信息。平台1604和锚固的虚拟内容1606也可显示。用于即将到来的操纵的视觉提示也可与轨道1608一起显示；例如，可以显示门1610或其他视觉提示(例如道路上的停止标志或红绿灯)以指示即将到来的停车；门1610可以保持直到车辆准备好再次移动。还可提供音频和/或触觉提示。
[0089]
在一些实施方案中，如果vr系统检测到乘客可能开始经历晕动病，则可从vr环境中移除一些内容，从而提供经过虚拟世界中的乘客更少、低调的视觉对象。在一些实施方案中，如图17所示，低刺激、稀疏视觉环境1700可用于提供舒缓、放松的体验。在一些实施方案中，对象或方面可被显示在锚固于现实世界方向(例如，锚固于正西方的夕阳，或锚固于正北方的高大建筑物)的虚拟环境中，使得当车辆遵循现实世界的路线时，乘客可以更容易地确定他们在现实世界中的位置。例如，显示具有日落锚1706的星星稀少的视野和流过的少量低调视觉对象的vr环境1700可帮助乘客确定自己在现实世界中的方向并且可提供舒适、放松的vr体验。
[0090]
在不间断的时间段内(即，不停止地行驶)经历虚拟世界中的强光流可在车辆停止时引起向相反方向(即，向后)的运动的虚幻感知。在一些实施方案中，可减轻光流/视觉运动后效以避免出现车辆停止时的这种运动感知。例如，可在车辆的停止/制动点处或附近提供视觉刺激以减少这种影响。在一些实施方案中，视觉刺激可以是与所感知的向后运动方向相反(即，向前)流动的运动提示；运动提示可抵消向后移动的感觉。例如，运动提示可以是例如仍然向前移动、经过乘客、缓慢移动并且在几秒钟内减速至完全停止的物体。这使得乘客感觉到他们正在向前漂移，这抵消了向后移动的错觉。作为可用于减轻光流/视觉运动后效的视觉提示的另一个示例，虚拟世界的对比度可以降低，因为向后运动的错觉可能更可能具有更高的对比度。
[0091]
乘客可能会因视觉输入与他们听到的现实世界环境噪音不一致而感到不舒服。因此，在一些实施方案中，可提供音频(例如，音乐、声效、白噪声等)以补充由vr应用程序提供的视觉体验，例如通过阻挡或消除道路噪声和其他现实世界环境噪声的耳机或耳塞来提供。
[0092]
图18至图20示出了在移动车辆中使用vr系统时监控乘客并根据乘客的偏好和生
理响应调整vr体验。图18至图20中所示的方法和设备可例如在如图1至图14所示的vr系统中实现。
[0093]
图18示出了根据一些实施方案的使用车辆中的vr系统监控乘客1890。由在vr控制器1810上执行并经由hmd 1820呈现给乘客1890的vr应用程序生成的虚拟内容1840和音频1842可根据乘客的偏好和/或根据车辆中的传感器收集的乘客传感器数据1830而适应于特定乘客1890。在一些实施方案中，vr应用程序可根据预定义或预先确定的乘客偏好(例如在存储在控制器1810上的偏好文件中维护的乘客偏好数据，或者从外部存储器诸如云存储访问的乘客偏好数据)来初始化乘客1890的vr环境。在一些实施方案中，vr系统可提供允许乘客1890指定他们对要经历的vr环境的偏好的界面(例如，乘客可请求放松、正常或刺激的体验)。
[0094]
在一些实施方案中，当使用hmd 1820来体验由vr应用程序在vr控制器1810上生成的vr世界时，可使用各种传感器来监控乘客1890的不适或晕动病迹象(例如，脸色苍白、出汗、坐立不安、吞咽、打嗝、脉搏速率、呼吸速率、眼球运动等)；乘客传感器数据1830可通过有线或无线连接提供给vr控制器1810。在一些实施方案中，传感器可包括hmd1820中或其上的传感器1832，例如监控乘客眼睛或乘客面部的其他部分的内部摄像机、监控乘客身体的其他部分(例如手臂和手)的外部摄像机、检测和跟踪乘客头部运动的imu和/或监控生理反应诸如出汗、吞咽和呼吸速率的传感器。在一些实施方案中，传感器可包括附接到或佩戴在乘客身体的其他部分上的传感器1834，例如腕带、臂带或监测出汗、脉搏速率、吞咽或其他生理反应的手表和/或包括检测和跟踪乘客身体运动的imu。在一些实施方案中，传感器可包括座椅中的传感器1836，所述传感器例如检测乘客的运动和重量分布，这可例如用于确定乘客是否坐立不安。在一些实施方案中，传感器可包括车辆中捕获乘客的视频的摄像机1838，该摄像机可例如用于检测乘客的运动和反应(例如，吞咽、打嗝等)。
[0095]
如果检测到晕动病的迹象，例如，如果vr控制器1810对乘客传感器数据1830的分析表明乘客看起来烦躁不安、闭着眼睛或者频繁吞咽或打嗝，则在vr控制器1810上执行的vr应用程序可改变由该应用程序生成的虚拟环境以适应乘客并减轻晕动病。例如，应用程序可返回或保持1:1映射到显示给乘客的模拟视图中的现实生活运动和加速度。vr应用程序还可使用如上所述的一个或多个视觉和音频调节来改变呈现给乘客的虚拟体验，例如通过在用户下方显示虚拟平台、在用户前方显示引人注目的虚拟内容、在虚拟环境中显示锚固内容、减少用于提供经过乘客的光流的内容、为即将到来的车辆操纵提供视觉提示、显示虚拟轨道、将虚拟世界减少到可提供舒缓、放松的体验的低刺激、稀疏的视觉环境、提供视觉刺激以抵消光流/视觉运动后效和/或播放舒缓的音频以阻挡道路噪声。如果乘客没有表现出晕动病迹象，则vr系统可与1:1映射不同，这使得虚拟体验更具灵活性。例如，可在虚拟体验中增加提供加速感的视觉和其他提示，以使乘客感觉到他们以比车辆实际加速更快的速度加速，并且/或者可在虚拟体验中增加提供转弯感的视觉和其他提示，以使乘客感觉到他们以比车辆实际转弯更快的速度转弯。此外，基于乘客没有晕动病、偏好和/或对vr系统的输入，可能不显示或可能从环境中移除对一个或多个如前所述的舒适度和减轻晕动病的调节。
[0096]
图19示出了根据一些实施方案的基于乘客偏好和乘客传感器数据来调整vr体验以适应乘客的示例性vr应用程序。vr应用程序1912可包括但不限于调节决策模块1914、vr
呈现模块1916和音频模块1918。vr应用程序1912还可编码或访问调节指定上文参考图15至图17描述的一个或多个调节的指南1920。调节决策模块可根据乘客的偏好为乘客设置初始vr环境。例如，乘客可能容易发生晕动病，因此他们的偏好可能指定他们更喜欢平静、舒缓的虚拟体验。因此，调节决策模块可基于调节指南1920确定要为乘客设置的一个或多个调节。另选地，乘客可能不容易发生晕动病，因此他们的偏好可能指定他们更喜欢刺激的虚拟体验。还可指定其他偏好，例如音频偏好。可将初始调节设置提供给vr呈现模块1916。然后，vr呈现模块1916可根据当前的调节设置并且至少部分地基于从车辆传感器和系统获得的导航和地形数据以及车辆传感器数据生成表示适合于乘客的沉浸式vr环境的虚拟内容1940。在呈现虚拟内容时，vr呈现模块1916使vr环境与从输入确定的车辆的运动和加速度(例如，转弯、加速、停止等)同步。音频模块1918还可生成适合于当前调节设置的乘客的音频1942。
[0097]
调节决策模块1914可监控乘客以检测晕动病的迹象，例如使用从如图18所示的各种传感器获得的乘客传感器数据。如果调节决策模块1914检测到晕动病的迹象，则调节决策模块1914可基于调节指南1920确定要为乘客设置的一个或多个调节。可改变调节设置以适应乘客并减轻晕动病，并且vr呈现模块1916可根据改变的设置和调节开始生成和显示虚拟内容和音频。例如，vr呈现模块1916可返回或保持1:1映射到显示给乘客的模拟视图中的现实生活运动和加速度。vr呈现模块1916还可使用如上所述的一个或多个视觉和音频调节来改变呈现给乘客的虚拟体验，例如通过在用户下方显示虚拟平台、在用户前方显示引人注目的虚拟内容、在虚拟环境中显示锚固内容、减少用于提供经过乘客的光流的内容、为即将到来的车辆操纵提供视觉提示、显示虚拟轨道、将虚拟世界减少到可提供舒缓、放松的体验的低刺激、稀疏的视觉环境、提供视觉刺激以抵消光流/视觉运动后效和/或播放舒缓的音频以阻挡道路噪声。在一些实施方案中，如果乘客没有表现出晕动病的迹象，则调节决策模块1914可改变设置以改变1:1映射，这允许虚拟体验中具有更大的灵活性。例如，可在虚拟体验中增加提供加速感的视觉和其他提示，以使乘客感觉到他们以比车辆实际加速更快的速度加速，并且/或者可在虚拟体验中增加提供转弯感的视觉和其他提示，以使乘客感觉到他们以比车辆实际转弯更快的速度转弯。此外，基于乘客没有晕动病、偏好和/或对vr应用程序1912的输入，可能不显示或可能从虚拟环境中移除对一个或多个如前所述的舒适度和减轻晕动病的调节。
[0098]
图20是根据一些实施方案的用于基于乘客偏好和乘客传感器数据来调整vr体验以适应乘客的方法的流程图。如在2010处所示，在车辆中的vr系统的vr控制器上执行的vr应用程序可根据乘客的偏好为乘客设置初始vr环境。例如，乘客可能容易发生晕动病，因此他们的偏好可能指定他们更喜欢平静、舒缓的虚拟体验。另选地，乘客可能不容易发生晕动病，因此他们的偏好可能指定他们更喜欢刺激的虚拟体验。还可指定其他偏好，例如音频偏好。如在2020处所示，vr应用程序然后可根据当前设置并至少部分地基于来自车辆传感器和包括但不限于导航/路线数据、地形轮廓数据和车辆传感器数据的系统的输入生成表示沉浸式vr环境的虚拟内容和音频。在呈现虚拟内容时，vr应用程序使vr环境与从输入确定的车辆的运动和加速度(例如，转弯、加速、停止等)同步。如在2030处所示，vr控制器将虚拟内容和音频发送到乘客所使用的vr设备(例如，乘客佩戴的hmd)。
[0099]
如在2040处所示，vr系统可例如使用如图18所示的各种传感器监控乘客以检测晕
动病的迹象。在2050处，如果检测到晕动病，则可改变vr环境以适应乘客并减轻晕动病，并且该方法返回到元素2020以根据改变的设置和调节来生成和显示虚拟内容和音频。例如，应用程序可返回或保持1:1映射到显示给乘客的模拟视图中的现实生活运动和加速度。vr应用程序还可使用如上所述的一个或多个视觉和音频调节来改变呈现给乘客的虚拟体验，例如通过在用户下方显示虚拟平台、在用户前方显示引人注目的虚拟内容、在虚拟环境中显示锚固内容、减少用于提供经过乘客的光流的内容、为即将到来的车辆操纵提供视觉提示、显示虚拟轨道、将虚拟世界减少到可提供舒缓、放松的体验的低刺激、稀疏的视觉环境、提供视觉刺激以抵消光流/视觉运动后效和/或播放舒缓的音频以阻挡道路噪声。在2050处，如果没有检测到晕动病的迹象，则该方法返回到元素2020以根据当前设置继续生成和显示虚拟内容和音频。在一些实施方案中，如果乘客没有表现出晕动病迹象，则vr系统可与1:1映射不同，这使得虚拟体验更具灵活性。例如，可在虚拟体验中增加提供加速感的视觉和其他提示，以使乘客感觉到他们以比车辆实际加速更快的速度加速，并且/或者可在虚拟体验中增加提供转弯感的视觉和其他提示，以使乘客感觉到他们以比车辆实际转弯更快的速度转弯。此外，基于乘客没有晕动病、偏好和/或对vr系统的输入，可能不显示或可能从环境中移除对一个或多个如前所述的舒适度和减轻晕动病的调节。
[0100]
车辆中vr系统的内容
[0101]
在一些实施方案中，虚拟内容开发者可以创建可以在如本文所述的车辆中的vr系统中使用的vr内容。vr内容可以由vr系统提供商或第三方提供。例如，开发者可以创建可以在vr控制器上执行的vr应用程序，以通过车辆中的vr系统向乘客提供独特的vr体验。例如，娱乐工作室可开发vr应用程序，其允许乘客在乘坐车辆时基于工作室制成或拥有的电影或电影专营权来体验虚拟环境。vr应用程序提供的vr体验可包括可与各种行程持续时间和路线配置匹配的模块化元素或部分。vr应用程序可例如通过在线商店或站点购买并下载到vr系统。例如，在线商店可由vr系统提供商提供。可通过vr系统提供在线商店的界面，该vr系统允许用户从在线商店浏览、选择、购买和下载vr应用程序。vr系统提供商可通过在线商店接收每次购买的一部分。
[0102]
在一些实施方案中，如本文所述的vr系统可允许用户沿着一条或多条路线构建或定制虚拟环境，例如沿着频繁行进路线，所述路线随后可由用户体验，与同一车辆中的其他人共享，或提供给其他人(例如，通过在线vr环境共享网站)，其他人随后可在他们自己的车辆中体验该虚拟环境。例如，vr系统可允许用户使用手势、语音命令或对输入设备的输入与虚拟环境交互，以添加、移除或修改虚拟环境中的虚拟内容。例如，用户可沿着用户经常行进的路线的虚拟表示添加虚拟建筑物或其他结构，沿着该路线的虚拟表示丢撒虚拟种子或放置虚拟树木，或者以其他方式定制路线的虚拟表示或与路线的虚拟表示交互。当用户使用vr系统在车辆中行进路线以体验vr环境时，用户可看到他们的交互的结果，例如从他们先前丢撒的虚拟种子长大的虚拟植物、他们放置的虚拟结构或树木，等等。其他行进相同路线的人可直接从用户、网站或其他来源获取定制的vr环境，将vr环境加载到他们车辆的vr系统中，并且自己体验定制的vr环境。如果需要，定制的vr环境也可适用于其他路线并在其他路线上体验。
[0103]
自主车辆
[0104]
如前所述，如本文所述的vr系统的实施方案可例如在所有乘员均为乘客的自主或“自驾”车辆中实现。vr系统可在更安全、更小且更便宜的自主车辆中使用。车辆中的窗户本身不安全，结构上不隔音，并且增加了车辆的成本。通过提供现实环境或模拟环境的虚拟视图，vr系统可减少或消除对自主车辆中的窗户的需求，从而允许车辆设计使用更少和/或更小的窗户，或者根本不使用窗户。此外，通过vr系统提供的vr体验可以给乘客以他们实际乘坐的车辆比自主车辆的实际尺寸更大的感觉，这可以为乘客提供乘坐小型自主车辆时更舒适和更安全的体验。
[0105]
尽管上文已经描述了具体实施方案，但这些实施方案并非要限制本公开的范围，即使仅相对于特定特征描述单个实施方案的情况下也是如此。本公开中提供的特征示例意在进行例示，而非限制，除非做出不同表述。本公开的范围包括本文(明确或暗示)公开的任意特征或特征组合或其任意推广，而无论其是否减轻本文解决的任何或所有问题。因此，在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地，参考所附权利要求书，可将从属权利要求的特征与独立权利要求的特征进行组合，并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。
[0106]
在不同的实施方案中，本文所述的各种方法可在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。各种部件和操作之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其它分配，它们可落在所附权利要求的范围内。最后，呈现为示例性配置中的分立部件的结构和功能性可以被实现为组合结构或部件。这些和其它变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。
[0107]
另外，可根据以下条款描述本公开的实施方案：
[0108]
条款：一种系统，包括：
[0109]
车辆中的虚拟现实(vr)控制器，其中所述vr控制器被配置为：
[0110]
从所述车辆中的一个或多个源获得输入；
[0111]
从所述车辆中的用户设备获得显示屏输入；
[0112]
至少部分地基于来自所述车辆中的所述一个或多个源的输入，显示包括来自所述用户设备的所述显示屏输入的虚拟内容；以及
[0113]
将所述虚拟内容发送至vr设备以在3d虚拟视图中显示给所述车辆中的乘客，其中来自所述用户设备的所述显示屏输入被呈现并显示，以使所述乘客看起来所述显示屏输入处于所述车辆前方的固定距离处。
[0114]
条款2：根据条款1所述的系统，其中所述vr设备包括由所述乘客佩戴的头戴式设备(hmd)，所述头戴式设备显示所述虚拟内容以供所述乘客观看。
[0115]
条款3：根据条款1所述的系统，其中所述vr设备包括投影仪，所述投影仪将所述虚拟内容投影到所述车辆的窗户以供所述乘客观看。
[0116]
条款4：根据条款1所述的系统，其中所述虚拟内容被显示在所述车辆前方的现实世界场景的视图中，以向所述乘客提供增强的或混合的现实视图。
[0117]
条款5：根据条款1所述的系统，其中包括所述显示屏输入的所述虚拟内容表示虚
拟环境，所述虚拟环境将所述车辆前方的现实世界场景的视图替换为虚拟现实视图，其中所述虚拟现实视图包括向所述乘客指示所述车辆在所述虚拟环境中的运动的视觉提示。
[0118]
条款6：根据条款5所述的系统，其中所述vr控制器被进一步配置为：
[0119]
确定所述乘客是否容易发生晕动病或正表现出晕动病的迹象；以及
[0120]
在确定所述乘客容易发生晕动病或正表现出晕动病的迹象时，根据一个或多个调节改变所述虚拟环境以减轻晕动病。
[0121]
条款7：根据条款6所述的系统，其中所述vr控制器被配置为根据所述乘客的偏好数据或来自所述乘客的输入来确定所述乘客是否容易发生晕动病。
[0122]
条款8：根据条款6所述的系统，其中所述vr控制器被配置为根据从监控所述乘客的一个或多个传感器获得的乘客传感器数据来确定所述乘客是否正表现出晕动病的迹象。
[0123]
条款9：根据条款6所述的系统，其中所述一个或多个调节包括：
[0124]
在所述虚拟现实视图中显示所述乘客下方的地平面；
[0125]
减少指示所述车辆在所述虚拟环境中的运动的视觉提示的数量；
[0126]
减慢指示所述车辆在所述虚拟环境中的运动的所述视觉提示，使得所述虚拟环境中的运动与所述现实环境中的运动之间存在1:1的比率；
[0127]
提供即将进行的车辆操纵的视觉、听觉或触觉指示；
[0128]
减少所述虚拟现实视图中显示的所述虚拟内容，以提供稀疏的视觉环境；
[0129]
将相对于现实世界保持固定的锚固对象放置在所述虚拟环境中；
[0130]
在所述车辆停止时提供视觉刺激以抵消视觉运动后效；或者
[0131]
提供阻止现实世界噪声的音频输出。
[0132]
条款10：根据条款1所述的系统，其中所述一个或多个源包括：
[0133]
一个或多个车辆传感器，其中来自所述车辆传感器的所述输入包括来自外部车辆传感器的深度图信息、所述车辆的定位信息、来自所述车辆上的一个或多个相机的视频或来自所述车辆的惯性测量单元(imu)的所述车辆的运动和方向信息中的一个或多个；以及
[0134]
一个或多个车辆控制系统，其中所述一个或多个车辆控制系统包括油门控制系统、制动控制系统、主动悬架控制系统或转向控制系统中的一个或多个。
[0135]
条款11：根据条款1所述的系统，其中所述一个或多个源包括通过无线连接访问的所述车辆外部的源，其中来自所述外部源的输入包括世界地图数据、本地环境的3d模型、关于所述本地环境中的对象或特征物的信息、视频流或音频中的一个或多个。
[0136]
条款12：根据条款1所述的系统，其中所述一个或多个源包括所述vr设备的惯性测量单元(imu)，其中来自所述imu的输入包括所述乘客头部的运动和方向信息。
[0137]
条款13：根据条款1所述的系统，其中所述车辆为自主车辆。
[0138]
条款14：根据条款1所述的系统，其中在呈现所述虚拟内容时，所述vr控制器基于来自所述车辆中的所述一个或多个源的所述输入来同步所述虚拟内容的运动和加速度与所述车辆的运动和加速度。
[0139]
条款15：一种方法，包括：
[0140]
通过车辆中的虚拟现实(vr)系统从所述车辆中的一个或多个源获得输入；
[0141]
通过所述vr系统获得来自所述车辆中的用户设备的显示屏输入；
[0142]
通过所述vr系统，至少部分地基于来自所述车辆中的所述一个或多个源的输入，
显示包括来自所述用户设备的所述显示屏输入的虚拟内容；以及
[0143]
通过所述vr系统将3d虚拟视图中的所述虚拟内容显示给所述车辆中的乘客，其中所述乘客看起来所述显示屏输入处于所述车辆前方的固定距离处。
[0144]
条款16：根据条款15所述的方法，其中所述vr系统包括vr控制器和vr设备，其中所述vr设备为头戴式设备(hmd)或投影仪中的一种，所述头戴式设备被配置为由所述乘客佩戴并显示或投影所述虚拟内容以供所述乘客观看，所述投影仪被配置为将所述虚拟内容投影到所述车辆的窗户以供所述乘客观看。
[0145]
条款17：根据条款15所述的方法，其中所述虚拟内容被显示在所述车辆前方的现实世界场景的视图中，以向所述乘客提供增强的或混合的现实视图。
[0146]
条款18：根据条款15所述的方法，其中包括所述显示屏输入的所述虚拟内容表示虚拟环境，所述虚拟环境将所述车辆前方的现实世界场景的视图替换为虚拟现实视图，其中所述虚拟现实视图包括向所述乘客指示所述车辆在所述虚拟环境中的运动的视觉提示。
[0147]
条款19：根据条款15所述的方法，还包括：
[0148]
确定所述乘客是否容易发生晕动病或正表现出晕动病的迹象；以及
[0149]
在确定所述乘客容易发生晕动病或正表现出晕动病的迹象时，根据一个或多个视觉或音频调节改变所述虚拟环境以减轻晕动病。
[0150]
条款20：根据条款15所述的方法，其中呈现所述虚拟内容包括基于来自所述车辆中的所述一个或多个源的所述输入来同步所述虚拟内容的运动和加速度与所述车辆的运动和加速度。
技术特征：1.一种系统，包括：车辆中的虚拟现实vr控制器，其中所述vr控制器被配置为：从车辆中的一个或多个源获得输入；从所述车辆中的乘客的用户设备获得显示屏内容；至少部分地基于来自所述车辆中的所述一个或多个源的输入，呈现包括来自所述用户设备的所述显示屏内容的虚拟内容；根据所述乘客的偏好数据，根据一个或多个视觉或音频调节改变所述虚拟内容以减轻所述乘客的晕动病；将所述虚拟内容发送至vr设备以在3d虚拟视图中显示给所述车辆中的乘客，其中来自所述用户设备的所述显示屏内容被呈现并显示，以使所述乘客看起来所述显示屏内容处于所述车辆前方的固定距离处。2.根据权利要求1所述的系统，其中所述vr设备包括：由所述乘客佩戴的头戴式设备hmd，所述头戴式设备显示所述虚拟内容以供所述乘客观看；或者投影仪，所述投影仪将所述虚拟内容投影到所述车辆的窗户以供所述乘客观看。3.根据权利要求1所述的系统，其中所述用户设备包括以下中的一个或多个：笔记本电脑、移动设备、智能电话或平板电脑，并且其中所述车辆包括自主车辆。4.根据权利要求1所述的系统，其中所述虚拟内容被显示在所述车辆前方的现实世界场景的视图中，以向所述乘客提供增强的或混合的现实视图。5.根据权利要求1所述的系统，其中包括所述显示屏内容的所述虚拟内容表示虚拟环境，所述虚拟环境将所述车辆前方的现实世界场景的视图替换为虚拟现实视图，其中所述虚拟现实视图包括向所述乘客指示所述车辆在所述虚拟环境中的运动的视觉提示。6.根据权利要求5所述的系统，其中所述vr控制器被进一步配置为：确定所述乘客容易发生晕动病或正表现出晕动病的迹象；以及在确定所述乘客容易发生晕动病或正表现出晕动病的迹象时，根据一个或多个调节改变所述虚拟环境以减轻晕动病。7.根据权利要求6所述的系统，其中所述vr控制器被配置为根据所述乘客的所述偏好数据或来自所述乘客的输入来确定所述乘客容易发生晕动病。8.根据权利要求6所述的系统，其中所述vr控制器被配置为根据从监控所述乘客的一个或多个传感器获得的乘客传感器数据来确定所述乘客正表现出晕动病的迹象。9.根据权利要求6所述的系统，其中所述一个或多个调节包括：在所述虚拟现实视图中显示所述乘客下方的地平面；减少指示所述车辆在所述虚拟环境中的运动的视觉提示的数量；减慢指示所述车辆在所述虚拟环境中的运动的所述视觉提示，使得所述虚拟环境中的运动与所述现实环境中的运动之间存在1:1的比率；提供即将进行的车辆操纵的视觉、听觉或触觉指示；减少所述虚拟现实视图中显示的所述虚拟内容，以提供稀疏的视觉环境；将相对于现实世界保持固定的锚固对象放置在所述虚拟环境中；在所述车辆停止时提供视觉刺激以抵消视觉运动后效；或者
提供阻止现实世界噪声的音频输出。10.根据权利要求1所述的系统，其中所述一个或多个源包括：一个或多个车辆传感器，其中来自所述车辆传感器的所述输入包括来自外部车辆传感器的深度图信息、所述车辆的定位信息、来自所述车辆上的一个或多个相机的视频或来自所述车辆的惯性测量单元imu的所述车辆的运动和方向信息中的一个或多个；以及一个或多个车辆控制系统，其中所述一个或多个车辆控制系统包括油门控制系统、制动控制系统、主动悬架控制系统或转向控制系统中的一个或多个。11.根据权利要求1所述的系统，其中所述一个或多个源包括通过无线连接访问的所述车辆外部的源，其中来自所述外部源的输入包括世界地图数据、本地环境的3d模型、关于所述本地环境中的对象或特征物的信息、视频流或音频中的一个或多个。12.根据权利要求1所述的系统，其中所述一个或多个源包括所述vr设备的惯性测量单元imu，其中来自所述imu的输入包括所述乘客头部的运动和方向信息。13.根据权利要求1所述的系统，其中在呈现所述虚拟内容时，所述vr控制器基于来自所述车辆中的所述一个或多个源的所述输入来将所述虚拟内容的运动和加速度与所述车辆的运动和加速度进行同步。14.一种系统，包括：一个或多个处理器；以及存储器，所述存储器存储指令，所述指令当在所述一个或多个处理器上执行或跨所述一个或多个处理器执行时，使得所述一个或多个处理器：获得针对遵循在一位置处的现实环境中的路线的车辆的输入，其中所述输入包括所述现实环境的三维3d模型数据和来自所述车辆的传感器数据；基于所述现实环境中的路线选择另一位置中的路线；根据所述输入确定所述现实环境中的高度的即将到来的改变；生成用于提供所述虚拟环境的虚拟视图的虚拟内容，所述虚拟内容包括对所述另一位置中的所选择的路线的模拟，其中所述虚拟内容的运动和加速度与所述输入中指示的运动和加速度同步，并且其中所述虚拟内容包括不同的视觉提示，所述视觉提示指示高度的即将到来的改变中的相应类型的改变；提供不同的音频提示，所述音频提示指示高度的即将到来的改变中的相应类型的改变；以及将所述虚拟内容发送给显示设备。15.根据权利要求14所述的系统，还包括：虚拟现实vr控制器，所述vr控制器被配置为根据所述虚拟内容呈现帧。16.根据权利要求14所述的系统，其中所述指令能够执行以从乘客的用户设备获得所述输入的至少一部分。17.根据权利要求14所述的系统，还包括：联接到所述车辆的一个或多个传感器，所述一个或多个传感器被配置为提供所述输入。18.根据权利要求14所述的系统，其中所述存储器还包括指令，所述指令当在所述一个或多个处理器上执行或跨所述一个或多个处理器执行时，使得所述一个或多个处理器：
向一个或多个车辆系统发送一个或多个信号，所述一个或多个信号使得所述一个或多个车辆系统提供与所述虚拟内容同步的效果。19.根据权利要求18所述的系统，其中所述一个或多个车辆系统包括油门控制系统、制动控制系统、主动悬架控制系统或转向控制系统中的一个或多个。20.根据权利要求15所述的系统，其中所述视觉提示包括指示高度的即将到来的改变的方向的一个或多个方向箭头。21.一种系统，包括：控制器，所述控制器包括一个或多个处理器和存储器，所述存储器存储指令，所述指令当在所述一个或多个处理器上执行或跨所述一个或多个处理器执行时，使得所述一个或多个处理器：从车辆中的乘客的用户设备获得显示内容；提供包括来自所述用户设备的所述显示内容的虚拟内容；根据所述乘客的偏好数据，根据一个或多个视觉或音频调节改变所述虚拟内容以减轻所述乘客的晕动病；将所述虚拟内容发送至虚拟现实vr设备以在3d虚拟视图中显示给所述车辆中的乘客，其中来自所述用户设备的所述显示内容被显示，以使所述乘客看起来所述显示内容处于所述车辆前方的固定距离处。22.一种方法，包括：利用一个或多个计算设备执行：获得针对遵循在一位置处的现实环境中的路线的车辆的输入，其中所述输入包括所述现实环境的三维3d模型数据和来自所述车辆的传感器数据；基于所述现实环境中的路线选择另一位置中的路线；根据所述输入确定所述现实环境中的高度的即将到来的改变；生成用于提供所述虚拟环境的虚拟视图的虚拟内容，所述虚拟内容包括对所述另一位置中的所选择的路线的模拟，其中所述虚拟内容的运动和加速度与所述输入中指示的运动和加速度同步，并且其中所述虚拟内容包括不同的视觉提示，所述视觉提示指示高度的即将到来的改变中的相应类型的改变；提供不同的音频提示，所述音频提示指示高度的即将到来的改变中的相应类型的改变；以及将所述虚拟内容发送给显示设备。23.一种方法，包括：利用一个或多个计算设备执行：从车辆中的一个或多个源获得输入，其中所述输入包括所述车辆外部的环境的视觉提示的指示，并且其中所述环境包括其他车辆；至少部分地基于所述输入生成虚拟内容，其中所述虚拟内容包括所述其他车辆的虚拟表示，并且其中所述所述虚拟内容的运动和加速度与所述输入中指示的运动和加速度同步；以及将所述虚拟内容发送给所述车辆中的乘客的显示设备。
技术总结本公开涉及沉浸式虚拟显示。本发明公开了一种用于车辆的VR系统，所述VR系统可实施解决运动中车辆可能引起乘客晕动病的问题的方法。所述VR系统可提供将视觉提示与乘客经历的身体运动相匹配的虚拟视图。所述VR系统可通过将现实世界视图替换为虚拟环境视图来提供沉浸式VR体验。主动车辆系统和/或车辆控制系统可与所述VR系统集成以提供虚拟体验的物理效果。在确定所述乘客容易发生晕动病或正表现出晕动病迹象时，可改变所述虚拟环境以适应所述乘客。客。客。
技术研发人员：M
受保护的技术使用者：苹果公司
技术研发日：2017.09.22
技术公布日：2022/7/5
