本公开涉及一种用于预测多个道路使用者的相应轨迹的方法。
背景技术：
1、对于自主驾驶和各种高级驾驶辅助系统(adas)，预测主交通工具周围道路使用者的未来运动是一项重要而具有挑战性的任务。为主交通工具规划安全和方便的未来轨迹在很大程度上取决于对主交通工具外部环境中的交通场景的理解以及对其动态的预测。
2、为了精确预测周围道路使用者的未来轨迹，需要考虑和建模如车道和道路结构物、交通标志等静态环境，以及另外道路使用者之间的相互作用。道路使用者之间的交互具有不同的时间范围和各种的距离，这导致了高度的复杂性。因此，道路使用者之间的复杂相互作用实际上不适合用传统方法建模。
3、m.schaefer等人的“背景感知(context-aware)场景预测网络(caspnet)”，arxiv：2201.06933v1，2022年1月18日，通过联合学习和预测主交通工具周围场景中所有道路使用者的运动，解决了预测主交通工具周围道路使用者的未来轨迹的任务。在本文中提出了一种包括卷积神经网络(cnn)和递归神经网络(rnn)的架构，该架构依赖于基于网格的输入和输出数据结构。具体而言，神经网络包括基于cnn的轨迹编码器，该轨迹编码器适用于学习空间结构中数据之间的相关性。作为基于cnn的轨迹编码器的输入，道路使用者的特性被光栅化为鸟瞰视图的二维数据结构，以便经由cnn对道路使用者之间的交互进行建模。
4、尽管根据上述文献的程序支持各种类型和数量的道路使用者，但必须使用相同的特征或特性来描述每个道路使用者的动态，即不管相应道路使用者的类型或对象类别如何。道路使用者的两种不同类型或对象类别的示例是行人和交通工具，对于它们必须使用相同的特征或特性(诸如位置、速度和类型或类别)。
5、然而，道路使用者的不同类型或对象类别可能具有其自身的特定特性，即除了位置、尺寸、速度和类型等共同特征之外。例如，“交通工具”类型具有关于制动灯的当前状态和转向信号的当前状态的特性。另一方面，“行人”类型具有其他特定特性(诸如航向方向、面向方向和手势)。
6、对于输入数据，根据上述文献的方法需要在网格地图上的公共数据表示，即对于不同类型或类别和数量的道路使用者的相同光栅化。对于这种网格地图的每个像元或像素，定义通道集合，通道集合的每一个通道预期包括每个道路使用者的相同类型的公共特性，即，用于相应道路使用者的位置、速度和类型的相同通道与网格地图的相应像素相关联。相反，对于某种类型的道路使用者来说是独特的和特定的不同特征或特性，如行人的身体和/或头部取向和手势，或者交通工具的航向角度和转向信号，不应该由根据之前的方法的光栅化网格地图的相同通道来表示。如果对例如两种类型的道路使用者的不同特性使用相同的通道，例如对行人的身体取向和交通工具的转向信号使用相同的通道，这可能对由之前的方法应用的神经网络的预测质量具有负面影响。然而，某些道路使用者的这些特定特性中的一些对于支持和/或改进道路使用者的轨迹的预测质量可能是重要的。
7、因此，需要有一种在预测道路使用者的轨迹时能够考虑不同类型道路使用者的特定属性的方法。
技术实现思路
1、本公开提供了根据独立权利要求的计算机实现方法、计算机系统、交通工具和非瞬态计算机可读介质。在从属权利要求、具体实施方式和附图中给出了实施例。
2、在一个方面，本公开涉及用于预测多个道路使用者的相应轨迹的计算机实现方法。根据该方法，针对每个道路使用者，确定由主交通工具的感知系统检测到的相应特性集合，其中该特性集合包括与道路使用者的预定义的类别相关联的特定特性。针对每个道路使用者，经由主交通工具的处理单元将特性集合转换为用于预测算法的相应输入数据集合，其中每个输入数据集合包括相同预定义数量的数据元素。通过将预测算法应用于输入数据，经由处理单元确定每个道路使用者的至少一个相应轨迹。
3、针对多个道路使用者预测的相应轨迹可以包括其他交通工具的轨迹和行人的轨迹以及主交通工具的轨迹。轨迹特征可以包括每个相应道路使用者的位置、速度和对象类别。每个道路使用者的位置和速度可以在鸟瞰视图中被提供，即通过二维坐标系中的两个相应部件被提供，二维坐标在主交通工具处的预定义位置处具有其原点。
4、例如，作为不同类型道路使用者的相应特性集合的一部分的特定特性可以包括对象类别“行人”的身体取向、头部取向和/或手势，以及对象类别“交通工具”的特性航向角度和转向信号。在经由嵌入算法进行转换之后，每个单独道路使用者的特定特性集合由相应输入数据集合的相同预定义数量的数据元素表示。换句话说，用于预测算法的输入数据集合可以被视为具有固定数量的向量分量的相应向量。虽然特性描述了相应道路使用者的实际物理属性，但是由于转换，数据元素可能是必须适合作为预测算法的输入的抽象实体。由于该变换，可以通过该方法为相应预定义道路使用者类别确定特定特性的不同数量和类型。例如，与交通工具的特性相比，可以为行人考虑更特定的特性。
5、由于该方法考虑了每类道路使用者的不同类型的特定特性，这些特定特征支持道路使用者的相应轨迹的预测。例如，行人的航向方向和/或手势可以是行人未来轨迹的附加指示符，并且可以增加预测的可靠性。另一方面，无法考虑相应类别的道路使用者的这种特定特性的已知系统无法考虑这种信息。因此，根据本公开的方法通过结合相应道路使用者所属类别的特定特性，为特定道路使用者提供正确未来轨迹的早期识别。
6、根据实施例，每个输入数据集合可以包括潜在特征集合。将每个道路使用者的相应特性集合转换为相应输入数据集合可以包括将嵌入算法应用于相应特性集合，以便生成对应潜在特征集合。潜在特征可以被分配给主交通工具的环境中的预定义感兴趣区域的动态网格地图，其中动态网格图可以包括预定义数量的像素。预测算法可以应用于分配的潜在特征，用于确定网格地图的每个像素的每一类别道路使用者的相应占用信息，并且可以通过使用每个像素的相应占用信息来确定每个道路使用者的至少一个相应轨迹。
7、术语“动态网格地图”用于潜在特征的分配的上下文中，因为这些潜在特征可以被认为是与每个道路使用者的动态相关的特性的嵌入版本。相反，可以定义和应用静态网格地图来表示主交通工具的静态背景。由于预测算法的输入数据的固定或恒定数量的数据元素，因此无论道路使用者的类别如何，也可能需要固定数量的潜在特征作为相应嵌入算法的输出。由于潜在特征的固定数量，这些潜在特征可能适合于在表示主交通工具环境的动态网格地图上进行光栅化。
8、每个像素的占用信息可以包括每个特定类别的相应占用概率和相对于例如每个像素或像元的中心在两个垂直方向上的相应偏移。可以为预定义的未来时间步长集合提供该占用信息，即存在占用地图序列，每个占用地图序列与未来时间步长中的一个未来时间步长相关联。从该占用网格序列中，可以为每个道路使用者导出至少一个相应轨迹，例如通过连接由对每类道路使用者具有最高占用概率的像元或像素以及通过这些像元或像素的相应偏移给出的点。然而，该方法可能能够为每个道路使用者预测一个以上的轨迹。
9、嵌入算法和预测算法可以是同一机器学习算法的一部分，例如公共神经网络的一部分。在这种情况下，嵌入算法可以通过针对每个类型或类别的道路使用者的相应层集合来实现。例如，类型“交通工具”的嵌入可以包括特定嵌入层，特定嵌入层可以不同于用于对象类型或类别“行人”的其他嵌入层。
10、此外通过将针对相应类别定义的单独嵌入算法应用于相应特性集合，可以针对每个类别的道路使用者分别执行将特性集合转换为相应输入数据集合。例如，这种特定嵌入算法可以包括针对相应对象类别的神经网络的特定层集合。在针对特定层的神经网络训练期间，可以确定不同的参数集合。因此，考虑到相应特定特性，道路使用者的每个对象类别可以被单独嵌入。当执行该方法时，这种独立的嵌入改进了整个机器学习算法的可靠性。
11、另外，对于不同类别的道路使用者，特定特性的数量和类型可以不同。这可以增加该方法的灵活性。
12、根据另一实施例，应用预测算法可以包括：对包括分配的潜在特征的输入数据集合进行编码，经由主交通工具的感知系统和/或预定义地图确定静态环境数据，对静态环境数据进行编码，融合输入数据的编码集合和编码的静态环境数据以获得融合的编码特征，以及经由处理单元对融合的编码特征进行解码以确定每一类别的道路使用者和网格地图的每个像素的相应占用信息。
13、例如，联合机器学习算法可以包括嵌入算法和预测算法，并且可以经由主交通工具的处理单元来执行，用于将道路使用者的特性集合转换为相应输入数据集合，用于对输入数据集合和静态环境数据进行编码，以及用于对融合的编码特征进行解码。通过使用联合机器学习算法，可以减少该方法的计算工作量。
14、此外，可以针对转换、编码、融合和解码步骤执行嵌入算法和预测算法的联合训练。由于联合训练，可以减少执行该方法的计算工作量，并且可以增加该方法的可靠性。
15、根据进一步实施例，静态环境数据由静态网格地图提供，该静态网格地图包括用于感兴趣区域的第一光栅化，并且潜在特性可以通过使用第二光栅化被分配到动态网格地图，其中第二光栅化可以独立于第一光栅化。也就是说，可以对感兴趣区域执行第一光栅化，并且然后可以生成一个网格图，即静态网格图，用于表示主交通工具的环境中场景的静态背景。类似地，可以在相同或不同的感兴趣区域上执行第二光栅化，并且可以生成第二网格地图，即动态网格地图，用于表示场景的动态。第一和第二光栅化可以不同，因为可以应用不同的参数。这可以在考虑例如以非常不同的速度移动的不同类型或类别的道路使用者时增强灵活性。
16、相应道路使用者的位置可以由主交通工具的感知系统确定，并且将潜在特征分配给网格地图可以依赖于相应道路使用者的位置。该位置可以在两个维度上提供，即在相对于主交通工具的鸟瞰视图中。除了针对该道路使用者的相应特性集之外，还可以确定相应道路使用者的位置。因此，确定道路使用者的位置可以支持分配步骤，并提供该方法的输出所依赖的必要信息。
17、相应道路使用者的位置可以由相应道路使用者占用的网格地图的像素和相对于相应像素内的预定位置在两个垂直方向上的相应偏移来表示。例如，如果预先定义了网格的分辨率，则像素可以包括唯一地定义相应像素在网格内的位置的索引。另外，每个像素可以包括多个通道，多个通道表示被转换为潜在特征的相应道路使用者的特性。例如，相应像素内的预定位置可以包括表示鸟瞰视图中的相应像素的正方形或矩形的角或中间。
18、潜在特征可以与与每个道路使用者的相应像素内的相应道路使用者的位置相关联的偏移级联。如果通过转换步骤为每个道路使用者输出n个潜在特征，则在潜在特征的光栅化之后，网格地图的每个像素可以包括n+2个通道，因为附加地考虑了两个偏移。该级联的结果，即每个像素n+2个通道的内容，可以作为预测算法的输入数据被提供。
19、该特性集合可以进一步包括为所有道路使用者定义的共同特性。例如，公共特性可以包括每个道路使用者的位置和速度。也就是说，根据本公开的方法还使用已知轨迹预测系统的可靠特性。
20、根据进一步实施例，道路使用者的预定义类别可以包括类别交通工具和类别行人，与类别交通工具相关联的特定特性可以包括转向信号和航向角度，并且与类别行人相关联的特定特性可以包括身体取向和头部取向。通过考虑每一类别的这些特定特性，可以改进轨迹预测的可靠性。
21、在另一方面，本公开涉及计算机系统，所述计算机系统被配置成用于执行本文描述的计算机实现方法的若干或所有步骤。
22、该计算机系统可以包括处理单元、至少一个存储单元和至少一个非瞬态数据存储器。非瞬态数据存储和/或存储器单元可以包括用于指示计算机执行本文描述的计算机实现方法的若干或所有步骤或方面的计算机程序。
23、如本文所使用的，像处理单元和模块之类的术语可以指、是专用集成电路(asic)、电子电路、组合逻辑电路、现场可编程门阵列(fpga)、执行代码的处理器(共享的、专用的或组的)、提供所述功能的其他合适的组件，或者上述一些或全部的组合的一部分，或者包括专用集成电路(asic)、电子电路、组合逻辑电路、现场可编程门阵列(fpga)、执行代码的处理器(共享的、专用的或组的)、提供所述功能的其他合适的组件，或者上述一些或全部的组合，诸如在片上系统中。处理单元可以包括存储由处理器执行的代码的存储器(共享的、专用的或组的)。
24、该计算机系统可以附加地被配置成用于接收由主交通工具的感知系统和/或由预定地图提供的静态环境数据，并将静态环境数据包括在道路使用者的相应轨迹的预测中。
25、根据实施例，计算机系统可以进一步包括神经网络，该神经网络可以包括针对每个类别的道路使用者的单独嵌入层，以便将针对相应类别的道路使用者的特性集合分别转换为针对每个相应类别的道路使用者的潜在特征。换句话说，每个预定义类别的道路使用者可以包括单独的嵌入层集合，用于将相应类别的道路使用者的特性转换为潜在特征。因此，针对相应类别的道路使用者的特性集的转换以独特的方式执行。例如，相同的转换参数可以用于相应的类别，即用于嵌入的每个层。
26、此外，神经网络可以包括预测网络，该预测网络可以在计算机实现方法的上下文中构成上述预测算法。因此，由各个嵌入层为道路使用者的每个相应类别提供的潜在特征可以用作预测网络的输入。因此，可以经由预测网络将预测算法应用于分配的潜在特征，用于确定针对每一类别道路使用者和针对网格地图的每个像素的相应占用信息，以及预测网络还可以通过使用每个像素的相应占用信息来确定对每个道路使用者的至少一个相应轨迹的预测。
27、在另一方面，本公开涉及一种交通工具，该交通工具包括如本文所述的感知系统和计算机系统。
28、根据实施例，交通工具可以进一步包括被配置成定义交通工具的实际轨迹的控制系统。计算机系统可以被配置成用于将每个道路使用者的至少一个相应轨迹传递到控制系统，以便使控制系统能够在定义交通工具的实际轨迹时结合每个道路使用者的至少一个相应轨迹。
29、在另一方面，本公开涉及一种非瞬态计算机可读介质，该非瞬态计算机可读介质包括用于执行本文描述的计算机实现方法的若干或所有步骤或方面的指令。计算机可读介质可以被配置为：光学介质，诸如光盘(cd)或数字通用盘(dvd)；磁介质，诸如硬盘驱动器(hdd)；固态硬盘(ssd)；只读存储器(rom)；闪存；或者类似的。此外，计算机可读介质可以被配置为经由数据连接(诸如互联网连接)可访问的数据存储器。计算机可读介质可以例如是在线数据存储库或云存储器。
30、本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现的方法的若干或所有步骤或方面。
1.一种用于预测多个道路使用者(130)的相应轨迹(520、522、524)的计算机实现方法，
2.如权利要求1所述的方法，其特征在于：
3.如权利要求2所述的方法，其特征在于
4.如权利要求1至3中任一项所述的方法，其特征在于：
5.如权利要求1所述的方法，其特征在于：
6.如权利要求5所述的方法，其特征在于
7.如权利要求5所述的方法，其特征在于
8.如权利要求1至3中任一项所述的方法，其特征在于
9.如权利要求8所述的方法，其特征在于
10.如权利要求9所述的方法，其特征在于
11.一种计算机系统(800)，所述计算机系统(800)被配置成用于：
12.如权利要求11所述的计算机系统，
13.一种交通工具(100)，所述交通工具(100)包括感知(110)系统和根据权利要求11或12所述的计算机系统(800)。
14.如权利要求13所述的交通工具(100)，
15.一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包括用于执行如权利要求1至10中至少一项所述的计算机实现方法的指令。
