(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741040.6 (22)申请日 2022.06.28 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区建新 东路260号 (72)发明人 张忠旭　林仲涛　杨东方　张鸿杰　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 张先芸 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于图神经网络的车辆未来轨迹预测 方法 (57)摘要 本发明公开了一种基于图神经网络的车辆 未来轨迹预测方法， 包括如下步骤： 步骤1： 数据 采集： 步骤2： 制作训练数据： 步骤3： 神经网络搭 建： 步骤4： 进行模型训练： 步骤5： 将测试集输入 训练完成的图神经网络模型， 得到轨迹预测的结 果。 本发明所述方法是基于图神经网络(GNN)的 多模态轨迹预测算法， 道路图和待预测车辆的时 间序列会输入深度学习模型， 输出预测轨迹； 模 型输出的是多条轨迹及其对应的置信概率， 从而 避免模型为了降低损失函数值而输出多条轨迹 的均值的行为(模式崩塌)； 当神经网络训练好之 后， 在模型见到训练数据中没有存在过的实时路 况和交通参与者的状态时， 模型会基于已有经验 对新数据作出 预测。 权利要求书2页 说明书5页 CN 115147790 A 2022.10.04 CN 115147790 A 1.一种基于图神经网络的车辆未来轨 迹预测方法， 其特 征在于， 包括如下步骤： 步骤1： 数据采集： 获取交通参与者、 周边交通参与者的视觉感知信息、 传感定位信息以 及高精地图信息， 并对获取的信息进行处 理； 步骤2： 制作训练数据： 根据传感定位信息和高精地图构建道路图， 然后构建周边交通 参与者和自车轨 迹的时间序列， 生成真值未来轨 迹和多模态轨 迹； 步骤3： 神经网络搭建： 基于自车、 周边交通参与者的时间序列， 以及道路图中包含的每 个节点中的空间序列， 使用循环神经网络LSTM进行编码， 并用LSTM中的隐向量来表征整个 序列特征； 步骤4： 进行模型训练： 构建关于多模态分类和元素偏移量准确性的负对数似然损失函 数： ； 式中， M表示模态数量、 H表示预测的时间步数， N表示二维高斯分布、 s表示真实轨迹点、 a表示静态轨迹anchor、 μ表示高斯分布均值、 Σ表示二维高斯分布的协方差矩阵、 x表示输 入样本、 θ表示网络参数； 神经网络模型通过梯度反向传播优化模型参数， 使损失函数逐步 下降、 性能指标 逐步提升； 步骤5： 将测试集输入训练完成的图神经网络模型， 得到 轨迹预测的结果。 2.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 在步骤 1中， 信息处 理包括如下步骤： 首先， 通过视觉传感器采集周边交通参与者的实时信息， 并将实时信息分割成序列信 息； 其次， 根据自车在 全局坐标系下的定位和航向， 以及周边交通参与者在自车坐标系下的 定位， 将周边交通参与者的坐标映射至全局坐标系； 最后， 生成交通参与者以帧为单位的数 据片段。 3.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 在步骤 2中， 所述道路图由节点和边组成， 节点通过离散化的车道中心线和车道边界线每隔一定距 离采样获得， 边由节点之间的空间拓扑关系获得。 4.根据权利要求3所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 每个节 点包含一定距离的离 散化点空间序列， 每 个离散化点包括该点的标志位信息 。 5.根据权利要求3所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 所述边 包括前驱边， 后继边， 左换道边， 右换道边。 6.根据权利要求3所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 在步骤 2中， 构建周边交通 参与者和自车轨 迹的时间序列包括如下步骤： 在过去设定时间内， 对采集到的数据帧进行滑窗采样， 生成间隔时间为设定值的历史 轨迹点序列； 所述轨迹点包括该交通参与者的位置、 航向、 速度、 加速度、 转向率、 是否静止 标志位； 其中， 所述 位置和航向都位于待预测交通 参与者的自车坐标系下。 7.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 在步骤 2中， 所述真值未来轨 迹通过如下步骤生成： 在未来设定时间内， 对采集到的数据帧进行滑窗采样， 生成间隔时间为设定值的未来权　利　要　求　书 1/2 页 2 CN 115147790 A 2轨迹点序列； 所述轨迹点包括该交通参与者的位置、 航向、 速度、 加速度、 转向率、 是否静止 标志位； 其中， 所述 位置和航向都位于待预测交通 参与者的自车坐标系下。 8.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 在步骤 2中， 所述多模态轨 迹通过如下 方法获得： 对一定数量的真实轨 迹进行聚类、 剪枝， 获得真实多模态轨 迹。 9.根据权利要求1所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 在步骤 3中， 将经过LSTM编码后的交通参与者特征向量和道路图节点的特征向量一起输入多头注 意力层； 经过多头注意力 层处理后， 道路图同时包含道路信息和交通参与者信息， 采用图神 经网络对道路图进行 特征提取； 通过两个全连接层输出 预测向量。 10.根据权利要求9所述基于图神经网络的车辆未来轨迹预测方法， 其特征在于， 两个 全连接层输出维度为M*(5*H+1)的预测向量， 其中M表 示考虑输出M个候选多模态， 每条轨迹 对应未来的H个预测点， +1表示对M个候选多模态的分类概率， 5表 示对多模态里每个轨迹点 网络学习获得的元 素偏移量的参数。权　利　要　求　书 2/2 页 3 CN 115147790 A 3