(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210695491.0 (22)申请日 2022.06.20 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 刘期烈　邹建宏　方阳　刘倩　 崔一辉　孙开伟　李贝　吕明　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王海军 (51)Int.Cl. G06Q 10/04(2012.01) G06V 20/13(2022.01) G06V 20/56(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G01C 21/26(2006.01) G01S 17/931(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于时空金字塔的自动驾驶轨迹预测 方法 (57)摘要 本发明涉及轨迹预测技术领域， 尤其是涉及 一种基于时空金字塔的自动驾驶轨迹预测方法, 包括对自动驾驶车辆所载传感器收集的雷达点 云数据进行预处理， 得到BEV图； 提取自动驾驶车 辆行驶道路的卫星 图像， 获取局部路径图； 构建 基于时空金字塔transformer的神经网络模型； 将BEV图与局部路径图进行整合， 将整合结果输 入到神经网络模 型进行处理， 得到自动驾驶车辆 的轨迹与交通参与者的分类结果； 本发明在时空 金字塔网络模型的基础上添加Transformer机 制， 利用Transformer机制的简单性使空间交互 和上下文信息可以很容易地合并到输入嵌入中， 而不增加模 型的复杂性， 并且提升模 型的预测精 度。 权利要求书2页 说明书8页 附图3页 CN 115049130 A 2022.09.13 CN 115049130 A 1.一种基于时空金字塔的自动驾驶轨 迹预测方法， 其特 征在于， 包括以下步骤： S1.对自动驾驶车辆所 载传感器收集的雷达点云数据进行 预处理， 得到BEV图； S2.提取自动驾驶车辆行驶道路的卫星图像， 获取局部路径图； S3.构建基于时空金字塔t ransformer的神经网络模型； S4.将BEV图与局部路径图进行整合， 将整合结果输入到神经网络模型进行处理， 得到 自动驾驶车辆的轨 迹与交通 参与者的分类结果。 2.根据权利要求1所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 将雷达点云数据量化为规则体素并形成三维体素格， 采用二进制状态表示每个体素格的占 用情况， 将三维体素格的高度维数对应于二维伪图像的图像通道， 从而将三维的雷达点云 数据转换为 二维伪图像， 即所需的BEV图。 3.根据权利要求1所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 步骤S2获取局部路径图的过程 为： S11.获取自动驾驶车辆行驶道路对应的谷歌卫星图像， 连接谷歌卫星图像 中的道路交 叉口点与急转弯点构造稀疏全局图； S12.在稀疏全局图中的每条边上应用线性插值创建稠密的局部路径图； S13.将稠密的局部路径图投影到具有固定宽度的虚拟路径的激光雷达BEV图上， 将接 收投影后的激光雷达BEV图转换为 二进制图像得到局部路径图。 4.根据权利要求1所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 通过CNN网络对BEV图与局部路径图进行整合， 得到语义分割图像的过程 为： S21.将鸟瞰图与局部路径图输入到CNN网络的卷积层学习深层抽象特征， 其中局部路 径图被用作地 面真实值； S22.将深层抽象特 征进行归一 化处理， 得到归一 化特征； S23.通过ReLU激活函数对 归一化特征进行非线性变换； S24.通过最大池化对非线性变换后的归一 化特征进行降采样， 提取区域显著性特 征； S25.判断是否得到深层次语义特征， 若是， 则执行步骤S26， 若不是， 则将步骤S21中的 输入替换为 步骤24提取的区域显著性特 征， 返回步骤S21； S26.利用双线性插值对深层次语义特征进行上采样； 上采样后接入一个分类层识别像 素点， 识别完成后输出语义分割图像。 5.根据权利要求1所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 将鸟瞰图与局部路径图的深层抽象特 征进行归一 化处理表示为： 其中， c表示输入特征， μ是c的均值， σ2是c的方差， γ 是可学习的缩 放因子， β 是可学习的 平移因子。 6.根据权利要求1所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 采用神经网络模型处理BEV图与局部路径图整合得到的语义分割图像， 得到自动驾驶车辆 的轨迹与交通 参与者的分类结果的过程包括： S31.采用第 一组合块处理语义分割图像得到第 一时空特征图， 采用第 二组合块处理第 一时空特征图得到第二时空特征图， 采用第三组合块处理第二时空特征图得到第三时空特权　利　要　求　书 1/2 页 2 CN 115049130 A 2征图， 采用第四组合 块处理第三时空特 征图得到第四 时空特征图； S32.将第四时空特征图分别输入到Transformer路径点特征编码器和Transformer路 径点位置编码器， 输出对应的路径点嵌入和路径点 位置嵌入； S33.将路径点嵌入和路径点 位置嵌入输入Transformer编码器； S34.将Transfor mer编码器的输出和路径点位置嵌入输入Trans former解码器， 输出有 序的路径点嵌入； S35.将反卷积后的第四时空特征图与第三 时空特征图融合得到第 一融合特征图， 将第 一融合特征图送入第一特征解码 器， 将第一特征解码 器的输出反卷积后与第二时空特征图 融合得到第二融合特征图， 将第二融合特征图送入第二特征解码器， 将第二特征解码器的 输出反卷积后与第一时空特征图融合得到第三融合特征图， 将第三融合特征图送入第三特 征解码器， 将第三特征解码器的输出反卷积后与语义分割图像融合得到第四融合特征图， 将第四融合特 征图送入第四特 征解码器； S36.通过插值法将第四特征解码器的输出与有序的路径点嵌入结合， 得到自动驾驶车 辆的轨迹与交通 参与者的分类结果。 7.根据权利要求6所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 步骤S32中采用Transformer路径点特 征编码器得到路径点嵌入的过程 为： S101.将第四时空特征图输入Transformer路径点特征编码器中的第一卷积层， 得到第 一特征图； S102.将第四时空特征图输入Transformer路径点特征编码器中的第二卷积层， 得到道 路分割掩码； S103.将道路分割掩码输入Transformer路径点特征编码器中的第三卷积层， 得到第二 特征图； S104.采用对应元 素相加法， 将第一特 征图与第二特 征图相加得到路径点嵌入。 8.根据权利要求6所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 步骤S32中采用Transformer路径点 位置特征编码器得到路径点 位置嵌入的过程 为： S201.将第四时空特征图输入Transformer路径点位置特征编码器中的第一卷积层， 将 其输出送入softmax层得到路径点热图； S202.将路径点热图输入Transformer路径点位置特征编码器中的第二卷积层， 得到路 径点位置嵌入。 9.根据权利要求6所述的一种基于时空金字塔的自动驾驶轨迹预测方法， 其特征在于， 步骤S31中的每一个组合块结构相同， 包括一个时空卷积层和一个时间池化层， 时空卷积层 以分层方式沿空间维度和时间维度来提取特征， 在空间维度， 以2的比例步长来计算不同尺 度上的特征图， 得到不同尺度的空间特征； 在时间维度， 每次时间卷积后以1/2的比例逐步 降低时间分辨 率， 得到不同尺度的时间特 征。权　利　要　求　书 2/2 页 3 CN 115049130 A 3