(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210866564.8 (22)申请日 2022.07.22 (71)申请人 上海西井信息科技有限公司 地址 200050 上海市长 宁区江苏路398号 503-3室 (72)发明人 谭黎敏　赵钊　崔卫东　 (74)专利代理 机构 上海隆天律师事务所 31282 专利代理师 夏彬 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G01S 17/89(2020.01) G01S 17/86(2020.01) (54)发明名称 航路点位置预测方法、 系统、 设备及存储介 质 (57)摘要 本发明提供了一种航路点位置预测方法、 系 统、 设备及存储介质， 该方法包括： 获取摄像机采 集的RGB图像和激光雷达采集的点云数据； 将所 述点云数据处理得到预设图像尺 寸的点云图像； 将所述RGB图像和所述点 云图像输入特征提取网 络的第一特征提取分支和第二特征提取分支， 所 述第一特征提取分支和所述第二特征提取分支 之间设置有至少一个transformer模块； 将所述 特征提取网络输出的特征数据输入位置预测网 络， 获取所述位置预测 网络输出的航路点信息。 本发明使用tran sformer的自注意力机制对融合 图像和点云的生成的特征进行全局融合， 并通过 位置预测模块预测航路点位置， 提高位置预测的 准确性。 权利要求书2页 说明书9页 附图7页 CN 115249266 A 2022.10.28 CN 115249266 A 1.一种航路点 位置预测方法， 其特 征在于， 包括如下步骤： 获取摄像机采集的RGB图像和激光雷达采集的点云数据； 将所述点云数据处 理得到预设图像尺寸的点云图像； 将所述RGB图像和所述点云图像输入特征提取网络的第 一特征提取分支和第 二特征提 取分支， 所述第一特征提取分支和所述第二特征提取分支之间设置有至少一个 transformer模块； 将所述特征提取网络输出的特征数据输入位置预测网络， 获取所述位置预测网络输出 的航路点信息 。 2.根据权利要求1所述的航路点位置预测方法， 其特征在于， 将所述点云数据处理得到 预设尺寸的点云图像， 包括如下步骤： 根据预设图像尺寸对点云空间划分网格； 对所有点云数据按照点云高度划分为两类： 第一类点云的高度大于预设高度， 第二类 点云的高度小于或等于预设高度； 对于第一类点云， 分别统计各个网格 中的点云数量， 作为对应位置的特征值， 生成第一 通道点云图像； 对于第二类点云， 分别统计各个网格 中的点云数据， 作为对应位置的特征值， 生成第二 通道点云图像； 将所述第一通道点云图像和所述第二通道点云图像合并得到预设图像尺寸的点云图 像。 3.根据权利要求1所述的航路点位置预测方法， 其特征在于， 所述第 一特征提取分支和 所述第二特征提取分支分别包括多个依次串联的处理节点， 且所述第一特征提取分支和所 述第二特 征提取分支的对应处 理节点的输出 特征图具有相同尺度。 4.根据权利要求3所述的航路点位置预测方法， 其特征在于， 所述特征提取网络中， 各 个所述transformer模块获取第一特征提取分支的一处理节 点的输出特征和第二特征提取 分支的一对应处理节点的输出特征， 进行编码融合而得到融合特征， 将所述融合特征输入 第一特征提取分支的下一处 理节点和所述第二特 征提取分支的下一处 理节点。 5.根据权利要求4所述的航路点位置预测方法， 其特征在于， 除第一个处理节点之外， 所述第一特征提取分支的每个处理节点的输入端和所述第二特征提取分支的每个处理节 点的对应处 理节点的输入端之间均设置有一所述t ransformer模块。 6.根据权利要求5所述的航路点位置预测方法， 其特征在于， 所述特征提取网络中， 各 个所述transformer模块的输入数据还 包括位置编码数据。 7.根据权利要求5或6所述的航路点位置预测方法， 其特征在于， 所述特征提取网络 中， 各个所述t ransformer模块的输入数据还 包括速度编码数据。 8.根据权利要求7所述的航路点位置预测方法， 其特征在于， 所述transformer模块将 速度标量进行线性映射， 得到预设长度的特 征向量， 作为所述速度编码数据。 9.根据权利要求1所述的航路点位置预测方法， 其特征在于， 所述第 一特征提取分支和 所述第二特 征提取分支的各个处 理节点分别通过平均池化的方式提取 特征图。 10.根据权利要求1所述的航路点位置预测方法， 其特征在于， 所述第一特征提取分支 的输出特征数据和所述第二特征提取分支的输出特征数据通过全连接层叠加后输入所述权　利　要　求　书 1/2 页 2 CN 115249266 A 2位置预测网络 。 11.根据权利要求1所述的航路点 位置预测方法， 其特 征在于， 还 包括如下步骤： 采集样本RGB图像和样本点云数据； 将所述样本点云数据处 理得到预设图像尺寸的样本点云图像； 将所述样本RGB图像和所述样本点云图像输入特 征提取网络， 提取样本特 征数据； 将所述特征提取网络输出的样本特征数据输入位置预测网络， 获取所述位置预测网络 输出的预测航路点信息； 基于所述预测航路点信 息和标记航路点信 息构建损失函数， 迭代训练所述特征提取网 络和所述 位置预测网络 。 12.根据权利要求1所述的航路点位置预测方法， 其特征在于， 所述位置预测网络包括 LSTM长短期记 忆人工神经网络 。 13.一种航路点位置预测系统， 其特征在于， 用于实现权利要求1至12中任一项所述的 航路点位置预测方法， 所述系统包括： 数据采集模块， 用于获取摄 像机采集的RGB图像和激光雷达采集的点云数据； 点云处理模块， 用于将所述 点云数据处 理得到预设图像尺寸的点云图像； 特征提取模块， 用于将所述RGB图像和所述点云图像输入特征提取网络的第一特征提 取分支和 第二特征提取分支， 所述第一特征提取分支和所述第二特征提取分支之 间设置有 至少一个t ransformer模块； 位置预测模块， 用于将所述特征提取网络输出的特征数据输入位置预测网络， 获取所 述位置预测网络 输出的航路点信息 。 14.一种航路点 位置预测设备， 其特 征在于， 包括： 处理器； 存储器， 其中存 储有所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1至12任一项所述 的航路点 位置预测方法的步骤。 15.一种计算机可读存储介质， 用于存储程序， 其特征在于， 所述程序被处理器执行时 实现权利要求1至12中任一项所述的航路点 位置预测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115249266 A 3