(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741506.2 (22)申请日 2022.06.28 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 孔令悦　孙长银　王远大　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 蒋昱 (51)Int.Cl. G06V 20/58(2022.01) G06T 7/246(2017.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于拓扑图结构和深度自注意力网络的行 人轨迹预测方法 (57)摘要 基于拓扑图结构和深度自注意力网络的行 人轨迹预测方法， 利用图注意力网络和基于拓扑 图的深度自注意力网络提取分别行人运动轨迹 中的局部和全局空间交互特征， 随后利用原始深 度自注意力网络提取时间序列特征。 为了模拟行 人运动轨迹的固有不确定性和多模态特性， 本发 明通过在全连接网络解码器中引入高斯噪声的 方式来拓展行人运动轨迹的探索空间。 为了进一 步提高轨迹探索空间及平滑性， 将 轨迹送入轨迹 矫正模块进行矫正。 其采用的图神经网络和基于 图的深度自注意力网络相较于其他方法更能充 分关注到 行人运动轨迹中的各种空间交互模式， 如并行， 潜在避障等。 相比于其他行人轨迹预测 方法， 本发 明的社会性交互特征提取能力和多模 态探索能力更加突出有效。 权利要求书2页 说明书6页 附图3页 CN 115082896 A 2022.09.20 CN 115082896 A 1.基于拓扑图结构和深度自注意力网络的行人轨迹预测方法， 其特征在于， 包括以下 步骤： 步骤一、 对数据进行预处理， 以满足神经网络对输入数据的要求， 采用留一交叉验证法 对模型参数进行训练和 测试； 步骤二、 在获得步骤一中行人轨迹原始数据后， 利用全连接网络将数据嵌入高维空间， 并构造拓扑图结构以满足空间交互特征编码器的输入要求， 为了充分提取空间交互特征， 将高维数据送入空间交互特征编码器中， 得到具有空间交互特征 的高维数据， 将两网络输 出数据利用全连接网络拼接， 使其维度与原 始高维数据保持一 致； 步骤三、 将步骤二得到的具有空间交互特征的高维数据和原始高维数据拼接， 送入时 序特征编码器中以提取时间序列特 征； 采用两种自注意力 机制分别提取行人轨迹间的全局和局部空间交互信 息， 充分发掘行 人之间的交互信息和行为模式， 其中， 图注意力网络采用基于邻居相对距离相关参数 的 注意力机制： 其中(xi， yi)为行人i的二维空间位置坐标点， 为全连接网络嵌入 函数， W为网络矩阵参 数， 为行人i在时间点t的状态值。 这部分注意力主要强调局部邻居间的相对距离对运动 轨迹影响， 而基于图的深度自注意力网络采用自注意力机制以强调全局关系的对运动轨迹 影响； 步骤四、 为了模拟行人运动轨迹的固有不确定性和多模态特性， 将高斯采样噪声引入 步骤三得到的同时具有空间交互特征和时间序列特征的高维数据， 随后将数据送入全连接 神经网络解码器中得到预测的行 人轨迹序列； 步骤五、 将结果送入轨 迹矫正模块以提高路径 平滑度和连续 性。 2.如权利要求1所述的基于拓扑图结构和深度自注意力网络的行人轨迹预测方法， 其 特征在于： 所述步骤二中空间交互特征编 码器所述高维数据包含图注意力网络和基于图的 深度自注意力网络 。 3.如权利要求1所述的基于拓扑图结构和深度自注意力网络的行人轨迹预测方法， 其 特征在于： 所述时序特 征编码器包 含深度自注意力网络 。 4.如权利要求1所述的基于拓扑图结构和深度自注意力网络的行人轨迹预测方法， 其 特征在于： 所述步骤四中， 通过在数据中引入高斯采样噪声的方式模拟行人运动轨迹中的 固有不确定性和多模态特性， 并拓展行 人轨迹的探索空间。 5.如权利要求1所述的基于拓扑图结构和深度自注意力网络的行人轨迹预测方法， 其 特征在于： 所述步骤五中采用曲线拟合和二分类网络进一步扩展网络探索空间， 增强曲线 连续性， 其中曲率S计算公式为： 权　利　要　求　书 1/2 页 2 CN 115082896 A 2其中， 最终点 坐标为(x1， y1)， 候选点 坐标为(x2， y2)， n为拓扑图中的邻居数。权　利　要　求　书 2/2 页 3 CN 115082896 A 3