(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210789127.0 (22)申请日 2022.07.06 (71)申请人 上海海事大学 地址 201306 上海市浦东 新区海港大道 1550号 申请人 武汉理工大 学 (72)发明人 陈信强　吴昊　杨勇生　吴兵　 孙洋　吴华锋　刘卫　鲜江峰　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 林佳纯 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/62(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于船艏向识别的船舶 图像轨迹跟踪 与预测方法 (57)摘要 本发明涉及一种基于船艏向识别的船舶图 像轨迹跟踪与预测方法， 包括获取船舶图像数据 集， 对数据集进行预处理， 获得经过预处理后的 数据集； 将预处理后的数据集输入旋转船舶检测 网络中进行训练， 得到训练好的旋转船舶检测网 络， 采集船舶航行视频， 将船舶航行视频输入到 训练好的旋转船舶检测网络中， 获取船舶检测结 果； 将船舶检测结果输入到旋转船舶跟踪网络， 对目标船舶进行跟踪， 获得目标船舶历史轨迹与 船艏向信息； 将目标船舶历史轨迹与船艏向信息 输入船舶轨迹与船艏向预测网络， 进行海上船舶 航行轨迹与船艏向预测。 权利要求书2页 说明书7页 附图3页 CN 115147594 A 2022.10.04 CN 115147594 A 1.一种基于船艏向识别的船舶图像轨 迹跟踪与预测方法， 其特 征在于， 包括： 获取船舶图像数据集， 对所述数据集进行 预处理， 获得经过预处理后的数据集； 将所述预处理后的数据集输入旋转船舶检测网络中进行训练， 得到训练好的旋转船舶 检测网络， 采集船舶航行视频， 将所述船舶航行视频输入到所述训练好的旋转船舶检测网 络中， 获取 船舶检测结果； 将所述船舶检测结果输入到旋转船舶跟踪网络， 对目标船舶进行跟踪， 获得所述目标 船舶历史轨 迹与船艏向信息； 将所述目标船舶历史轨迹与 所述船艏向信 息输入船舶轨迹与 船艏向预测网络， 进行海 上船舶航行轨 迹与船艏向预测。 2.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在 于， 对所述数据集进行 预处理， 包括： 利用8参数旋转框标注方法标注含有船艏向信息的标签数据， 并将标注好的图像与标 签进行预 处理， 使用圆形平滑标签的方式对船艏向信息进行 处理， 输出船舶标签数据； 其中 所述船舶标签数据包括标注框中心的横坐标、 标注框中心的纵坐标、 标注框的宽度、 标注框 的高度以及处 理后的船艏向信息 。 3.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在 于， 训练所述旋转船舶检测网络， 包括： 将所述预处理后的数据集输入添加有坐标注意力模块的骨干网络进行船舶特征提取， 经过特征金字塔进行特征融合， 输出第一船舶特征图； 将所述第一船舶特征图输入像素聚 合网络进行进一步船舶特征处理， 输出第二特征图， 基于自适应融合方法将所述第二特征 图进行融合获得第三船舶特征图； 将所述第三船舶特征图进行边框与旋转角度回归操作， 计算船舶的类别损失、 边框损失、 旋转角度损失以及得分置信度损失； 使用梯度下降算法来 最小化损失函数并且进行网络参数的更新， 完成对所述旋转船舶检测网络的训练。 4.根据权利要求3所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在 于， 所述坐标注意力模块通过两个一 维全局池化操作分别将垂 直和水平 方向输入的船舶特 征图像聚合 为两个独立的方向感知特 征图。 5.根据权利要求3所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在 于， 基于自适应融合方法将所述第二特 征图进行融合， 包括： 将不同尺寸的所述第二特征图进行上/下采样， 得到大小一致的新特征图， 将所述大小 一致的新特 征图与来自不同层的权 重参数相乘并相加， 得到所述第三船舶特 征图。 6.根据权利要求3所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在 于， 所述损失函数包括目标分类损失、 θ 分类损失、 边框回归损失以及置信度损失， 所述损失 函数 表达式为： 其中， 为目标边框回归损失， 和 分别为目标分类损失， θ分类损失 以及置信度回归损失。 7.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115147594 A 2于， 对所述目标 船舶进行跟踪， 包括： 通过所述旋转船舶检测网络对输入的所述船舶航行视频中的图像帧进行船舶检测， 得 到船舶的旋转框， 并为每一个所述旋转框中的船舶标注一个编码； 在其后一帧中使用同样 的方法得到所有船舶的旋转框， 把所有旋转框信息解耦为水平框信息和船艏向信息； 使用卡尔曼滤波根据 所述图像帧检测框的位置预测其后一帧的预测框， 计算所述其后 一帧的预测框与所有图像 帧检测框的水平框交并比， 基于所述交并比建立代价矩阵； 通过 匈牙利算法得到与所述预测框交并比最大的n个检测框， 计算所述n个检测框的置信度Ci； 通过旋转船舶跟踪网络过滤跟踪过程中出现的重识别问题， 选取置信度最大的旋转框为目 标跟踪框架， 完成对所述目标 船舶的跟踪。 8.根据权利要求1所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在 于， 进行所述海上 船舶航行轨 迹与船艏向预测， 包括： 获取所述目标船舶的跟踪数据， 筛选跟踪帧数小于预设阈值的轨迹、 轨迹点集中在同 一区域范围的轨迹以及连续多个预测轨迹点之 间距离大于预设阈值的异常轨迹进 行删除， 对筛选后的正常轨迹中， 相邻轨迹点之 间的距离或船艏向超过预设阈值的异常轨迹点进 行 删除， 并通过均值法补足， 得到包含船艏向的轨迹序列； 将所述轨迹序列输入到所述预测网 络中， 得到预测结果。 9.根据权利要求8所述的基于船艏向识别的船舶图像轨迹跟踪与预测方法， 其特征在 于， 得到所述预测结果， 包括： 将所述包含船艏向的轨迹序列输入到所述预测网络中， 确定预测的时间， 每隔相同时 间帧从跟踪轨迹序列中提取一个点的坐标， 获取确定长度点作为一条输入的序列作为轨迹 与船艏向预测网络的输入， 得到所述目标 船舶未来行驶轨 迹以及船艏向的预测信息 。权　利　要　求　书 2/2 页 3 CN 115147594 A 3