(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211014437.1 (22)申请日 2022.08.23 (71)申请人 中国航空油料集团有限公司 地址 101318 北京市顺 义区天竺空港 工业 区A区天柱路28号 申请人 广州中科智巡科技有限公司 (72)发明人 黄腾飞　张安瑜　陈耀　邓志强　 汤坚　范亮　劳健华　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 陈蕾 (51)Int.Cl. G06V 20/17(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/42(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G08B 21/18(2006.01) (54)发明名称 航油管线 无人化巡视方法、 装置和航油安全 运维系统 (57)摘要 本申请提供一种航油管线无人化巡视方法、 装置和航油安全运维系统。 其中， 该航油管线无 人化巡视方法， 包括： 获取飞行器对航油成品油 管线进行巡航的巡航图像； 将所述巡航图像输入 航油成品油管线的巡航场景检测模 型， 以输出所 述航油成品油管线被巡航的场景信息是否包含 造成所述航油成 品油管线外破的预设场景信息， 所述巡航场景检测模型是样本集训练得到的， 所 述样本集包括所述预设场景信息； 在所述航油成 品油管线被巡航的场景信息包含所述预设场景 信息的情况下， 生成报警信息； 向航油安全运维 系统中的中心服务器发送所述报警信息。 如此， 维护成本低以及减少巡 视人员的工作量。 权利要求书3页 说明书15页 附图10页 CN 115457411 A 2022.12.09 CN 115457411 A 1.一种航油管线无 人化巡视方法， 其特 征在于， 该航油管线无 人化巡视方法包括： 获取飞行器对航油成品油管线 进行巡航的巡航图像； 将所述巡航图像输入航油成品油管线的巡航场景检测模型， 以输出所述航油成品油管 线被巡航的场景信息是否包含造成所述航油成品油管线外破的预设场景信息， 所述巡航场 景检测模型 是样本集训练得到的， 所述样本集包括所述预设场景信息； 在所述航油成品油管线被巡航的场景信 息包含所述预设场景信 息的情况下， 生成报 警 信息； 向航油安全运维系统中的中心服 务器发送所述报警信息 。 2.如权利要求1所述的航油管线无人化巡视方法， 其特征在于， 所述预设场景信 息中的 检测对象的类别包括第一场景信息中的烟火、 第二场景信息中的土石方工程及第三场景信 息中的施工 机械； 采用如下 方式， 训练所述巡航场景检测模型： 获取原始图像样本集， 其中， 所述原始图像样本集包含带有造成所述航油成品油 管线 外破的预设场景信息； 清洗所述原 始图像样本集的干扰数据， 得到清洗图像样本集； 对所述清洗图像样本集中的所述第 一场景信 息、 所述第 二场景信 息及所述第 三场景信 息， 以及所述预设场景信息在所述清洗图像样本集中的位置进行标记， 得到标记后的图像 样本集； 根据所述标记后的图像样本集， 确定训练样本集， 所述训练样本集包含多个标记后的 第一图像样本以及各 标记后的第一图像样本的预设场景信息； 使用所述多个标记后的第一图像样本， 得到已训练的巡航场景检测模型。 3.如权利要求2所述的航油管线无人化巡视方法， 其特征在于， 所述将所述巡航图像输 入航油成品油管线的巡航场景检测模型， 以输出所述航油成品油管线被巡航的场景信息是 否是造成所述 航油成品油管线外破的预设场景信息， 包括： 将所述巡航图像输入航油成品油管线的巡航场景检测模型； 通过所述巡航场景检测模型将所述巡航图像划分为多个网格， 并将所述多个网格， 按 照预定尺寸， 生成多个锚框； 在所述锚框包含检测对象的情况下， 预测所述检测对象的类 别， 以及根据所述锚框， 生成所述检测对象的预测框； 从所述检测对象的预测框中， 选择目 标边界框， 以输出目标边界框、 所述检测对 象的类别及所述 目标边界框的检测对 象的置信 度。 4.如权利要求3所述的航油管线无人化巡视方法， 其特征在于， 所述通过所述巡航场景 检测模型将所述巡航图像划分为多个网格， 并将所述多个网格， 按照预定尺寸， 生成多个锚 框； 在所述锚框包含检测对象的情况下， 预测所述检测对象的类别， 以及根据所述锚框， 生 成所述检测对象的预测框； 从所述检测对象的预测框中， 选择目标边界框， 以输出目标边界 框、 所述检测对象的类别及所述目标边界框的检测对象的置信度， 包括： 通过所述巡航场景检测模型， 对所述巡航图像进行深层特征提取， 得到所述巡航图像 的第一深层特征， 以输出分辨率大小为第一尺寸的第一特征图， 所述第一特征图包括所述 巡航图像的第一深层特 征； 通过所述巡航场景检测模型， 对所述巡航图像进行深层特征提取， 得到所述巡航图像权　利　要　求　书 1/3 页 2 CN 115457411 A 2的第二深层特征， 并融合所述第一深层特征和第二深层特征， 以输出分辨率大小为第二尺 寸的第二特征图， 所述第二特征图包括所述巡航图像的第二深层特征， 且所述第二尺寸大 于所述第一尺寸； 通过所述巡航场景检测模型， 对所述巡航图像进行浅层特征提取， 得到所述巡航图像 的浅层特征， 并融合所述第二深层特征和第二深层特征， 以输出分辨率大小为第三尺寸的 第三特征图， 所述第三特征图包括所述巡航图像的浅层特征， 且所述第三尺寸大于所述第 二尺寸； 通过所述巡航场景检测模型的特征融合子模型， 对所述第一特征图、 所述第二特征图 及所述第三特征图进 行特征融合， 对所述融合后的特征进行采样， 以输出所述目标边界框、 所述检测对象的类别 及所述目标边界框的检测对象的置信度， 所述融合后的特征图包括融 合后的特 征。 5.如权利要求2所述的航油管线无人化巡视方法， 其特征在于， 所述使用所述多个标记 后的第一图像样本， 得到已训练的巡航场景检测模型， 包括： 将各所述标记后的第 一图像样本输入巡航场景检测模型， 以输出所述标记后的第 一图 像样本的预测场景信息； 根据所述标记后的第 一图像样本的预测场景信 息， 以及所述标记后的第 一图像样本的 预设场景信息， 确定 当前损失， 所述当前损失包括场景信息的边界框预测的损失、 场景信息 的置信度的损失及场景信息的类别预测的损失， 所述场景信息的边界框预测的损失为标记 后的第一图像样本的预测 场景信息， 以及所述标记后的第一图像样本的预设场景信息的平 方和； 根据所述场景信 息的边界框预测的损失、 场景信 息的置信度的损失及场景信 息的类别 预测的损失， 对所述巡航场景检测模型的训练参数进 行调整， 直至满足预设结束 条件， 得到 已训练的巡航场景检测模型。 6.如权利要求2所述的航油管线无人化巡视方法， 其特征在于， 在所述得到标记后的图 像样本集之后， 所述方法还 包括： 根据所述标记后的图像样本集， 确定测试样本集， 所述测试样本集包含多个标记后的 第二图像样本以及各 标记后的第二图像样本的预设场景信息； 在所述使用所述多个标记后的第一图像样本， 得到已训练的巡航场景检测模型之后， 所述方法还 包括： 将所述多个标记后的第 二图像样本输入已训练的巡航场景检测模型， 以输出所述标记 后的第二图像样本的测试场景信息； 根据所述标记后的第 二图像样本的测试场景信 息， 以及所述标记后的第 二图像样本的 预设场景信息， 确定已训练的巡航场景检测模型的模型性能评价指标； 在所述已训练的巡航场景检测模型的模型性 能评价指标满足预设阈值的情况下， 得到 训练好的所述巡航场景检测模型。 7.如权利要求6所述的航油管线无人化巡视方法， 其特征在于， 在所述已训练 的巡航场 景检测模型的模型性能评价指标满足预设阈值的情况下， 得到训练好的所述巡航场景检测 模型之后， 所述方法还 包括： 获取所述训练好的所述巡航场景检测模型的运行速率；权　利　要　求　书 2/3 页 3 CN 115457411 A 3