(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210001738.4 (22)申请日 2022.01.04 (71)申请人 南京大学 地址 210046 江苏省南京市栖霞区仙林大 道163号 (72)发明人 孙正兴　张胜　朱毅欢　张巍　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 胡建华 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/277(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 一种面向交通设施巡检的视觉缺陷在线检 测方法 (57)摘要 本发明公开了一种面向交通设施巡检的视 觉缺陷在 线检测方法， 包括离线训练和在线巡检 两部分。 离线训练时采用带有包围框和类别标注 的缺陷数据集作为训练数据， 训练CrackDet 检测 模型， 结合深度学习算法和传统算法的优势； 同 时裁剪出不同种类的缺陷图像块， 使用度量学习 模型进行训练。 在线巡检时， 对于输入的视频帧， 使用检测模 型检测得到缺陷类别和位置； 使用卡 尔曼滤波器计算检测框的运动特征； 使用度量学 习模型计算缺陷的外观特征； 对检测到的缺陷进 行跟踪并统计； 根据跟踪轨迹中检测得到的类别 进行投票确定其缺陷种类； 最终实现在线巡检， 得到交通设施巡检时所出现的缺陷的种类、 大 小、 位置以及数量。 权利要求书3页 说明书8页 附图2页 CN 114549401 A 2022.05.27 CN 114549401 A 1.一种面向交通设施巡检的视 觉缺陷在线检测方法， 其特 征在于， 包括以下步骤： 步骤1， 离线训练得到缺陷检测模型： 构建缺陷检测模型和度量学习模型； 使用缺陷数据集及标注训练得到交通设施巡检图像中的缺陷的种类和位置； 使用局部二值模式算子提取特征， 以注意力机制形式将特征嵌入检测模型， 检测图像 中的缺陷的种类和位置， 将深度学习算法和局部二值模式算子进行融合， 得到缺陷检测模 型； 按照标注将缺陷图像块进行剪切， 使用剪切后的不同种类的缺陷图像块及标注， 训练 度量学习模型， 用以提取缺陷的外观特 征； 步骤2， 缺陷的在线巡检： 对于输入的视频帧， 使用步骤1中训练后的缺陷检测模型检测缺陷； 依据缺陷的运动特 征和度量学习模型 得到的外观特 征进行缺陷轨 迹的匹配和更新； 统计得到实时巡检结果。 2.根据权利要求1所述的一种面向交通设施巡检的视觉缺陷在线检测方法， 其特征在 于， 步骤1包括以下步骤： 步骤1‑1， 训练缺陷检测模型： 改进缺陷检测模型， 将通用目标检测的物体定义为高层 次的抽象概念， 高层次的抽象概念重语义信息、 轻 纹理信息、 局部和整体的关系明确并有明 确的语义边界； 将视觉缺陷定义为低层次的抽象概念， 低层次的抽象概念轻语义信息、 重纹 理信息且没有明确的语义边界； 增强底层特征在最后检测特征图中的占比； 使用密集连接 将底层特征复用， 使用局部二值模式算子提取特征， 以注意力机制嵌入深度网络中， 并融合 深度学习算法和局部二值模式算子； 使用K均值聚类算法聚类锚框尺寸， 加入马赛克数据增 强， 改进损失函数， 使用缺陷数据集及其标注训练改进后的缺陷检测模型， 检测得到输入图 像中的缺陷的种类和位置； 步骤1‑2， 剪切数据集中的缺陷得到缺陷图像块： 依据数据集中的缺陷标注将图像 中的 缺陷剪切下来， 附上类别标签作为度量学习模型的训练数据集； 步骤1‑3， 训练度量学习模型： 使用步骤1 ‑2得到的训练数据集训练度 量学习模型， 去掉 最后的分类层后， 将该模型作为外观特 征提取器。 3.根据权利要求2所述的一种面向交通设施巡检的视觉缺陷在线检测方法， 其特征在 于， 步骤1 ‑1包括： 使用密集连接将底层特征复用， 使用局部二值模式算子提取特征， 以注 意 力机制嵌入深度网络中； 将数据集划分训练集和测试集， 使用K均值聚类算法对锚框进行聚 类； 采用随机水平翻转、 随机 裁剪和马赛克作为数据增强方法， 改进损失函数， 进行训练。 4.根据权利要求3所述的一种面向交通设施巡检的视觉缺陷在线检测方法， 其特征在 于， 步骤1 ‑2包括： 将缺陷数据集中的各个缺陷剪切， 作为度量学习模型的数据集。 5.根据权利要求4所述的一种面向交通设施巡检的视觉缺陷在线检测方法， 其特征在 于， 步骤1 ‑3中将缺陷数据集中单个种类的缺陷作为同一序列的同一 目标进行度量学习模 型的训练。 6.根据权利要求5所述的一种面向交通设施巡检的视觉缺陷在线检测方法， 其特征在 于， 步骤2包括以下步骤： 步骤2‑1， 缺陷检测： 使用步骤1中训练完成后的检测模型对巡检过程中的视频帧进行权　利　要　求　书 1/3 页 2 CN 114549401 A 2检测， 获取其中所有缺陷的位置、 标签与置信度； 其中缺陷位置是一个矩形包围框， 表示缺 陷在图像中的位置； 缺陷标签是一个字符串， 表示缺陷类别； 缺陷置信度是一个0到1范围的 小数， 是由检测模型 得到的对于该检测结果的确信程度； 步骤2‑2， 计算检测到缺陷的外观特征： 使用步骤2 ‑1中检测到的缺陷位置在输入视频 帧进行裁剪， 得到检测到的裁剪缺陷图像块， 使用步骤1中的训练的度量学习模 型对裁剪的 缺陷图像块进行计算， 获取缺陷的外观特 征； 步骤2‑3， 缺陷运动特征计算： 对已经跟踪到的缺陷轨迹使用卡尔曼滤波进行运动预 测； 根据前一个时刻的运动信息来预测当前时刻的运动信息， 得到该轨 迹的预测运动特 征； 步骤2‑4， 轨迹匹配： 通过步骤2 ‑2和步骤2 ‑3得到的外观特征和卡尔曼滤波预测的运动 特征对跟踪轨迹和检测结果进 行匹配； 使用马氏距离来评估跟踪轨迹和检测结果的运动匹 配度； 同时计算跟踪轨迹和检测结果的外观特征 的最小余弦距离； 融合上述两个特征作为 匹配的代价矩阵， 使用匈牙利算法进行级联匹配； 用仅有一帧匹配的轨迹计算与检测结果 的交并比距离进行匈 牙利算法的匹配， 得到最终的匹配结果； 步骤2‑5， 更新轨迹的状态： 对于匹配成功的轨迹， 使用其对应的检测结果进行卡尔曼 滤波的更新， 对于未匹配成功的轨迹， 将其标记为丢失， 对于没有匹配成功的检测结果， 将 其初始化 为新的轨迹段； 步骤2‑6， 统计输出： 对实时输入的视频帧， 根据每个轨迹中占多数的缺陷类别来确定 整个轨迹的缺陷类型， 统计当前出现的轨迹段种类以及数量， 输出当前视频到目前已经出 现的所有缺陷的种类以及数量。 7.根据权利要求6所述的一种面向交通设施巡检的视觉缺陷在线检测方法， 其特征在 于， 步骤2 ‑3缺陷运动特征计算如下： 每个缺陷轨迹有两个状态， 均值和协方差； 均值表 示目 标的位置信息， 由包围框的中心坐标(cx,cy)， 宽高比r， 高h， 以及各自的速度变化值组成8 维向量， 表示为x＝[cx,cy,r,h,vx,vy,vr,vh]， 其中vx为x轴速度变化值， vy为y轴速度变化 值， vr为宽高比速度变化值， vh为高度速度变化值， 各个速度值初始 化为0； 协方差矩阵则表 示目标位置的不确定性； 在进行运动预测时， 每个缺陷轨迹根据其前一个时刻的状态来预 测下一个时刻的状态： x′＝Fx P′＝FPFT+Q 其中， x是轨迹在前一时刻的均值， F是状态转移矩阵， x ′是预测时刻的均值， 所述均值 预测是一个匀速模型， 其中， F为： P为轨迹在前一时刻的协方差矩阵， Q为系统的噪声矩阵， 代表整个系统的可靠程度， P ′ 为预测时刻的协方差矩阵， dt为时间变化 量。权　利　要　求　书 2/3 页 3 CN 114549401 A 3