(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111326824.4 (22)申请日 2021.11.10 (71)申请人 南京工业大 学 地址 210000 江苏省南京市浦口区浦珠南 路30号 申请人 苏州市港航事业发展中心 　 东南大学建筑设计研究院有限公司 (72)发明人 邵鹏　李枝军　严锴　徐汉江　 李秉南　徐秀丽　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 代理人 徐激波 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/40(2022.01)G06V 10/25(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G06T 7/00(2017.01) G06T 7/13(2017.01) (54)发明名称 一种基于ModelArt平台构建的钢桥螺栓病 害智慧诊断方法 (57)摘要 本发明公开了一种基于ModelArt平台构建 的钢桥螺栓病害智慧诊断方法。 本发 明是为了解 决在钢桥螺栓在损伤检测的过程中， 通过人工目 视对螺栓进行检测， 存在耗费时间长、 受人员主 观影响大和人身危险性高的缺点。 分为以下几个 步骤。 1.使用高清无人摄像机对钢桥螺栓节点部 位图像数据集进行采集； 2.对采集的图像数据集 进行预处理； 3.对采集的预处理后的数据集进行 标注； 4.采用ModelArts平台先对数据进行增强， 利用Grayscale算法， 将图片 进行灰度化处理； 5. 对数据集进行深度学习网络模型训练， 采用华为 已开发的华为云ModelArts平台， 算法采用 YOLOv5算法。 权利要求书3页 说明书5页 附图1页 CN 114022769 A 2022.02.08 CN 114022769 A 1.一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 包括以下 步骤： 步骤S1： 使用高清无人摄像机对钢桥螺栓节点部位进行数据集采集， 采集导出的为视 频格式； 步骤S2： 对采集的视频图像数据集进行预处理， 包括对航拍视频进行提帧、 前景处理、 边缘检测； 步骤S3： 对上述预处理后的图片进行标注， 采用华为云ModelArts平台， 数据集模块标 注， 将正常螺 栓标注为1， 病害螺 栓标注为0； 步骤S4： 采用ModelArt s平台先对数据进行增强， 利用Grayscale算法， 将图片进行灰度 化处理； 利用Scale算子对图片进行缩放处理； 华为云平台已经将算子进行编程， 用户仅需 调用即可实现对图片的处理， 图片灰度化， 将三通道的彩色图像转换到三通道的灰度图像； 缩放处理， 增加数据集样本数； 步骤S5： 对数据 集进行深度学习网络模型训练， 采用华为已开发的华为云ModelArts平 台， 算法采用YOLOv5算法； Mo delArts是面向开发者的一站式AI开发平台， 为机器学习与深 度学习提供海量数据预 处理及半自动化标注、 大规模分布式Training、 自动化模 型生成， 及 端‑边‑云模型按需部署能力， 帮助用户快速创建和部署模型， 管理全周期AI工作流； 步骤S6： 使用训练好的模型对测试图片进行检测， 实现对钢桥螺栓缺损病害智慧诊断 识别。 2.根据权利要求1所述的一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 在所述步骤S1 中， 采集的数据是利用高清无人摄像机拍摄的视频， 其 飞行速度 控制在5m/s， 保持匀速飞行， 采集的视频为1080p级别。 3.根据权利要求1所述的一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 在所述步骤S2中， 采集的数据集为视频格式， 需要对其进行预处理， 具体实施 方式为： 提帧得出图片数据集， 每隔2秒提取一帧数视频图像作为训练图集， 配合后期人工 筛选， 保证在图像视角多样性的前提下， 获取尽可能少的图像样本， 以节省航拍图像处理的 时间。 4.根据权利要求1所述的一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 在所述步骤S2中具体为： 对 前景进行处理， 本方法采用GrabCut算法， 该算法通 过建立两个三通道混合高斯模型分别表示背 景和前景的颜色分布， 每一个混合高斯模型默 认由5个高斯混合 函数组成， 每一个 像素均属于前 景或者背景， 并依此建立Gib bs能量公式： E( α， θ， z)＝U( α， θ， z)+V( α， z)#(1) 式中： α为透明度， z为原始灰度图， θ为混合高斯模型的参数， E为整体图像的Gibbs能 量， U为区域项即单个像素属于目标或者背景的概率的负对数， V为边界项表示分割边缘的 合理程度， 当相 邻两像素相差越 大时， V的能量越小； Gibbs能量 公式的目的是将图像 分割问 题转化为优化计算问题， 通过迭代计算调整模型参数， 当能量值最小时默认此时图像达到 最优分割效果。 5.根据权利要求1所述的一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 在所述步骤S2中具体为： 对节 点板图像进 行边缘检测； 对节点板图像进 行边缘 检测的目的是利用螺栓点与 节点板的灰度差来标识节点板中的螺栓点， 常用的边缘检测算权　利　要　求　书 1/3 页 2 CN 114022769 A 2子为Roberts算子、 Sobel算子、 C anny算子， 其中Roberts、 Sobel算子对噪声抑制能力较差， 因此采用定位更加精确的Canny算子； 首先， 对前景数字图像进行二值化， 鉴于航拍图像受 光照的影响较大， 本文采用自适应阈值二值化算法， 其特点在于针对图像小块区域自动计 算其阈值， 避免了区域曝光的影响和阈值的人工设定， 同时凸显二值化图像中螺栓的背景 差异； 第二步， 通过图像形态学对二值化图像进 行降噪处理， 图形学中锈蚀操作可消除细 小 孤立点， 膨胀操作使得图形边缘更加平滑， 采用先锈蚀后膨胀的操作即可消除钢板上 的细 微斑点和锈蚀； 第三步， 使用canny算子对图像进行边缘检测， 该算子依靠高斯滤波来降低 噪声， 即将二维高斯 函数与原 始图像进行 卷积计算， 如式(2)和式(3)所示： I(x， y)＝G(x， y， σ )*f(x， y)#(3) 式中， G(x， y， σ )为二维高斯函数， σ 为 高斯函数的标准差， 随着σ 的增加滤波覆盖面积增 加， f(x， y)为原始图像灰度值， I(x， y)为滤波后图像灰度值； 针对 滤波后图像中每一个像素 点计算梯度值以寻找像素局部最大值， 其中梯度幅值最大的点即为图像边缘点， 如式(4)和 式(5)所示： θ ＝arctan(IY(x， y)/IX(x， y))#(5) 式中， IX(x， y)和IY(x， y)为图像I(x， y)对 x和y方向上的偏导数， M为该点的梯度 强度， θ 为 其梯度向量。 6.根据权利要求1所述的一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 所述步骤S3中具体为： 数据集标注采用ModelArts平台， 在该平台的数据集标 注模块， 对图片进行放大缩小标注， 标签定为正常螺栓设置值为1， 缺损病害螺栓设置值为 0， 任意选择标注的图框样式， 鉴于螺栓的标注量大， 标注样式采用方框式， 标注采用团队标 注模式， 多人协同标注是华 为云平台相较于其 他标注工具的显著优势。 7.根据权利要求1所述的一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 所述步骤S4中具体为： 利用华为云ModelArts平台数据增强功能对图片进行缩 放和灰度化处理， 分别采用Scale算子与 Grayscale算子， 华为云平台已经将算子的模型内 置， 用户仅需调用该算法模型即可实现对图片的数据增强； 数据扩增主要用于训练数据集 不足或需要仿真的场景， 能通过对已标注的数据集做变换操作来增加训练图片的数量， 同 时会生成相应的标签。 8.根据权利要求1所述的一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法， 其特征在于， 所述步骤S5中具体为： 通过华为云ModelArts平台， 实现对螺栓的深度学习模 型的建立； 在该平台上， 其YOLOv5共有s、 m、 l、 x四个模型， 相同的数据集场景下， 在YOLOv5 ‑s 模型训练和推理性能最佳， Y OLOv5‑x模型mAP的指标最佳； 针对提供带有物体框标注的数据 集， 该算法会预先载入在COCO数据集下训练过的模型， 训练后生成的模型可直接在 ModelArts平台部署成在线服务， 支持在CPU/GPU上部署推理； 该算法适用于物体检测类型 的深度学习， 其支持的框架引擎为Pytorch ‑1.7.0‑python3.6， 在算法输入设置参数时， 对 ModelArts数据管理平台发布的物体检测数据集， 必须使用数据切分功能， 以8:2或9:1的比权　利　要　求　书 2/3 页 3 CN 114022769 A 3