(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211169343.1 (22)申请日 2022.09.26 (65)同一申请的已公布的文献号 申请公布号 CN 115239034 A (43)申请公布日 2022.10.25 (73)专利权人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 张天翔　张毅思　李擎　李江昀　 崔家瑞　蔺凤琴　苗磊　付佳伟　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06Q 10/04(2012.01) G06N 3/04(2006.01)G06Q 50/06(2012.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) 审查员 苏春昊 (54)发明名称 一种风力发电机叶片早期缺陷预测方法及 系统 (57)摘要 本发明公开了一种风力发电机叶片早期缺 陷预测方法及系统， 属于风力发电设备领域。 所 述方法先收集叶片早中晚期场景的图像， 对晚期 图像进行人工标注作为反演语义分割训练集样 本； 将对应的叶片早中期图像集作为模型样本集 划分自监督训练集和验证集， 并对验证集进行人 工标注； 构建基网络及早期缺陷自监督学习模 型， 采用自监督训练集进行训练， 得到成熟模型， 获得模型权重； 构建分割头模型， 基网络加载权 重， 并将基网络与分割头模型进行连接， 输入反 演语义分割训练集进行训练， 输出语义分割标 签， 得到成熟的下游任务分割模型； 获取待预测 叶片的早期图像输入下游任务分割模 型， 输出早 期缺陷的位置信息。 本发明提高了叶片早期缺陷 预测准确度。 权利要求书3页 说明书8页 附图4页 CN 115239034 B 2022.11.29 CN 115239034 B 1.一种风力发电机叶片早期缺陷预测方法， 其特 征在于， 包括如下步骤： 步骤S1， 收集若干风力发电机叶片在整个生命周期的早期、 中期和晚期场景的图像， 其 中早期、 中期和晚期各占生命周期的三分之一； 步骤S2， 选择具有可肉眼识别的缺陷的晚期图像建立待标注图像集； 将对应的叶片早 期、 中期图像集作为模型样 本集， 从模 型样本集选择预定比例的样本作为自监督训练集， 剩 余的样本再进行 人工标注作为验证集； 步骤S3， 构 建基于Transformer结构的基 网络， 并基于基 网络构建早期缺 陷自监督学习 模型， 设定早期缺陷自监 督学习模型的超参数； 步骤S4， 采用所述自监督训练集对早期缺陷自监督学习模型进行训练， 从无监督数据 中挖掘数据本身信息， 使模 型学习到各个像素之间的联系， 提取深层次语义表征， 得到成熟 的早期缺陷自监 督学习模型， 获得 此时成熟的自监 督学习模型的权 重； 步骤S5， 构建分割头模型， 此时基网络加载所述成熟的自监督学习模型的权重， 并将基 网络与分割头模型进行 连接， 作为下游任务分割模型； 步骤S6， 对待标注图像集中的图像进行人工标注， 将图像中腐蚀、 裂纹、 穿孔的区域作 为缺陷类标注 区域， 其余部分作为背景类标注 区域， 将已作好人工标注的晚期图像作为反 演语义分割训练集样本； 步骤S7， 采用反演语义分割训练集对下游任务分割模型进行训练， 输出语义分割标签， 与人工标签进 行对比， 经过数据反演优化下游任务分割模型权重； 再采用验证集进 行验证， 得到成熟的下游任务分割模型； 步骤S8， 获取待预测叶片的早期图像， 将图像输入成熟的下游任务分割模型， 输出待预 测叶片的早期缺陷的位置信息 。 2.根据权利要求1所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 所收集的图 像， 为具有3通道的RGB图像数据。 3.根据权利要求1所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 所述基网络 前连接有 下采样模块； 所述下采样模块使用一个卷积核 大小3×3， 步长为2的卷积层进 行二 倍下采样， 使用ReLU激活函数对 采样后特 征矩阵进行激活。 4.根据权利要求1 ‑3任一项所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 所 述基网络包括一个卷积构成的Stem  Block和四层重复堆叠的Transformer  层构建的 Transformer结构； 其中， Stem Block由卷积核大小4 ×4步长为4的卷积层、 ReLU激活函数层、 批标准化层、 位置 编码嵌入层和线性嵌入层组成； 每一层Transformer层由层 标准化层、 多头自注意力层、 GELU激活函数层和多层感知机 层组成， 其中多头自注意力层与多层感知机层分别在各自的输出 上采用残差连接 。 5.根据权利要求4所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 所述基于基 网络构建早期缺陷自监 督学习模型， 包括： 对于每一张输入的无标签 图像， 在将图像分为多个分辨率为4 ×4的图像块后， 随机使 用掩码屏蔽75%的图像块， 模型学习使用少量未被屏蔽的图像块数据重 建整体原始图像， 使 用标准化像素损失函数计算损失以进 行反向传播， 使得模型能够学习到早期图像像素点之 间的内在联系， 实现自监 督辅助任务。权　利　要　求　书 1/3 页 2 CN 115239034 B 26.根据权利要求5所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 所述早期缺 陷自监督学习模型的超参数包括每一层Transformer层的多头注意力头数、 token个数和 token长度。 7.根据权利要求1所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 步骤S4在进 行训练前， 对所述自监督训练集中的样本进行预处理以进行数据增强， 所述预处理包括 随 机水平翻转、 随机垂直翻转、 随机多尺度变换和随机角度变换。 8.根据权利要求1所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 所述分割头 模型由空洞空间卷积池化金字塔结构与低频 特征通路结构组成； 其中， 空洞空间卷积池化金字塔结构由1 ×1的卷积层， 膨胀系数分别为6、 12、 18的3 ×3卷积 层与全局池化层并联组成， 且所有卷积层均采用ReLU激活函数激活并与批标准化层串联； 空洞空间卷积池化金字塔结构内的卷积层与池化层的输出在通道维度上进 行拼接， 再通过 1×1的卷积层进行 特征融合， 经 过4倍上采样层将特 征矩阵分辨 率恢复到基网络 输出大小； 低频特征通路结构由1 ×1的卷积层组成， 与空洞空间卷积池化金字塔结构的输出在通 道维度上拼接， 经过3 ×3的卷积层进行特征融合， 再通过步长为4， 卷积核大小为4 ×4的转 置卷积层将输出特征矩阵恢复为输入图像 分辨率大小， 最后通过1 ×1的卷积层调整输出通 道维数为标注的类别数量。 9.根据权利要求1所述的风力发电机叶片早期缺陷预测方法， 其特征在于， 步骤S3 中采 用马尔可 夫链蒙特卡洛算法估计并设定所述超参数。 10.一种风力发电机叶片早期缺陷预测系统， 其特征在于， 所述系统包括： 数据采集模 块、 样本标注和划分模块、 基网络构建模块、 预训练模块、 分割头构建模块和预测模型训练 模块； 其中， 所述数据采集模块用于收集若干风力发电机叶片在整个生命周期的早期、 中期和晚期 场景的图像， 其中早期、 中期和晚期各占生命周期的三分之一； 还用于获取待 预测叶片的早 期图像； 所述样本标注和划分模块用于选择具有可肉眼识别的缺陷的晚期图像建立待标注图 像集； 将对应的叶片早期、 中期图像集作为模型样本集， 从模 型样本集选择预定比例的样本 作为自监督训练集， 剩余的样本再进行人工标注作为验证集； 还用于对待标注图像集中的 图像进行人工标注， 将图像中腐蚀、 裂纹、 穿孔的区域作为缺陷类标注区域， 其余部分作为 背景类标注区域， 将已作好人工标注的晚期图像作为反演语义分割训练集样本； 所述基网络构建模块用于构建基于Transformer结构的基网络， 并基于基网络构建早 期缺陷自监督学习模型， 设定早期缺陷自监督学习模型 的超参数； 还用于预训练模块完成 训练后加载成熟 的自监督学习模型 的权重， 并与分割头模型进行连接， 作为下游任务分割 模型； 所述预训练模块用于采用所述自监督训练集对早期缺陷自监督学习模型进行训练， 从 无监督数据中挖掘数据本身信息， 使模型学习到各个像素之间的联系， 提取深层次语义表 征， 得到成熟的早期缺陷自监 督学习模型， 获得 此时成熟的自监 督学习模型的权 重； 所述分割头构建模块用于构建 分割头模型； 所述预测模型训练模块用于采用反演语义分割训练集对下游任务分割 模型进行训练， 输出语义分割标签， 与人工标签进 行对比， 经过数据反演优化下游任务分割模型权重； 再采权　利　要　求　书 2/3 页 3 CN 115239034 B 3