(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111420167.X (22)申请日 2021.11.26 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 冯明驰　李成南　王鑫　孙博望　 邓程木　刘景林　岑明　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 代理人 刘小红 (51)Int.Cl. G06F 30/27(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 17/00(2006.01) (54)发明名称 基于深度学习的材料裂纹尖端多尺度应变 场测量跟踪方法 (57)摘要 本发明请求保护一种基于深度学习的材料 裂纹尖端多尺度应变场测量跟踪方法， 包括步 骤： 在材料表面喷涂随机喷涂散斑， 对材料施加 外力作用使其发生形变并产生裂纹， 使用不同焦 距的相机组合来采集材料形变的多尺度信息。 构 造多尺度材料形变图像序列作为数据集。 结合卷 积、 转置卷积、 卷积LS TM神经网络， 测量材料全局 三维应变场的神经网络模型。 利用训练集数据训 练材料三维应变场测量神经网络模 型。 利用训练 后的材料三维应变场测量神经网络模 型， 输入相 机采集到的多尺度图像， 实时测量材料的三维应 变场， 并通过应变场计算材料的裂纹区域， 然后 移动双目长焦相机来实时跟踪裂纹尖端。 本发明 可移动的长焦 双目相机对裂纹区域进行跟踪。 权利要求书4页 说明书9页 附图4页 CN 114065650 A 2022.02.18 CN 114065650 A 1.一种基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法， 其特征在于， 包括 以下步骤： 随机在材料表面喷涂喷涂散斑， 对材料施加外力作用使其发生形变并产生裂纹， 使用 不同焦距的相机组合 来采集材 料形变的多尺度信息； 构造多尺度材料形变图像序列作为数据集， 所述的多尺度 材料形变图像序列 数据集包 括训练集和 测试集； 结合卷积、 转置卷积、 卷积LSTM神经网络， 建立一个通过输入多尺度材料形变的图像序 列来测量材 料全局三维应 变场的神经网络模型； 利用训练集数据训练材 料三维应 变场测量神经网络模型； 利用训练后的材料三维应变场测量神经网络模型， 输入相机采集到的多尺度图像， 实 时测量材料 的三维应变场， 并通过应变场计算材料 的裂纹区域， 然后移动双目长焦相 机来 实时跟踪裂纹尖端。 2.根据权利要求1所述的基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法， 其特征在于， 所述 随机在材料表面喷涂散斑， 对材料施加外力作用使其发生形变并产生裂 纹， 使用不同焦距的相机组合 来采集材 料形变的多尺度信息， 具体包括以下 条件： 在材料表面随机均匀地喷涂 散斑， 散斑颜色与材 料背景分别采用黑色和白色； 在XYZ精密移动平台布置双目长焦相机和双目短焦相机来同时采集图像， 其中双目长 焦相机位于 两个短焦相机之间； 所有相机采用外部触发的方式来保证图像在同一 时刻被采集， 相机的图像采集频率保 持恒定， 采集过程中相机白平衡、 曝光时间保持恒定； 所有相机同时连续采集图像以记录材料在外力作用下的形变过程， 其中双目短焦相机 固定不动， 用于采集材料全局图像信息， 双目长焦相机利用XYZ精密移动平台控制跟踪采集 材料裂纹尖端微小区域以记录材 料裂纹区域的细节变化。 3.根据权利要求1所述的基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法， 其特征在于， 所述构造多尺度材 料形变图像序列 作为数据集， 具体包括： 分别准确标定两组双目相机间的相对位置、 相机成像模型， 并确定材料的位置、 大小和 形状； 计算机仿真方法通过标定获得的相机参数、 位置关系数据用于建立一个仿真模型， 该 模型中材料表 面的散斑通过现有的散斑发生器模拟、 公开的图像3D ‑DIC数据集以及实验采 集获得； 对计算机仿真模型中的材料进行随机的三维形变并模拟裂纹的产生， 根据立体成像模 型计算带模拟散斑的材料在所有相 机中的成像结果， 在裂纹的产生过程中， 移动双目长焦 相机来跟踪裂纹尖端， 记录裂纹延展的详细信息； 通过多次的模拟仿真来获取材料模型准确的三维形变应变场数据以及模型在所有相 机中的投影； 将相机采集或仿真得到的图像数据加入一定的噪声作为原始数据， 这种噪声是模拟 实 际线性相 机的典型传感器噪声， 形变产生的三维应变场作为形变过程中对应的真实结果， 图像和应 变场组成材 料形变数据集， 该 数据集包括训练集和 测试集。 4.根据权利要求3所述的基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法，权　利　要　求　书 1/4 页 2 CN 114065650 A 2其特征在于， 所述结合卷积、 转置卷积、 卷积LSTM神经网络， 建立一个通过输入多尺度材料 形变的图像序列来测量材 料全局三维应 变场的神经网络模型， 具体包括： 结合2D卷积、 3D卷积、 转置卷积和卷积LSTM神经网络， 构建一个能够同时计算材料全局 和裂纹区域三维应变场， 即多尺度材料三维应变场测量神经网络模型， 该模型通过2D卷积 层和3D卷积层来进 行特征提取和细化， 卷积LSTM层和用于融合不同尺度的应变场的时空特 征， 转置卷积层用于计算 三维应变场； 多尺度材料三维应变场测量神经网络模型有四个输入， 这 四个输入分别为长焦双目相 机和短焦双目相 机的采集到的四组图像序列， 该图像序列是四个相 机同步采集到的， 它记 录了材料在外力作用下的形变过程； 多尺度材料三维应变场测量神经网络模型的2D卷积层分别对长焦或者短焦的双目图 像进行特征提取， 并将特征提取的结果组合到一起输入3D卷积层中， 然后再通过转置卷积 层得到三维应变场； 长焦图像序列得到的是裂纹区域三维应变场， 短焦图像序列得到的全 局三维应 变场； 将两个三维应变场结果共同输入到卷积LSTM层中， 最后通过转置卷积层来融合两个应 变场得到一个精度更高的三维应变场， 该三维应变场结合了不同尺度和时间的特征信息， 提供裂纹区域应 变场测量结果； 长焦图像序列和短焦图像序列分别对应的两个三维应变场测量网络的结构相同， 长焦 双目相机采集到的图像包括明显的裂纹， 两个网络的参数相互独立。 5.根据权利要求4所述的基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法， 其特征在于， 所述利用训练集数据训练材 料三维应 变场测量神经网络模型， 具体包括： 用于训练多尺度 材料三维应变场测量神经网络模型的数据输入有四个， 分别是长焦和 短焦双目相机采集到的图像序列； 多尺度材料三维应变场测量神经网络的输出数据 是材料形变的全局三维应变场、 裂纹 区域三维应变场以及融合后的三维应 变场； 所有三维应变场的计算结果均采用均误差函数用于评估模型估计结果与真实结果之 间的误差； 该网络模型的训练过程采用多阶段训练方法， 主要分为三个训练阶段包括： 三维应变 场测量网络训练阶段， 三维应 变场融合训练阶段以及网络微调训练阶段。 网络参数的训练过程是通过链式法则将总误差反向传播， 利用Adam梯度 下降优化算法 对网络进行训练： 利用更新的θ进行神经网络参数优化和学习。 6.根据权利要求5所述的基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法， 其特征在于， 所述所有三 维应变场的计算结果均采用如下均误差函数评估模型估计结果与 真实结果之间的误差， 具体公式为 其中， (ue,ve,we)表示水平、 竖直、 深度方向的计算应变， (ug,vg,wg)表示水平、 竖直、 深 度方向的真实应 变， (i,j)表示像素坐标， K和L表示计算AE E值所在的区域。 7.根据权利要求5所述的基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法， 其特征在于， 所述 三个训练阶段分别为：权　利　要　求　书 2/4 页 3 CN 114065650 A 3