(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210065439.7 (22)申请日 2022.01.20 (65)同一申请的已公布的文献号 申请公布号 CN 114119607 A (43)申请公布日 2022.03.01 (73)专利权人 广州易道智慧信息科技有限公司 地址 510000 广东省广州市天河区灵山 东 路7号1501室 (72)发明人 李博　郑泽胜　 (74)专利代理 机构 广州科知专利代理事务所 (普通合伙) 44723 专利代理师 秦杰 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 7/73(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/00(2006.01) (56)对比文件 CN 110379020 A,2019.10.25 段春梅 等.基 于多流神经网络的PET瓶坯缺 陷检测研究. 《计算机 仿真》 .2021,第38卷(第5 期),第1-2页. 审查员 洪汇隆 (54)发明名称 基于深度神经网络的酒瓶缺陷样本生成方 法及系统 (57)摘要 本申请涉及缺陷样 本生成技术领域， 特别地 涉及一种基于深度神经网络的酒瓶缺陷样本生 成方法及系统。 该方法包括： 获取真实酒瓶缺陷 图片数据集， 进行预处理、 扩充操作得到样本集， 扩充后的数据集输入预搭建的对抗神经生成网 络， 扩充后的数据集输入预搭建的对抗神经生成 网络， 生成虚拟样本； 并输入至所述生成网络结 构， 通过生成网络结构生成虚拟样本； 以及将所 述虚拟样本自适应贴合至预先构建的3D酒瓶模 型表面。 本申请的缺陷生 成方法通过对抗神经生 成网络输 出大量的酒瓶缺陷虚拟样 本， 并贴合于 3D酒瓶模型， 提高酒瓶缺陷样本的生成效率、 生 成稳定性以及真实度。 权利要求书3页 说明书15页 附图4页 CN 114119607 B 2022.05.13 CN 114119607 B 1.一种基于深度神经网络的酒瓶缺陷样本生成方法， 其特征在于， 该方法包括以下步 骤： 获取真实酒瓶缺陷图片数据集， 进行预处理、 扩充操作 得到样本集， 所述样本集包括训 练样本； 扩充后的数据集输入预 搭建的对抗神经生成网络， 生成虚拟 样本； 其中， 预搭建的所述对抗神经生成网络， 通过 所述训练样本进行训练得到； 所述对抗神经生成网络中包括随机噪声网络结构、 生成网络结构， 输入数据通过所述 随机噪声网络结构进行处理生成特征图， 并输入至所述生成网络结构， 通过生成网络结构 生成虚拟 样本； 所述对抗神经生成网络中： 所述随机噪声网络结构接收输入的随机噪声图像， 将所述随机噪声图像进行形变操 作， 得到第一特 征图； 所述生成网络结构获取所述第一特征图， 进行卷积操作得到第二特征图， 第二特征图 即虚拟样本； 以及 将所述虚拟 样本自适应贴合至预 先构建的3D酒瓶模型表面； 所述将所述虚拟 样本自适应贴合至预 先构建的3D酒瓶模型表面的步骤中； 采用第二控制点对预 先构建的3D酒瓶表面 坐标的估计， 得到 3D酒瓶的展开图； 将所述第二特 征图， 根据所述展开图进行裁切， 将每 个独立的坐标进行参数化； 将裁剪部分图像分割为小于n1*n1的图像面片， 并进行 标记； 其中n1为≤ 5的正整数； 将所述图像面片的角点集合， 与所述3D酒瓶表面上位置对应的四个角点集合进行仿射 变换计算得到映射矩阵； 根据所述3D酒瓶表面的形状， 将所述第二特征图进行仿射变换， 并根据对应位置贴至 所述3D酒瓶表面。 2.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法， 其特征在于， 所 述真实酒瓶缺陷图片数据集包括： 针对具有缺陷的酒瓶， 拍照得到的图片； 以及 针对无任缺陷的酒瓶， 拍照得到的图片。 3.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法， 其特征在于， 所 述预处理包括； 将所述真实 酒瓶缺陷图片数据集进行配准、 裁切。 4.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法， 其特征在于， 所 述扩充操作包括： 将真实酒瓶缺陷 图片数据集中的各个样本进行平移操作， 所述平移操作后空出的区域 进行填充颜色， 得到第一样本集； 将真实酒瓶缺陷 图片数据集中的各个样本进行旋转操作， 所述旋转操作后空出的区域 进行填充颜色， 得到第二样本集； 将真实酒瓶缺陷 图片数据集中的各个样本进行镜像操作， 所述镜像操作后空出的区域 进行填充颜色， 得到第三样本集； 将真实酒瓶缺陷图片数据集中的各个样本添加高斯噪声， 得到第四样本集；权　利　要　求　书 1/3 页 2 CN 114119607 B 2将所述第一样本集、 所述第二样本集、 所述第三样本集、 所述第 四样本集、 未进行预处 理操作的样本集进行合并。 5.根据权利要求1所述的基于深度神经网络的酒瓶缺陷样本生成方法， 其特征在于， 所 述形变操作包括： 在所述随机噪声图像中的第一控制点上拖拽轨 迹； 将拉伸后的所述随机噪声图像， 利用移动最小二乘法对第 一控制点周围的像素进行平 移， 再通过变换函数进行变换； 变换函数如下： 其中， 该式中 为当前需要移动的像素点， ， ， ， ， ， 其中， T表示矩阵转置， 为第i个移 动前的第一控制点， 为第i个移动后的第一控制点，  为第j个移动后的图像像素点， 为 第j个移动 后的图像 像素点， 为移动权 重， 为移动权 重。 6.根据权利要求5所述的基于深度神经网络的酒瓶缺陷样本生成方法， 其特征在于， 所 述进行卷积操作得到第二特 征图的步骤中； 所述生成网络结构中包括第一反卷积核、 第二反卷积核、 第三反卷积核、 第四反卷积 核； 当所述第一特 征图输入至所述 生成网络结构中时； 所述第一反卷积核对所述第一特 征图进行 卷积上采样， 得到第一采样特 征图； 所述第二反卷积核对所述第一采样特 征图进行 卷积上采样， 得到第二采样特 征图； 所述第三反卷积核对所述第二采样特 征图进行 卷积上采样， 得到第三采样特 征图； 所述第四反卷积核对所述第三采样特 征图进行 卷积上采样， 得到第二特 征图。 7.根据权利要求6所述的基于深度神经网络的酒瓶缺陷样本生成方法， 其特征在于， 所 述生成网络结构还包括判别网络结构， 所述判别网络结构 中包括第 五反卷积核、 第六反卷 积核、 第七反卷积核、 第八反卷积核； 所述第二特征图、 作为标签的预先采集的真实缺陷样本输入至所述判别网络结构， 通 过所述判别网络结构合成得到第三特 征图； 所述第三特 征图通过第五反卷积核卷积 操作得到第一卷积特 征图； 所述第一卷积特 征图通过第六反卷积核卷积 操作得到第二卷积特 征图； 所述第二卷积特 征图通过第七反卷积核卷积 操作得到第三卷积特 征图； 所述第三卷积特 征图通过第八反卷积核卷积 操作得到回归值； 其中， 所述回归值用于判别生成的第二特 征图与真实样本之间的相似度。 8.一种基于深度神经网络的酒瓶 缺陷样本生成系统， 其特 征在于， 包括： 获取模块， 用于获取真实酒瓶缺陷图片数据集， 进行预处理、 扩充操作得到样本集， 样 本集包括训练样本； 生成模块， 用于将扩充后的数据输入预 搭建的对抗神经生成网络， 生成虚拟 样本；权　利　要　求　书 2/3 页 3 CN 114119607 B 3