(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210697551.2 (22)申请日 2022.06.20 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 张铁　郭亮亮　邹焱飚　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 郑秋松 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于YOLOv4-tiny模型的工件类别与位姿估 计方法 (57)摘要 本发明公开了一种基于YOLOv4 ‑tiny模型的 工件类别 与位姿估计方法， 包括以下步骤： S1、 对 YOLOv4‑tiny模型的特征提取网络进行轻量化， 特征提取网络对输入图像进行特征提取并输出 不同尺度的特征图； S2、 设置多组不同宽高和旋 转角度的锚框， 并分派到不同尺度的特征图上， 根据模型输出的预测结果生成相应的预测框； S3、 采集目标工件的图像数据， 使用旋转边界框 对目标工件的类别和位姿进行标注， 通过数据增 广预处理后获得数据集； S4、 利用数据集对 YOLOv4‑tiny模型进行迭代训练， 训练至损失函 数不再下降， 获取检测工件的最优YOLOv4 ‑tiny 模型； S5、 利用最优YOLOv 4‑tiny模型执行在线网 络推理， 对模型的预测结果进行后处理， 预测目 标工件的类别、 位置和姿态。 本发明能实现高效 的工件视 觉分类和位姿 估计。 权利要求书3页 说明书9页 附图3页 CN 115100136 A 2022.09.23 CN 115100136 A 1.一种基于YOLOv4 ‑tiny模型的工件类别与位姿估计方法， 其特征在于， 包括以下步 骤： S1、 对YOLOv4 ‑tiny模型的特征提取网络进行轻量化， 特征提取网络对输入图像进行特 征提取并输出不同尺度的特 征图； S2、 设置多组不同宽高和旋转角度的锚框， 并分派到不同尺度的特征图上， 根据模型输 出的预测结果 生成相应的预测框； S3、 采集目标工件的图像数据， 使用旋转边界框对目标工件的类别和位姿进行标注， 通 过数据增广预处 理后获得 数据集； S4、 利用数据集对YOLOv4 ‑tiny模型进行迭代训练， 训练至损失函数不再下降， 获取检 测工件的最优YOLOv4 ‑tiny模型； S5、 利用最优YOLOv4 ‑tiny模型执行在线网络推理， 对模型的预测结果进行后处理， 预 测目标工件的类别、 位置和姿态。 2.如权利要求1的基于YOLOv4 ‑tiny模型的工件类别与位姿估计方法， 其特征在于， 步 骤S1中， 使用可分离幻影卷积模块对YOLOv4 ‑tiny模型的特征提取网络进行轻量化， 可分离 幻影卷积模块包括逆深度可分离卷积和通道卷积线性运算， 逆深度可分离卷积用于生成 固 有特征图， 通道卷积线性运算用于生成幻影特征图； 逆深度可分离卷积可分解为点卷积和 深度卷积， 点卷积用于处理输入特征图的通道信息， 深度卷积用于处理输入特征图的空间 信息。 3.如权利要求2的基于YOLOv4 ‑tiny模型的工件类别与位姿估计方法， 其特征在于， 使 用可分离幻影卷积替换 标准卷积时， 计算 量的压缩比为： 其中， ci为输入通道 数， co为输出通道数， wi为输入特征图的宽， hi为输入特征图的高， wo 为输出特征图的宽， ho为输出特征图的高， s为压缩比参数， d为通道卷积线性运算的核尺寸 大小， k为原标准卷积的核尺寸大小， d≈ k且s＜＜ci， ci＞＞1。 4.如权利要求1的基于YOLOv4 ‑tiny模型的工件类别与位姿估计方法， 其特征在于， 步 骤S2中， 设置6组不同宽高的锚框， 并为每组锚框 设置6组不同的旋转角度， 然后将各 组锚框 分派到不同尺度的输出 特征图， 分别回归大目标和小目标。 5.如权利要求1的基于YOLOv4 ‑tiny模型的工件类别与位姿估计方法， 其特征在于， 步 骤S3中， 使用长边表 示法对采集的目标工件图像数据进 行参数标注， 具体方式为： 使用参数 集{x,y,w,h, θ,cls}来表示旋转边界框， 其中， x和y表示边界框中心点的坐标， w表示边界框 的宽， h表示边界框的高， 宽指 长边， 高指短边， θ是长边与X轴正向的夹角， 逆时针方向为正， 顺时针方向为负， cls为工件类别。权　利　要　求　书 1/3 页 2 CN 115100136 A 26.如权利要求1的基于YOLOv4 ‑tiny模型的工件类别与位姿估计方法， 其特征在于， 步 骤S3中， 制作数据集时使用数据增广的方式对原 始数据集进行扩充， 具体为： 对采集的目标工件图像使用随机缩放、 旋转和平移 的数据增广方法， 并对标签数据作 相应的变换， 然后为图像数据添加随机高斯噪音， 利用黑色像素将图像数据填充为正方形， 再按网络输入要求调整图像大小， 最后以4:1的比例将扩充后的数据集划分为训练集和测 试集。 7.如权利要求1的基于YOLOv4 ‑tiny模型的工件类别与位姿估计方法， 其特征在于， 步 骤S4中， 在YOLOv4 ‑tiny模型训练阶段， 计算旋转预测框与旋转真实框的交并比skewIoU， 并 根据交并比和角度差大小区分预测框为前 景或者背景。 8.如权利要求7的基于配网要素和神经网络的配网风险评估方法， 其特征在于， 步骤S4 中， 损失函数L由分类损失函数Lcls、 置信度损失函数Lconf和回归损失函数Lreg组成， 计算公 式分别如下： L＝Lcls+Lconf+Lreg 其中， N是锚框的总数， Nobj是前景锚框的数量， Nnoobj是背景锚框的数量， 和 是二 元值； 当锚框n为前景时， 等于1， 当锚框n为背景时， 等于0， 则相反； λ1, λ2, λ3, λ4 是权衡各类损失的超参数， pn为类别的真实值， rn为置信度的真实值， qn是经过Sigmoid函数 归一化到(0,1)的各分类概率的预测值， tn是经过Sigmoid函数归一化到(0,1)的置信度的 预测值， un是真实边界框， vn是预测边界框， 是真实水平边界框， 是预测水平边界框 。 9.如权利要求8的基于配网要素和神经网络的配网风险评估方法， 其特征在于， 回归损 失函数Lreg中引入了基于ArIoU的常数因子 决定了梯度传播的方 向， |LArIoU|决定了梯度传播的大小， 是传统旋转边界框的回归损失函数， 的计算公 式如下： 其中， un是真实边界框， vn是预测边界框， 是真实水平边界框， 是预测水平边界框； 包括 损失函数和CIoU损失函数， 损失函数和CIoU损失函数分别 为：权　利　要　求　书 2/3 页 3 CN 115100136 A 3