(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156486.9 (22)申请日 2022.09.22 (71)申请人 佛山沧科智能科技有限公司 地址 528225 广东省佛山市南海区狮山 镇 软件园桃园路南海产业智库城一期A 座A512室 申请人 广州沧恒自动控制科技有限公司 (72)发明人 王国桢　王桂棠　陈永彬　吴佳毅　 陈建强　吴黎明　 (51)Int.Cl. G06V 20/70(2022.01) G06V 20/50(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/776(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 复杂装卸场景目标物标注数据集生成方法、 系统和存 储介质 (57)摘要 本发明是复杂装卸场景目标物标注数据集 生成方法、 系统和存储介质， 针对复杂场景下无 人起重装卸目标物的深度学习标注数据耗时问 题， 通过在GAN网络架构上融合改进的StyleGAN 与DatasetGAN网络来设计适合本发明的货物图 像检测生 成对抗网络， 构成准确的含语义标注和 关键点标注的数据集， 实现通过标记少数示例来 合成大型高质量标记数据集的方法和技术， 解决 训练数据匮乏问题和目标物标注 耗时问题， 与其 他解决数据集匮乏问题的方法相比， 本发明方法 生成的可用于监督网络训练的标签数据集， 有相 当优秀的结果， 并为后续利用有监督学习模型提 供充足的数据支撑 。 权利要求书3页 说明书12页 附图5页 CN 115359485 A 2022.11.18 CN 115359485 A 1.复杂装卸场景目标物标注数据集生成系统， 其特征在于， 包括生成器模块、 判别器模 块、 生成图像模块、 真实图像模块、 真伪判别模块、 更新 参数模块； 所述生成器模块用于建立货物图像检测生成对抗网络并构成准确的含语义标注和关 键点标注的数据集； 所述判别器模块用于搭建有监督深度 学习语义分割 模型的训练框架， 将真实图像与生 成器生成的图像进行判别； 所述生成图像模块为生成器模块搭建训练框架后所得的含标注的图像的数据集， 包括 合成的高清图像、 生成的语义标签和关键点标签； 所述真实图像模块为真实图像数据含被标注后所得的图像数据集， 包括真实图像、 真 实语义标签和关键点标签； 所述真伪判别模块用于将经过判别器模块得到的判别结果计算判别损失， 对生成图像 模块所得数据集进行真伪判定； 所述更新参数模块用于将生成器模型和判别器模型进行参数更新， 反复迭代， 直至判 别器收敛； 所述生成器模块由基于样式生成对抗网络StyleGAN框架和DatasetGAN网络 框架组成； 所述基于样式生成对抗网络StyleGAN框架用于生成可控制的高质量和特征的图像； 所 述StyleGAN框架包括合成块， 所述合 成块由上采样模块、 调制、 解调、 1*1卷积块和自适应样 本归一化层AdaI N组成； 所述DatasetGAN网络框架用于以少量详细标注的图像生成大量的准确的带语义标签 的数据集， 所述数据集包括语义分割和关键点预测两 部分； 所述判别器模块采用深度卷积 ‑降采样‑LeakyReLU非线性激活的网络结构。 2.根据权利要求1所述的复杂装卸场景目标物标注数据集生成系统， 其特征在于， 所述 基于样式生成对抗网络StyleGAN框架的合成块网络改为傅里叶特征输入方式， 替换标准 StyleGAN框架的常数输入方式， 进行特征映射的无限的空间范围的固定， 所述傅里叶特征 输入方式先通过引入一个固定大小的边界作为近似范围， 每一层操作之后再对权重参数进 行裁剪。 3.根据权利要求1所述的复杂装卸场景目标物标注数据集生成系统， 其特征在于， 所述 基于样式生成对抗网络StyleGAN框架对其自适应样本归一化层AdaIN进行修改， 包括去除 均值、 修改噪声模块B输入位置、 修改样式控制向量A输入位置， 从而解决生成图像存在语义 特征变形的问题； 所述样式控制向量A包括放缩因子wi和偏差因子bi； 修改后AdaIN层工作 过程如(1)式所示： xi为特征， y为样式， y包含放缩 因子wi和偏差因子bi， w ’ij为经过调制和卷积后的解调， i为第i个输入特 征图， σ(x)为标准差 。 4.根据权利要求1所述的复杂装卸场景目标物标注数据集生成系统， 其特征在于， 所述 DatasetGAN网络框架采用WGAN ‑GP目标函数代 替最小化JS散度实现最小化生成器的损失函 数； 所述WGAN‑GP目标函数如式(2)所示：权　利　要　求　书 1/3 页 2 CN 115359485 A 2式中， Pdata是真实分布， PG是生成器分布， 隐含定义了从Pdata和PG采样的点对之间的直线 均匀采样的Ppenalty。 5.复杂装卸场景目标物标注数据集生成方法， 采用权利要求1 ‑4任一项所述的标注数 据集生成系统进行， 其特 征在于， 包括以下步骤： 步骤S1:生成器前半部分采用基于样式生成对抗网络StyleGAN框架； 在StyleGAN框架 中， 给定输入潜在空间Z中的潜码 z,进行归一化处理后输入到8个全连接层FC组成的映射网 络f， 将输入向量学习的仿射变换得到中间向量w， 并将特征解缠后的中间向量w变换为样式 控制向量A； 步骤S2:生成器StyleGAN框架经9次上采样完成， 即由9个合成块组成， 最终得到特征向 量S； 所述合成块由调制、 解调、 1*1卷积块和归一化层AdaIN、 上采样模块组成； 首先输入傅 里叶特征， 经上采样后进行裁剪crop操作， 并受样式和噪音模块B施加 影响， 其中一个样式 控制向量A在 归一化之后对其影响一次， 另外一个样式控制向量A在上采样之后对其影响一 次； 步骤S3:图像的上采样操作完成后， 进入生成器后半部分， 即进行语义标签特征学习， 采用DatasetGAN 生成对抗网络； 步骤S4： 在DatasetGAN网络中， 首先将合成块的修改后AdaIN层输出的特征图上采样到 最高输出分辨率， 并将其连接起来得到一个3D特征张量， 以便为合成图像上 的所有像素构 建逐像素特征向量； 输出图像中的每个像素i都有自己的像素特征向量S*＝(S0,*,S1,*…, Sk,*)； 为简单起见， 共享所有像素点的权 重； 步骤S5： 对于语义分割标签生成任务， 使用交叉熵损失训练分类 器C， 如式(3)所示： 式中， x表示样本， y表示实际的标签， a表示预测的输出， n表示样本总数量； 步骤S6:对于关键点预测标签生成任务， 为训练集中的每个关键点构建一个高斯热图， 并使用多层感知机 MLP函数去拟合每 个像素的热值； 步骤S7： 为了摊销随机抽样的影响， 训练N个MLP分类器 的集合， 取N＝10； 在测试时， 对 每个像素使用多数 投票进行语义分割； 对于 关键点预测， 平均每个像素的N个分类器预测的 N个热值； 最后 将MLP函数输出的像素特征向量中的语义知识 解释为语义分割标签和生成关 键点标签； 步骤S8:将生成器合成的高清图像、 语义标签、 关键点标签与经下采样后的真实图像、 真实语义标签、 真实关键点标签送入判别器模块， 判断生成器模块 合成数据的真实性； 步骤S9:通过提取判别器模块各层特征信 息来判断其类别， 输出二值标签， 指示生成器 合成数据结果的真实与否； 步骤S10:使用WGAN ‑GP目标函数计算真实数据的概率分布与生成数据的相似度， 更新 生成器模块框架和判别器模块框架的参数， 使趋 于一致。 6.根据权利要求5所述的复杂装卸场景目标物标注数据集生成方法， 其特征在于， 所述权　利　要　求　书 2/3 页 3 CN 115359485 A 3