(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210368041.0 (22)申请日 2022.04.08 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 曹志强　刘洁锐　唐英博　任广力　 刘希龙　谭民　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 20/52(2022.01) G06V 10/764(2022.01) (54)发明名称 小样本目标检测方法、 系统、 装置 (57)摘要 本发明属于机器人技术领域， 具体涉及一种 小样本目标检测方法、 系统、 装置， 旨在解决新类 目标物体与预训练数据集中的目标物体外观差 异较大时， 新类目标物体的检测鲁棒性较差的问 题。 本方法包括： 获取待检测场景的图像； 获取待 检测场景的图像对应的第四注 意力图， 提取第四 注意力图中的连通域， 获取各潜在目标物体的矩 形边界框， 进而在待检测场景的图像上裁剪出各 潜在目标物体对应的图像； 将各潜在目标物体对 应的图像缩放至设定尺寸， 并输入训练好的注意 力卷积神经网络， 得到各潜在目标物体的图像级 编码向量； 获取潜在目标物体的类别。 本发明可 以利用新类目标物体少量的数据， 有效检测出与 预训练数据集中的目标物体外观差异较大的新 类目标物体 。 权利要求书3页 说明书10页 附图2页 CN 114708536 A 2022.07.05 CN 114708536 A 1.一种小样本目标检测方法， 其特 征在于， 该 方法包括以下步骤： 步骤S10， 机器人通过安装在自身的视 觉传感器获取待检测场景的图像； 步骤S20， 利用训练好的注意力卷积神经网络 的DenseNet169骨干网络、 注意力提取器 获取待检测场景 的图像对应的第四注意力图； 提取所述第四注意力图中的连通域， 获取各 潜在目标物体的矩形边界框， 并根据矩形边界框， 在待检测场景 的图像上裁剪出各潜在目 标物体对应的图像； 步骤S30， 将各潜在目标物体对应的图像缩放至设定尺寸， 并输入训练好的注意力卷积 神经网络， 得到各潜在目标物体对应的图像级编码向量； 步骤S40， 将各潜在目标物体对应的图像级编码向量与预构建的新类目标物体小样本 数据库中的各图像级编 码向量进 行相似度计算， 将最大相似度的图像对应的类别作为潜在 目标物体的类别， 进 而实现小样本目标检测； 其中， 所述注意力卷积神经网络包括DenseNet169骨干网络、 注意力提取器和聚合器； 所述DenseNet169骨干网络， 用于提取输入的图像的卷积特征， 并将DenseNet169骨干 网络第104层的输出作为第一卷积特征， 将DenseNet169骨干网络第169层的输出作为第二 卷积特征； 所述注意力提取器基于依次连接的卷积层、 空间Softmax运算层、 均值滤波器、 阈值化 处理操作、 图割处 理操作构建； 所述卷积层， 用于对所述第一卷积特征进行卷积处理， 将卷积处理后的特征图作为第 一注意力图； 所述空间softmax运算层， 用于对所述第一注 意力图进 行softmax运算， 得到第 二注意力图； 所述均值滤波器， 用于对所述第二注意力图进行滤波处理， 得到第三注意力 图； 所述阈值化处理操作， 用于对第 三注意力图进行阈值化处理， 得到第四注意力图； 所述 图割处理操作， 用于将所述第四注意力图中的非0元素划分成两个最优子集合， 并分别得到 这两个最优子集 合对应的矩形边界框， 作为第一 边界框、 第二 边界框； 所述聚合器， 用于将第一边界框、 第二边界框、 第二卷积特征进行聚合处理， 得到图像 级编码向量。 2.根据权利要求1所述的小样本目标检测方法， 其特征在于， 对所述第 一注意力图进行 softmax运 算， 得到第二注意力图， 其方法为： 其中， A1(a,b)和A2(a,b)分别为第一注意力图A1和第二注意力图A2的第a行第b列的元素， β 为可学习的缩放系数， A1(h,w)为A1的第h行第w列的元 素。 3.根据权利要求1所述的小样本目标检测方法， 其特征在于， 将所述第四注意力图中的 非0元素划分成两个最优子集合， 并分别得到这两个最优子集合对应的矩形边界框， 作为第 一边界框、 第二 边界框， 其方法为： 将第四注意力图中非0元 素的横纵坐标构成第一 集合L； 对所述第一集合L进行k近邻建图， 即以第一集合中每个元素为节点， 以节点之间的欧 氏距离的倒数作为连接节点的边的权 重得到邻接矩阵W， 其中k 为预设常数；权　利　要　求　书 1/3 页 2 CN 114708536 A 2基于邻接矩阵W， 通过谱聚类方法求 解下式得到最优子集 合 和 其中， Wp,q代表邻接矩阵W中的第p行第q列的元 素， L1和L2为L的子集合， 表示空集； 基于最优子集合 和 获取第一边界框box1(t1,l1,b1,r1)和第二边界框box2(t2,l2, b2,r2)； t1,l1,b1,r1分别为最优子集合 中元素的纵坐标最小值、 横坐标最小值、 纵坐标最 大值、 横坐标最大值； t2,l2,b2,r2分别为最优子集合 中元素的纵坐标最小值、 横坐标最小 值、 纵坐标最大值、 横坐标最大值。 4.根据权利要求3所述的小样本目标检测方法， 其特征在于， 将第一边界框、 第二边界 框、 第二卷积特 征进行聚合处 理， 得到图像级编码向量， 其方法为： 分别结合第一边界框box1(t1,l1,b1,r1)和第二边界框box2(t2,l2,b2,r2)， 利用Faster   R‑CNN中的ROI池化操作在第二卷积特征F2上进行池化操作， 得到第三卷积特征F3和第四卷 积特征F4； 利用GeM聚合操作， 将第二卷积特征F2、 第三卷积特征F3和第四卷积特征F4分别聚合为 第一编码向量v1、 第二编码向量v2和第三编码向量v3； 将第一编码向量v1、 第二编码向量v2和第三编码向量v3相加进而得到图像级编码向量。 5.根据权利要求1所述的小样本目标检测方法， 其特征在于， 提取所述第四注意力图中 的连通域， 其方法为： 采用pyt hon的opencv2库的opencv2.findContours函数对所述第四注 意力图进行处 理， 得到所述第四注意力图中的连通 域。 6.一种小样本目标检测系统， 其特征在于， 该系统包括： 图像采集模块、 潜在目标物体 提取模块、 编码向量获取模块、 类别检测模块； 所述图像采集模块， 配置为机器人通过安装在自身的视觉传感器获取待检测场景的图 像； 所述潜在目标物体提取模块， 配置为利用训练好的注意力卷积神经网络的 DenseNet169骨干网络、 注 意力提取器获取待检测场景的图像对应的第四注 意力图； 提取所 述第四注意力图中的连通域， 获取各潜在目标物体的矩形边界框， 并根据 矩形边界框， 在待 检测场景的图像上裁 剪出各潜在目标物体对应的图像； 所述编码向量获取模块， 配置为将各潜在目标物体对应的图像缩放至设定尺寸， 并输 入训练好的注意力卷积神经网络， 得到各潜在目标物体对应的图像级编码向量； 所述类别检测模块， 配置为将各潜在目标物体对应的图像级编码向量与预构建的新类 目标物体小样本数据库中的各图像级编 码向量进 行相似度计算， 将最大相似度的图像对应 的类别作为潜在目标物体的类别， 进 而实现小样本目标检测； 其中， 所述注意力卷积神经网络包括DenseNet169骨干网络、 注意力提取器和聚合器； 所述DenseNet169骨干网络， 用于提取输入的图像的卷积特征， 并将DenseNet169骨干 网络第104层的输出作为第一卷积特征， 将DenseNet169骨干网络第169层的输出作为第二 卷积特征；权　利　要　求　书 2/3 页 3 CN 114708536 A 3