(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210314179.2 (22)申请日 2022.03.28 (71)申请人 中国科学院宁波材 料技术与工程研 究所 地址 315201 浙江省宁波市镇海区中官西 路1219号 (72)发明人 尚杰　凌章瑾　李润伟　汪松　 胡振宇　王璕　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 高瑞霞 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的柔性压力传感阵列图 的识别方法 (57)摘要 本发明涉及一种基于深度学习的柔性压力 传感阵列图的识别方法， 该方法通过将传感器贴 在机械手上抓取物体， 对识别的物体进行分类； 利用深度卷积生成对抗网络技术生成柔性压力 传感阵列图样本； 利用改进的神经网络模型并引 入注意力机制的方式对柔性压力传感阵列图样 本进行训练， 得到最优模型； 根据训练得到的最 优模型对样 本中的测试集进行测试； 将训练好的 最优模型应用到机械手中， 动态 地抓取物体并识 别该物体的类型； 该方法识别准确度高、 识别效 率高、 泛化能力强， 并且能满足大量应用场景需 求。 权利要求书2页 说明书6页 附图1页 CN 114841236 A 2022.08.02 CN 114841236 A 1.一种基于深度学习的柔性压力传感阵列图的识别方法， 其特征在于： 该方法包括下 列步骤： (1)、 将柔性压力传感器贴合于机械手的各个关节点上， 利用机械手抓取物体， 并采集 若干柔性压力传感阵列图， 若干柔 性压力传感阵列图组成训练集； (2)、 根据步骤(1)得到的训练集， 将训练集输入到深度卷积生成对抗网络中生成若干 柔性压力传感阵列图样本， 由若干柔 性压力传感阵列图样本组成验证集； (3)、 利用卷积神经网络模型并引入注意力机制的方式对步骤(1)中得到的训练集和步 骤(2)中得到的验证集进行训练， 得到训练后的最优网络模型； 其具体过程 为： (3‑1)、 采用Vgg16网络模型和Resnet152网络模型， 将步骤(1 ‑1)中形成的训练集分别 输入到Vgg16网络模型和Resnet152网络模型中， 对Vgg16网络模型和Resnet152网络模型进 行预训练， 得到预训练后的Vg g16神经网络模型和预训练后的Resnet152神经网络模型； (3‑2)、 将步骤(1)中的验证集分别导入到步骤(3 ‑1)中得到的预训练后的Vgg16神经网 络模型和预训练后的Resnet152神经网络模型中进行模型 特征融合； (3‑3)、 经过特征融合后再引入注意力机制， 得到引入注意力机制后的深度学习网络模 型； (3‑4)、 将步骤(1)形成的训练集和步骤(2)形成的验证集均输入到步骤(3 ‑3)中得到的 引入注意力机制后的深度学习网络模型中进行训练， 得到训练后的最优网络模型； (4)、 利用机械手抓取不同的物体形成柔性压力传感阵列图， 将形成的柔性压力传感阵 列图输入到最优网络模型中进行实时识别。 2.根据权利要求1所述的一种基于深度学习的柔性压力传感阵列图的识别方法， 其特 征在于： 在步骤(1)中， 利用机械手抓取物体， 并采集若干柔性压力传感阵列图的具体过程 为： 选取若干类日常可见的物体， 采用机械手对每一个物体进行抓取， 针对同类物体， 采用 机械手抓取同类物体不同的部位， 从而形成若干柔 性压力传感阵列图。 3.根据权利要求2所述的一种基于深度学习的柔性压力传感阵列图的识别方法， 其特 征在于： 在步骤(1)中， 在 采集若干柔性压力 传感阵列图之后， 还包括： 按照相同物体归属于 同一类的方式对形成的柔性压力传感阵列图进行分类并打上标签， 标签为各类物体的名 称， 带有标签的若干柔 性压力传感阵列图组成训练集。 4.根据权利要求3所述的一种基于深度学习的柔性压力传感阵列图的识别方法， 其特 征在于： 在步骤(2)中， 在生 成若干柔性压力 传感阵列图样 本之后， 还包括： 对已生成的若干 柔性压力传感阵列图样本打上标签， 标签为各类物体的名称， 由若干打上标签的柔性压力 传感阵列图样本组成验证集。 5.根据权利要求4所述的一种基于深度学习的柔性压力传感阵列图的识别方法， 其特 征在于： 在步骤(2)中， 所述深度卷积生成对抗网络包括生成器和判别器， 利用所述深度卷 积生成对抗网络来 生成若干柔 性压力传感阵列图样本的具体方法包括下列步骤： (2‑1)、 将训练集中的若干柔性压力传感阵列图作 为真实图像数据输入到生成器， 生成 器抓取若干柔 性压力传感阵列图的特 征分布； (2‑2)、 往生成器中添加噪声数据， 生成器结合抓取到的特征分布来生成若干与真实图 像数据对应的虚假图像数据； (2‑3)、 对真实图像数据进行采样， 将采样到的柔性压力传感阵列图输入进判别器中，权　利　要　求　书 1/2 页 2 CN 114841236 A 2同时， 对若干虚 假图像数据进 行采样， 将采样 到的虚假图像数据也输入进判别器中， 判别器 会对输入判别器的图片进 行真假判断， 即判断输入判别器的图片是真实图像数据还是虚 假 图像数据， 生成器再根据判断结果来生成近似真实图像数据 的虚假图像数据供判别器判 断， 直到当生成器生成的虚假图像数据被视为像来自于真实 图像数据时， 判别器判断数据 为真的概 率接近0.5为止。 6.根据权利要求2或权利要求5所述的一种基于深度学习的柔性压力传感阵列图的识 别方法， 其特征在于： 在步骤(3)中， 将形成的测试样本集输入到最优网络模型中进行识别 时， 当出现误识别的情况， 那么就根据抓取物体的部位、 抓取物体的动作和抓取物体的时间 来判断是否存在区别于训练集中的柔性压力传感阵列图， 如果存在， 那么就对训练集进行 拓展， 再利用摄 像机拍摄物体并通过目标检测的方式对拍摄的物体进行识别。 7.根据权利要求6所述的一种基于深度学习的柔性压力传感阵列图的识别方法， 其特 征在于： 在步骤(3)中， 利用摄像机拍摄物体并通过目标检测的方式对拍摄的物体进 行识别 的具体过程包括下列步骤： (3‑11)、 利用摄 像机拍摄机 械手抓取的物体， 从而生成需要检测的目标图像； (3‑12)、 提取目标图像中的感兴趣区域， 通过为每个像素分配不同尺寸的滑动窗口从 而产生多个感兴趣区域； (3‑13)、 在步骤(3 ‑12)中获得若干个感兴趣区域， 利用CNN的分类回归方法区分这些感 兴趣区域的正负 样本， 并提取 特征； (3‑14)、 通过非极大值抑制的方法对提取的特征进行筛选重组， 即根据步骤(3 ‑13)的 特征将步骤(3 ‑12)获得感兴趣区域的数量减少到图片的真实目标的数目， 所述的真实目标 的数目为真实区域的目标总和， 使得每 个目标由单一的边界框住； (3‑15)、 利用SVM分类 器识别出机 械手抓取物体的种类。权　利　要　求　书 2/2 页 3 CN 114841236 A 3