(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210754857.7 (22)申请日 2022.06.30 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 王镝　崔瑶轩　钱利滨　郑绪彬　 董浩　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视觉嗅觉协同感知器件的目标识 别方法和装置 (57)摘要 本发明公开一种基于视觉嗅觉协同感知器 件的目标识别方法和装置， 该方法包括： 步骤一： 通过视觉嗅觉协同感知器件对目标物体进行信 号采集以获得所述目标物体的图像， 并通过图像 传感器的光电转换单元和信号传输模块输出所 采集的图像； 步骤二： 对所述图像传感器输出的 图像进行处理， 得到视觉输入信号与嗅觉输入信 号； 步骤三： 将所述视觉输入信号和所述嗅觉输 入信号输入预先训练获得的视觉嗅觉融合算法 模型， 进行特征提取与融合， 获得目标识别结果。 本发明提供的视觉嗅觉协同感知器件集成度高， 体积小， 结构简单， 制备成本低， 对多源信息利用 高效， 具有广泛的潜在应用前 景。 权利要求书2页 说明书7页 附图5页 CN 114821576 A 2022.07.29 CN 114821576 A 1.一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于， 所述视觉嗅觉协同 感知器件包括图像传感器、 光学式气体传感单元和镜头模块， 所述图像传感器表面的部分 区域修饰所述光学式气 体传感单元以集成所述光学式气 体传感单元， 并且 所述图像传感器 表面上方安装所述镜头模块， 所述镜头模块与所述图像传感器的尺寸相互适配， 在同一时 刻， 所述图像传感器能够与所述镜头模块配合以采集 目标物体的视觉信息， 并通过所述光 学式气体传感单元采集嗅觉信息， 使得所述图像传感器采集的图像同时包含所述视觉信息 和所述嗅觉信息， 所述方法包括以下步骤： 步骤一： 通过视觉嗅觉协同感知器件对目标物体进行信号采集以获得所述目标物体的 图像， 并通过 所述图像传感器的光电转换 单元和信号传输模块输出 所采集的图像； 步骤二： 对所述图像传感器输出的图像进行处 理， 得到视觉输入信号与嗅觉 输入信号； 步骤三： 将所述视觉输入信号和所述嗅觉输入信号输入预先训练获得的视觉嗅觉 融合 算法模型， 进行 特征提取与融合， 获得目标识别结果。 2.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于， 所述修饰的方法包括： 打印、 喷雾、 微印章 转印。 3.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于， 所述光学式气体传感单元添加有多孔纳米颗粒， 与目标物体的气体接触时， 光学式气体传 感单元发生光学信号改变， 所述光学信号是包括颜色、 光强、 形状、 折射率、 荧光信号的参 数。 4.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于， 所述镜头模块通过外壳固定在修饰后的图像传感器上方， 获取目标物体的视觉图像信息， 所述外壳两侧分别设有气体流入通道和流出通道， 气体流入通道与连接有微型风扇或微型 气泵， 其中微型风扇与图像传感器平行放置 。 5.如权利要求4所述的一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于， 所述外壳使用3D打印的方式定制成与图像传感器基底匹配的形状和尺寸， 并安装在修饰后 的图像传感器的正上 方。 6.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于， 所述图像传感器表面的边缘区域修饰所述光学式气体传感单元； 所述步骤三具体为： 对图 像传感器输出 的图像， 按照信号区域分割为视觉区图像和嗅觉区图像， 其中视觉区图像为 未经修饰的中间成像区域的图像， 嗅觉区图像为图像传感器修饰了光学式气 体传感单元后 获取到的边缘区域的图像， 后将分割后的图像进行预处理， 得到视觉输入信号和嗅觉输入 信号。 7.如权利要求6所述的一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于， 所述预处理具体为： 对视觉区图像依次经过尺 寸调整、 归一化、 随机裁剪、 随机水平翻转、 随 机垂直翻转的前处理过程得到视觉输入信号， 对嗅觉区域图像首先进 行气体反应前后的图 像差减操作， 得到嗅觉差减图像再依次经过尺寸调整、 归一化、 随机水平翻转、 随机垂直翻 转的前处理过程得到嗅觉输入信号； 其中所述进行气体反应前后的图像差减操作具体为： 将采样一段时间后经过光学式气体传感单元发生颜色反应后的图像与采样初始的图像进 行像素级图像差减。 8.如权利要求1所述的一种基于视觉嗅觉协同感知器件的目标识别方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114821576 A 2所述视觉嗅觉融合算法模型包括视觉特征提取卷积神经网络、 嗅觉特征提取卷积神经网络 及一个全连接的特征融合与提取卷积神经网络， 分别使用视觉特征提取卷积神经网络和嗅 觉特征提取卷积神经网络， 提取视觉与嗅觉输入信号的特征， 将提取 的特征使用全连接的 特征融合， 再利用提取卷积神经网络对视觉嗅觉融合特征进行特征提取， 后得到的特征集 合输入至Softmax分类 器中， 得到目标识别结果。 9.一种基于视觉嗅觉协同感知器件的目标识别装置， 其特征在于， 包括一个或多个处 理器， 用于实现权利要求1 ‑8中任一项所述的基于 视觉嗅觉协同感知器件的目标识别方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有程序， 该程序被处理器执行时， 实现权利要求1 ‑8中任一项所述的基于 视觉嗅觉协同感知器件的目标识别方法。权　利　要　求　书 2/2 页 3 CN 114821576 A 3