(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210625685.3 (22)申请日 2022.06.02 (65)同一申请的已公布的文献号 申请公布号 CN 114897875 A (43)申请公布日 2022.08.12 (73)专利权人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 徐莹　孙乐圣　陈俊涛　刘哲　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 陈炜 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/246(2017.01) G06T 7/73(2017.01)G06T 17/00(2006.01) G06T 5/00(2006.01) G06T 7/35(2017.01) G06V 10/22(2022.01) G01N 21/84(2006.01) (56)对比文件 WO 2022095514 A1,202 2.05.12 CN 111598160 A,2020.08.28 罗锐等.应用于微细流场的全息荧 光粒子图 像三维测速系统. 《工程热物理学报》 .20 06,(第 03期),135-137. Hong-wei Shi et al.Study o n method of bacteria ima ge recogn ition. 《2011 4th Internati onal Congress on Image and Signal Proces sing》 .2011, 审查员 邱立英 (54)发明名称 基于深度学习的微通道下大肠杆菌与微球 的三维定位方法 (57)摘要 本发明公开了一种基于深度学习的微通道 下大肠杆菌与微球的三维定位方法； 该定位方法 如下： 一、 样本制备。 二、 样本视频的采样与拆训 练分。 三、 数据集标注。 在数据集的图像中， 分别 对大肠杆菌和微球打上标签。 四、 模型。 利用带标 签的数据集训练模型， 获得能够分别识别出大肠 杆菌和微球的识别模型。 五、 对大肠杆菌和微球 分别进行目标定位。 本发明构建了三维立体场景 逐帧检测中大肠杆菌与微球的有效训练集， 制定 了不同聚焦程度的有效标注规则， 有效的检测大 肠杆菌与微球， 降低微球与细菌的漏检率与错检 率和杂质的影响。 此外， 本发明可同时对细菌与 微球数量进行计数， 可利用微球作为参照或辅 助， 有效筛 选样本与估计 菌液浓度。 权利要求书2页 说明书7页 附图5页 CN 114897875 B 2022.11.11 CN 114897875 B 1.一种基于深度学习的微通道下大肠杆菌与微球的三维定位方法， 其特征在于： 包括 以下步骤： 步骤1、 样本制备 使用多个不同浓度的大肠杆菌菌液分别与微球、 琼脂糖混合， 并分别注入到微通道中， 得到多个微 通道样本； 步骤2、 样本 视频的采样与拆分 2‑1.针对每个微通道样本， 均取若干个视野； 针对每个视野， 均进行不同聚焦深度的图 像采集， 获得视频样本； 2‑2.根据视频样本中提取若干张图像， 组成数据集； 步骤3、 数据集标注； 在数据集的图像中， 分别对大肠杆菌和微球打上 标签； 步骤4、 模型训练； 利用带标签的数据集训练模型， 获得能够分别识别出大肠杆菌和微 球的识别模型； 步骤5、 对大肠杆菌和微球分别进行目标定位； 5‑1.向微通道中输入混合有微球和琼脂糖溶液的被测菌液； 对微通道的不同深度进行 聚焦拍摄， 获得微通道不同深度的被测图像； 使用识别模型对 各被测图像进行检测； 得到各 被测图像中所有细菌和微球对应的候选 框[xl,yl,xr,yr]及其置信度； 5‑2.按聚焦位置从上到下的顺序对各被测图像进行排序， 获得被测图像集合F， 得到被 测图像集 合F中的每 个图像帧Fi； 5‑3.按照排列顺序依次对所有图像帧进行识别去重操作， 具体如下： 依次取图像帧Fi中 未被访问过的候选框k作为特征框； 将 特征框标记为已访问状态； 对当前图像帧Fi逐帧向下 进行近似框识别， 直到完成最后一个图像帧的近似框识别或有图像帧中不存在特征框的近 似框； 将特征框的所有近似框均标记为已访问状态； 以特征框及其近似框中置信度最高的 候选框作为目标点位置， 将目标点位置的坐标放入 结果集中； 所有候选框k均标记已访问状 态时， 识别去重操作完成； 步骤6： 三维重建 根据步骤5得到的结果 集中的所有目标点 坐标， 构建出包 含所有目标点的三维图像。 2.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方 法， 其特征在于： 步骤2 ‑2中提取数据集的过程如下： 各微通道的均匀度系数γi如下： 式中， φk表示当前微通道 中第k个视野下的微球个数， μ表示当前微通道 中所有视野下 的平均微球个数； Vk表示当前微通道中第k个视野对应 的体积， n表示当前微通道的视野区 域数； 将均匀度系数γi小于或等于0.8的微通道对应的所有视频样本去除； 之后， 将剩余视 频样本中微球数量 不在预设区间内的视频样本去除； 对保留的视频样本进行逐帧取出， 得到 图片集； 在图片集中随机选取多张样本 图像作 为数据集。 3.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方权　利　要　求　书 1/2 页 2 CN 114897875 B 2法， 其特征在于： 步骤3中进行 数据集标注的具体过程如下： 3‑1.选取数据集中的若干张不同聚焦程度的含有细菌与微球的局部图像； 局部图像仅 含有一个大肠杆菌或一个微球； 对于含有微球的局部图像， 过微球的圆心截取一条直线， 使 用式(2)计算该直线上每个点的信噪比SNR； 计算截线上的信噪比极差， 选取信噪比极差大 于1的截线对应的微球图像作为处于聚焦状态的微球； 对于含有大肠杆菌的局部图像， 过细菌 中心截取一条直线， 使用式(2)计算该直线上每 个点的信噪比SN R； 计算截 取的直线 上的信噪比极差， 选取信噪比极差大于0.15的截线对应 的大肠杆菌图像作为处于聚焦状态的大肠杆菌； 式中， SNR表示截线上的一个点的信噪 比； gi表示灰度值大小； stdDev表示背景的标准 差； 3‑2.工作人员根据处于聚焦状态的细菌和微球的形状特点， 对数据集中的所有图像进 行人工标注。 4.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方 法， 其特征在于： 所述的微 通道的长度为 40mm， 宽为0.5m m， 高为0.1m m。 5.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方 法， 其特征在于： 所述的微球为 直径2 μm的聚苯乙烯微球。 6.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方 法， 其特征在于： 步骤4中， 所述的识别模型采用YOLO模型； 模型损失函数采用CI oU函数。 7.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方 法， 其特征在于： 步骤4中， 在模型训练过程中， 采用图像缩放、 色彩空间调整和Mosaic ‑8增 强方法对数据集中的图像进行 数据增强， 扩增训练样本数量。 8.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方 法， 其特征在于： 步骤5 ‑3中， 近似框表示与特征框的重叠区域大于或等于特征框的90％的 候选框。 9.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位方 法， 其特征在于： 步骤6执行后， 进行目标区域细菌变化跟踪， 具体过程如下： 根据步骤6得到 的三维图像， 记录感兴趣区域， 以及感兴趣区域中的细菌位置和形态； 经过预设时长后， 再次对微通道进行图像采集， 以及细菌、 微球的位置检测， 获得新的 三维图像； 利用两个三维 图像中微球的位置作为定位基准， 获得感兴趣区域中的细菌的生 长情况。 10.根据权利要求1所述的一种基于深度学习的微通道下大肠杆菌与微球的三维定位 方法， 其特 征在于： 微 通道样本中， 大肠杆菌 菌液、 微球、 琼脂糖的体积比为1:1:2。权　利　要　求　书 2/2 页 3 CN 114897875 B 3