(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221078620 6.6 (22)申请日 2022.07.04 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 颜俊　钱琛　曹艳华　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 姚姣阳 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01)G06V 10/28(2022.01) G06T 7/55(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于yolov3和卷积神经网络的多目标定位 方法 (57)摘要 本发明提供了一种基于yolov3和卷积神经 网络的多目标定位方法， 包括离线训练阶段和在 线定位阶段， 离线训练阶段划分子区域， 获取训 练数据； 利用yolov3网络训练rgb色彩图建立目 标检测模型； 根据目标检测结果对深度图像进行 分割和图像融合， 得到训练数据指纹； 最后利用 卷积神经网络得到位置估计模型； 在线定位阶 段， 利用目标检测模型进行图像融合得到在线数 据指纹； 确定每个目标的位置估计模型， 得到目 标位置。 本发明通过yolov3网络和卷积神经网络 经离线训练阶段建立位置估计模 型， 并对深度图 像进行切割和融合， 提取训练定位指纹， 经在线 阶段利用在线定位指纹和位置估计模 型， 完成多 目标定位， 解决了现有目标定位方法预测灵活性 不足、 准确性 不够的问题。 权利要求书2页 说明书11页 附图7页 CN 115170662 A 2022.10.11 CN 115170662 A 1.一种基于yolov3和卷积神经网络的多目标定位方法， 包含离线训练阶段和在线定位 阶段两个阶段， 其特 征在于： 离线训练阶段包括： 步骤1： 将定位区间分成若干个子区间， 利用相机获取每个子区间的训练数据， 训练数 据包括点云信息、 rgb色彩图和深度图像； 步骤2： 采用yolov3网络对rgb色彩图进行多目标检测识别离线训练， 得到训练结果， 并 建立多目标检测模型； 步骤3： 根据多目标检测模型输出的目标识别结果， 对深度图像进行切割和融合， 提取 每个目标的训练定位指纹； 步骤4： 利用卷积神经网络进行离线回归训练， 得到每 个子区间的位置估计模型； 在线定位阶段包括： 步骤5： 利用相机采集在线数据， 在线数据包括 点云信息、 rgb色彩图和深度图像； 步骤6： 将步骤5得到的rgb色彩图送入步骤2的多目标检测模型， 输出目标检测结果， 完 成目标识别； 步骤7： 利用步骤6得到的目标检测结果， 对步骤5所得的深度图像进行分割和融合， 得 到每个目标的在线定位指纹； 步骤8： 利用步骤5所得的每个目标的点云信息， 确定每个目标适用的步骤4的所述位置 估计模型， 结合 步骤7所述在线定位指纹， 完成多目标定位。 2.根据权利 要求1的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于， 步骤 1具体包括： 步骤11： 根据不同位置在相机中的点云信息， 将定位区间分成若干个子区间； 步骤12： 在每个子区间中， 目标处于不同的参考点上， 利用相机获取训练信息， 训练信 息至少包括目标的点云信息、 rgb色彩图、 深度图像。 3.根据权利 要求1的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于， 步骤 2具体包括： 步骤21： 对 采集的rgb色彩图打上目标的标签， 制作训练数据集； 步骤22： 利用yolov3网络对步骤2 1训练数据 集进行分类学习训练， 得到训练结果， 并建 立多目标检测模型。 4.根据权利 要求1的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于， 步骤 3具体包括： 步骤31： 根据步骤2的多目标检测模型的对每个目标的box信息的输出， 得到每个目标 在训练数据的rgb色彩图中的位置信息； 步骤32： 根据目标在rgb色彩图中的位置， 对每个目标识别结果找到目标对应于步骤1 深度图像中的位置， 并将 像素设为 1， 深度图像的其他位置像素设置为0， 完成对深度图像的 分割， 得到分隔深度图； 步骤33： 将基于目标分割的分隔深度图与步骤1中得到的原始深度图像对应位置的像 素值进行相加， 进 行像素级融合， 在原始深度图像中融入目标位置特征， 形成每个目标的训 练定位指纹。 5.根据权利 要求1的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于， 步骤权　利　要　求　书 1/2 页 2 CN 115170662 A 24具体包括： 步骤41： 将步骤3得到的每个目标的训练定位指纹和对应的位置信息， 送入卷积神经网 络进行特征提取， 经过卷积层和池化层后， 提取最后一层 池化层后的张量， 铺平展开为 1024 维特征向量； 步骤42： 将1024维特征向量送入全连接网络， 利用全连接网络进行基于每个子区间位 置的离线回归学习， 得到回归预测模型。 6.根据权利 要求5的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于： 步骤 41中， 卷积神经网络包括四层卷积层和三层池化层。 7.根据权利 要求5的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于： 步骤 42中， 卷积神经网络的全连接网络包括四层全连接层。 8.根据权利 要求1的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于， 步骤 5具体包括： 步骤51： 采用相机根据不同位置在相机中的点云信息， 将定位区间分成若干个子区间； 步骤52： 在每个子区间中， 目标处于不同的参考点上， 利用相机获取在线信息， 在线信 息至少包括目标的点云信息、 rgb色彩图、 深度图像。 9.根据权利 要求6的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于， 步骤 7具体包括： 步骤71： 根据步骤6的多目标检测模型的对每个目标的box信息的输出， 得到每个目标 在在线数据的rgb色彩图中的位置信息； 步骤72： 根据目标在rgb色彩图中的位置， 对每个目标识别结果找到目标对应于步骤5 深度图像中的位置， 并将 像素设为 1， 深度图像的其他位置像素设置为0， 完成对深度图像的 分割， 得到分隔深度图； 步骤73： 将基于目标分割的分隔深度图与步骤5中得到的原始深度图像对应位置的像 素值进行相加， 进 行像素级融合， 在原始深度图像中融入目标位置特征， 形成每个目标的在 线定位指纹。 10.根据权利要求1的基于yolov3和卷积神经网络的多目标定位方法， 其特征在于， 步 骤8具体包括： 步骤81： 利用多目标检测模型输出的每个目标的box信息， 获取box中心像素点， 提取其 在点云信息中对应的深度信息； 步骤82： 为了避免rgb色彩图片中像素点在点云信息中深度信息的空洞现 象， 假定选取 box中心像素点位置为(x， y)， 选 择rgb色彩图片中位置坐标为(x， y)、 (x ‑1， y)、 (x+1， y)、 (x， y‑1)、 (x， y+1)共五个 像素点在点云信息中的深度信息的中间值。权　利　要　求　书 2/2 页 3 CN 115170662 A 3