(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210786204.7 (22)申请日 2022.07.04 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 颜俊　韩旭　曹艳华　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 姚姣阳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/82(2022.01) G06V 10/766(2022.01) G06V 10/764(2022.01)G06V 40/16(2022.01) G06T 7/55(2017.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于RGB-D图像分割的多目标人员识别与定 位方法 (57)摘要 本发明提供了一种基于RGB ‑D图像分割的多 目标人员识别与定位方法， 包含离线训练阶段和 在线定位阶段， 离线训练阶段采集训练数据， 然 后yo l ov3网络建立多目标检测模型， 再分类 学 习后建立目标识别模型， 生 成彩色深度图进行图 像分割后利用卷积神经网络得到位置估计模型， 在线定位阶段采集在线数据后利用多目标检测 模型和目标识别模型完成人员识别； 生成彩色深 度图； 利用位置估计模型完成人员目标的定位。 与现有技术相比， 本发明的基于RGB ‑D图像分割 的多目标人员识别与定位方法通过生成彩色深 度图后根据yo  l ov3网络识别结果进行图像分 割， 将分割的图像输入位置估计模 型完成人员目 标的定位， 解决了现有多目标人员识别与定位方 法灵活性 不足、 准确性 不够的问题。 权利要求书2页 说明书8页 附图3页 CN 115170509 A 2022.10.11 CN 115170509 A 1.一种基于RGB ‑D图像分割的多目标人员识别与定位方法， 包含离线训练阶段和在线 定位阶段两个阶段， 其特 征在于： 离线训练阶段包括： 步骤1： 利用RGB ‑D相机采集训练数据， 训练数据包括rgb色彩图和深度图像； 步骤2： 采用yolov3网络对步骤1的rgb色彩图进行多目标人员目标检测训练， 得到训练 结果， 建立多目标检测模型； 步骤3： 根据步骤2得到的训练结果， 将rgb色彩图分割， 利用目标人脸数据进行分类学 习， 并建立目标识别模型； 步骤4： 结合rgb色彩图和深度图像生成彩色深度图； 步骤5： 根据步骤2得到的训练结果对步骤4得到的彩色深度图进行图像分割后利用卷 积神经网络 离线回归训练， 得到位置估计模型； 在线定位阶段包括： 步骤6： 利用RGB ‑D相机采集在线数据， 在线数据包括rgb色彩图和深度图像； 步骤7： 利用步骤2多目标检测模型和步骤3的目标识别模型完成人员识别； 步骤8： 结合rgb色彩图和深度图像生成彩色深度图； 步骤9： 利用步骤5位置估计模型完成人员目标的定位。 2.根据权利要求1的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于： 步骤2中训练结果包括yo lov3网络输出的目标在的rgb色彩图中的目标矩形框位置信息 。 3.根据权利要求2的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于， 步骤3具体包括： 步骤31： 根据步骤2多目标人员目标检测训练的训练结果， 利用得到的目标矩形框位置 信息， 分割rgb色彩图， 得到每 个人员目标的rgb色彩图分割图； 步骤32： 利用Ha ar级联分类 器对rgb色彩图分割图进行检测， 提取目标 人脸数据； 步骤33： 采用Eigen  Face方法利用步骤32提取的目标人脸数据进行分类学习， 建立目 标识别模型。 4.根据权利要求1的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于， 步骤4生成彩色深度图具体包括： 步骤41： 利用坐标系变换 方法， 将深度图像中的像素点与rgb色彩图对齐； 步骤42： 利用映射的方法将原本灰度的深度图像转变成彩色深度图像。 5.根据权利要求2的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于， 步骤4生成彩色深度图还 包括： 步骤43： 利用中值滤波平 滑滤波器去除彩色深度图像的噪声； 步骤44： 利用双边滤波 进行彩色深度图像空洞修复。 6.根据权利要求1的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于， 步骤5具体包括为： 根据步骤2得到的训练结果， 将彩色深度图进 行图像分割， 保留目标矩形 框范围内的深度图像， 并将区域外的深度值置为255； 将分割后的彩色深度图与对应的位置 信息送入卷积神经网络训练位置估计模型。 7.根据权利要求1的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于： 步骤1和步骤6中， RGB ‑D相机采集在线数据时， 会一次同时生成一个rgb色彩图和一个深度权　利　要　求　书 1/2 页 2 CN 115170509 A 2图像。 8.根据权利要求1的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于， 步骤7具体为： 步骤71： 将步骤6中RGB ‑D相机采集到的rgb色彩图送入yolov3网络， 进行人员多目标检 测； 步骤72： 根据步骤71的多目标检测结果， 提取每 个目标的人脸数据； 步骤73： 将采集到的人脸数据送入步骤3目标识别模型， 完成人员识别。 9.根据权利要求1的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于： 步骤8中对生成彩色深度图的过程与步骤4中对生成彩色深度图的过程相同。 10.根据权利要求7的基于RGB ‑D图像分割的多目标人员识别与定位方法， 其特征在于， 步骤9具体包括： 步骤91： 利用步骤7多目标检测模型输出的目标检测结果对步骤8中的彩色深度图进行 图像分割； 步骤92： 将步骤91中进行图像分割后的彩色深度图输入步骤5位置估计模型， 得到人员 位置， 完成人员目标的定位。权　利　要　求　书 2/2 页 3 CN 115170509 A 3