(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210732669.4 (22)申请日 2022.06.27 (65)同一申请的已公布的文献号 申请公布号 CN 114821814 A (43)申请公布日 2022.07.29 (73)专利权人 中建安装集团有限公司 地址 210046 江苏省南京市栖霞区文澜路6 号 (72)发明人 姚盛清　肖志中　张艳芳　高增孝　 项龙康　王奇　倪娇娇　 (74)专利代理 机构 南京先科专利代理事务所 (普通合伙) 32285 专利代理师 何静 (51)Int.Cl. G06V 40/20(2022.01)G06V 10/80(2022.01) G06K 9/62(2022.01) 审查员 丁娇 (54)发明名称 一种融合可见光、 红外、 结构光的步态识别 方法 (57)摘要 本发明提供了一种融合可见光、 红外、 结构 光的步态识别方法， 从可见光传感器、 红外传感 器、 结构光传感器获取三种原始图像数据， 然后 改进图像处理与多传感器融合方法， 获得融合 图， 基于融合图进行步态识别， 有效提高了识别 算法的鲁棒性， 能够实现在各种极端条件下完成 对人员身份的准确辨识， 适应性好， 具有广阔的 应用前景。 权利要求书2页 说明书5页 附图1页 CN 114821814 B 2022.09.30 CN 114821814 B 1.一种融合可 见光、 红外、 结构光的步态 识别方法， 其特 征在于， 包括如下步骤： 步骤1： 从可见光传感器、 红外传感器、 结构光传感器获取三种原始数据并进行预处理， 获得具有一致的空间映射关系的三种图像数据； 步骤2： 将三种图像数据中的可见光数据依据YUV编码空间拆分为Y、 U、 V三个通道， 红外 数据编码为T通道， 结构光数据编码为深度通道； 步骤3： 针对深度通道， 利用二维拉普拉斯变换求解深度通道中每个像素点前后左右四 个方向上相邻的8个 像素点各向同性的二阶导， 将二阶导相加得到像素点 新值； 步骤4： 针对经步骤3处理后的深度通道， 使用两个卷积算子进行卷积运算， 确定每个像 素点的梯度向量、 梯度强度、 梯度方向； 步骤5： 利用梯度向量生成2个互相反相的特征卷积核， 将两个特征卷积核作为权重， 分 别对Y、 U、 V、 T四个通道中相应像素点位置的3 ×3区域像素进 行卷积运算， 得到8个特征权重 图； 步骤6： 计算8个特 征权重图之中相同像素位置的8个值之间的相似度； 步骤7： 设定相似度阈值， 根据每 个像素点的相似度情况获取相应的融合图像； 步骤8： 提取融合图像中的人体头部信息、 人体骨骼信息， 基于人体骨骼信息提取步态 特征， 基于预处 理后的YUV可 见光光流提取步态特 征， 将二者结合进行步态 识别； 所述步骤3中， 像素点 新值通过如下公式求 解： 其中， 表示对函数f(x,y)进行二阶偏导处理； (x,y)表示像素点的坐标， x为 横坐标， y为纵坐标； 表示偏导符号； f代表f(x,y)； υ1、 υ2、 υ3、 υ4、 分别表示0 °、 90°、 180°、 270°四个方向的单位向量。 2.根据权利要求1所述的融合可见光、 红外、 结构光的步态识别方法， 其特征在于， 所述 步骤4中， 梯度强度和梯度方向通过 下式计算得到： 其中， Gx、 Gy均表示卷积算子； 表示像素点(x,y)的梯度强度； 表示像素点 (x,y)的梯度方向。 3.根据权利要求1所述的融合可见光、 红外、 结构光的步态识别方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 114821814 B 2步骤5中， 2个互相反相的特 征卷积核G1(x,y)和G2(x,y)如下所示： 其中， 表示像素点(x,y)的梯度强度； 表示像素点(x,y)的梯度方向。 4.根据权利要求1所述的融合可见光、 红外、 结构光的步态识别方法， 其特征在于， 所述 步骤6中， 相似度通过 下式计算得到： 其中， S(x,y)表示横坐标为x、 纵坐标为y的像素点位置上的相似度； i为变量参数， 表示 特征权重图序号； Ci(x,y)表示第i幅特 征权重图中横坐标为x、 纵坐标为y的像素点的参数。 5.根据权利要求1所述的融合可见光、 红外、 结构光的步态识别方法， 其特征在于， 所述 步骤7中， 相似度阈值分别为T1、 T2， 且T1<T2； S(x,y)<T1时， 融合后的图像A(x,y)＝Ci(x,y)max； T1≤S(x,y)≤T2时， 融合后的图像A(x,y)＝取值 排名前四的4个Ci(x,y)的平均值； T2＜S(x,y)时， 融合后的图像 其中， S(x,y)表示横坐标为x、 纵坐标为y的像素点位置上的相似度； Ci(x,y)表示第i幅 特征权重图中横坐标为x、 纵坐标为y的像素点的参数； i为变量参数， 表 示特征权重图序号； Ci(x,y)max表示第i幅特 征权重图中横坐标为x、 纵坐标为y的像素点的参数最大值。 6.根据权利要求1所述的融合可见光、 红外、 结构光的步态识别方法， 其特征在于， 所述 步骤1中的预处 理包括内参 修正、 外参修正、 裁切处 理、 归一化处理。权　利　要　求　书 2/2 页 3 CN 114821814 B 3