(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210061609.4 (22)申请日 2022.01.19 (65)同一申请的已公布的文献号 申请公布号 CN 114078151 A (43)申请公布日 2022.02.22 (73)专利权人 季华实验室 地址 528200 广东省佛山市南海区桂城街 道环岛南路28号 (72)发明人 张晟东　邓涛　李志建　蔡维嘉　 王济宇　古家威　张立华　 (74)专利代理 机构 佛山市海融科创知识产权代 理事务所(普通 合伙) 44377 代理人 陈志超 (51)Int.Cl. G06T 7/50(2017.01) G06V 10/44(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 112560972 A,2021.0 3.26 CN 113776515 A,2021.12.10 CN 110415342 A,2019.1 1.05 CN 113298781 A,2021.08.24 CN 110378196 A,2019.10.25 CN 108509918 A,2018.09.07 CN 108665541 A,2018.10.16 CN 113739786 A,2021.12.0 3 CN 103085070 A,2013.0 5.08 US 2021082132 A1,2021.0 3.18 谢小鹏 等."一种改进的二维ICP点云配准 算法". 《激光与红外》 .2021,第51卷(第7期), 张伟伟 等.融合激光与视 觉点云信息的定 位与建图方法. 《计算机 应用与软件》 .2020,(第 07期), 审查员 周苏玲 (54)发明名称 一种点云融合方法、 装置、 电子设备及存储 介质 (57)摘要 本发明涉及数据融合技术领域， 具体公开了 一种点云融合方法、 装置、 电子设备及存储介质， 其中， 方法包括以下步骤： 获取点云信息和与点 云信息对应的图像信息； 对点云信息进行低频滤 波处理获取有效点云信息； 将有效点云信息转换 为点云迭代 值； 将图像信息整合转换为图像迭代 值； 提取点云特征信息和图像特征信息； 根据点 云特征信息和图像特征信息建立损失函数； 根据 自适应梯度下降算法更新损失函数， 直至损失函 数收敛； 获取损失函数收敛时的融合权重， 作为 点云信息的泛化融合权重以融合点云信息； 该方 法以图像信息整合提取的特征作为点云信息融 合提取的特征的评价方式为点云融合增加了关 联的评判对象， 能有效提高融合计算速度和匹配鲁棒性。 权利要求书2页 说明书12页 附图3页 CN 114078151 B 2022.04.22 CN 114078151 B 1.一种点云融合方法， 用于 融合四足机器人采集的点云信 息， 其特征在于， 所述方法包 括以下步骤： 获取所述点云信息和与所述 点云信息对应的图像信息； 对所述点云信息进行低频 滤波处理获取有效点云信息； 设定融合权重将所述有 效点云信 息转换为点云迭代值,点云迭代值为不同时刻点云融 合过程中的有效点云信息的迭代值； 设定整合权重将所述图像信 息整合转换为图像迭代值,图像迭代值为不同时刻图像整 合过程中的图像信息的迭代值； 根据所述 点云迭代值和所述图像迭代值分别提取点云特 征信息和图像特 征信息； 根据所述 点云特征信息和所述图像特 征信息建立损失函数； 根据自适应梯度下降算法更新所述损失函数， 直至所述损失函数收敛； 获取所述损失函数收敛时的融合权重， 作为所述点云信 息的泛化融合权重以融合所述 点云信息 。 2.根据权利要求1所述的一种点云融合方法， 其特征在于， 所述对所述点云信 息进行低 频滤波处理获取有效点云信息的步骤 包括： 基于所述 点云信息进行凸包构建获取凸多面体； 根据所述凸多面体的平面生成点云法线， 并根据法线差分算法对所述点云信 息进行低 频滤波， 获取 所述有效点云信息 。 3.根据权利要求2所述的一种点云融合方法， 其特征在于， 所述基于所述点云信 息进行 凸包构建获取凸多面体的步骤 包括： 选取所述点云信息中的四个不共面的点云 建立凸多面体； 基于所述点云信 息中位于所述凸多面体外的点云逐步扩大所述凸多面体， 直至所述凸 多面体包围所述 点云信息中的所有点云。 4.根据权利要求2所述的一种点云融合方法， 其特征在于， 所述根据所述凸多面体的平 面生成点云法线， 并根据法线差分算法对所述点云信息进行低频滤波， 获取所述有效点云 信息的步骤 包括： 设定第一邻域半径和第二邻域半径， 所述第一邻域半径大于所述第二邻域半径； 根据所述第一邻域半径和所述第二邻域半径分别计算所述凸多面体各面的第一法线 和第二法线； 根据所述法线差分算法计算所述凸多面体每个面的所述第一法线和所述第二法线的 差分值范 数； 去除所述差分值范数小于差分阈值的平面对应的点云信 息中的点云， 以获取有 效点云 信息。 5.根据权利要求1所述的一种点云融合方法， 其特征在于， 所述根据所述点云迭代值和 所述图像迭代值分别提取点云特 征信息和图像特 征信息的步骤 包括： 对所述点云迭代值逐步进行3D特征提取、 深度信息加权融合、 2D特征提取和特征降采 样提取， 以获取 所述点云特征信息； 对所述图像迭代值逐步进行2D特征提取和特征降采样提取， 以获取所述图像特征信 息。权　利　要　求　书 1/2 页 2 CN 114078151 B 26.根据权利要求1所述的一种点云融合方法， 其特征在于， 所述损失函数为MSE损失函 数。 7.根据权利要求1所述的一种点云融合方法， 其特征在于， 所述根据自适应梯度 下降算 法更新所述损失函数， 直至所述损失函数收敛的步骤 包括： 根据所述融合权 重定义所述损失函数的转换参数； 根据所述损失函数的上一时刻的所述转换参数的梯度建立当前时刻的自适应梯度下 降函数； 根据所述自适应梯度 下降函数更新所述转换参数以更新所述损失函数， 直至所述损失 函数收敛。 8.一种点云融合装置， 用于 融合四足机器人采集的点云信 息， 其特征在于， 所述装置包 括： 获取模块， 用于获取 所述点云信息和与所述 点云信息对应的图像信息； 滤波模块， 用于对所述 点云信息进行低频 滤波处理获取有效点云信息； 第一设定模块， 用于设定融合权重将所述有效点云信息转换为点云迭代值,点云迭代 值为不同时刻点云融合过程中的有效点云信息的迭代值； 第二设定模块， 用于设定整合权重将所述图像信息整合转换为图像迭代值,图像迭代 值为不同时刻图像整合过程中的图像信息的迭代值； 特征提取模块， 用于根据点云迭代值和图像迭代值分别提取点云特征信 息和图像特征 信息； 损失函数模块， 用于根据所述 点云特征信息和所述图像特 征信息建立损失函数； 更新模块， 用于根据自适应梯度下降算法更新所述损失函数， 直至所述损失函数收敛； 融合模块， 用于获取所述损 失函数收敛时的融合权重， 作为所述点云信息的泛化融合 权重以融合所述 点云信息 。 9.一种电子设备， 其特征在于， 包括处理器以及存储器， 所述存储器存储有计算机可读 取指令， 当所述计算机可读取指 令由所述处理器执行时， 运行如权利要求 1‑7任一项所述方 法中的步骤。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执 行时运行如权利要求1 ‑7任一项所述方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114078151 B 3