(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211173252.5 (22)申请日 2022.09.26 (71)申请人 广州市城市规划勘测设计 研究院 地址 510030 广东省广州市越秀区建 设大 马路10号 (72)发明人 张郁　王明省　吴辉　刘洋　王楠　 秦亮军　丁晶　余锐　陈德权　 李爽　陈敏　谭福宏　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 何卿华 (51)Int.Cl. G06T 17/00(2006.01) G06V 20/70(2022.01) G06V 20/10(2022.01)G06V 10/774(2022.01) G06V 10/74(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 树木影像图处理方法、 装置、 终端设备及存 储介质 (57)摘要 本发明公开了一种树木影像图处理方法、 装 置、 终端设备及存储介质， 通过获取目标树木的 多视角影像图； 基于所述多视角影像图， 采用预 设的全场景语义信息启发式的影像细节匹配模 型， 获取所述目标树木的全要素信息以及提取所 述目标树木的对应掩膜； 根据所述目标树木的对 应掩膜， 采用U nity3D建模和三维实景M esh模型， 构建所述目标树木的全域实景三维模型和单体 化模型， 以使所述目标树木在全域和单体双维度 上可视化； 基于所述全要素信息， 建立全要素树 木信息档案， 从而更新维护所述全要素树木信 息。 本发明实施例获取目标树木的全要素信息， 实现目标树木的全域实景三维建模和单体化建 模。 权利要求书3页 说明书9页 附图1页 CN 115457212 A 2022.12.09 CN 115457212 A 1.一种树木影 像图处理方法， 其特 征在于， 包括： 获取目标树木的多视角影像 图； 其中， 所述多视角影像图包括： 正射影像图、 侧面影像 图、 地面影像图和近地 面细节化影 像图； 基于所述多视角影像图， 采用预设的全场景语义信息启发式的影像细节匹配模型， 获 取所述目标树木的全要素信息以及提取所述 目标树木的对应掩膜； 其中， 所述全要素信息 包括： 种类、 数量、 面积、 胸径、 树高、 冠幅、 位置、 长势等； 根据所述目标树木的对应掩膜， 采用Unity3D 建模和三维实景Mesh模型， 构 建所述目标 树木的全域实景三维模型和单体化模型， 以使所述目标树木在全域和单体双维度上可视 化； 基于所述全要素信息， 建立全要素树木信息档案， 从而更新维护所述全要素树木信息 。 2.如权利要求1所述的树木影像图处理方法， 其特征在于， 所述预设的全场景语义信 息 启发式的影 像细节匹配模型 是利用Rado n变换模型和Po intNet网络模型获得， 具体包括： 基于样本树木的多视角影 像图， 获取全场景样本数据集； 通过所述全场景样本数据集， 采用Radon变换模型确定所述样本树木语义方向， 得到所 述样本树木的全场景语义信息； 所述全场景语义信息包括： 样本树木的种类、 位置和影像图 纹理等； 根据所述全场景语义信息， 选取PointNet网络模型作为影像细节匹配模型的基础框 架， 获得预设的全场景语义信息启发式的影 像细节匹配模型。 3.如权利要求2所述的树木影像图处理方法， 其特征在于， 所述通过所述全场景样本数 据集， 采用Radon变换模 型确定所述样 本树木语义方向， 得到所述样本树木的全场景语义信 息， 具体包括： 通过所述全场景样本数据集设定阈值， 利用Radon变换模型， 获取所述Radon变换矩阵 中最大线积分数值； 将所述Radon变换矩阵中最大线积分数值小于所述阈值的所述全场景样本数据集中的 点数据设置为0， 保留所述Radon变换矩阵中最大线积分数值大于等于所述阈值的所述全场 景样本数据集中的点数据； 对所保留的所述全场景样本数据集中的点数据的各个角度所对应的所有线积分数值 进行求和， 得到的和的最大值所对应的角度即为所述样本树木的语义方向， 从而得到所述 样本树木的全场景语义信息； 其中， 获取 所述Rado n变换矩阵中最大线积分数值的计算原理如下： 式中， R(ρ, θ )为所述Radon变换矩阵中最大线积分数值； F为所述全场景样本数据集中 每一个影像图所在的平面， 即x ‑y平面； f(x,y)为所述每一个影像图中点坐标(x,y)所对应 的灰度值； L为所述每一个影像图的各个角度所对应的每一条直线； ρ为原点到L之间的距 离； θ为L的法线与x轴的夹角； 当( ρ ‑x cosθ‑y sinθ )的值为0时， δ( ρ ‑x cosθ‑y sinθ )取值 为1； 反之， 取值为0。 4.如权利要求1所述的树木影像图处理方法， 其特征在于， 所述根据所述目标树木的对 应掩膜， 采用Unity3D建模和三维实景Mesh模 型， 构建所述目标树木的全域实景三 维模型和权　利　要　求　书 1/3 页 2 CN 115457212 A 2单体化模型， 以使所述目标树木在全域和单体双维度上 可视化， 具体为： 根据所述目标树木的对应掩膜， 采用Unity3D建模对所述目标树木进行定位和贴图， 得 到所述目标树木的全域实景三维模 型； 结合三 维实景Mesh模型， 通过白膜制作、 纹理自动映 射、 纹理修饰等模型修饰， 构建所述目标树木的单体化模型， 以使 所述目标树木在 全域和单 体双维度上 可视化。 5.如权利要求1所述的树木影像图处理方法， 其特征在于， 所述正射影像图和侧面影像 图是通过采用小 型多旋翼高精度无人机型， 在所述无人机平台上的垂直方向和倾斜方向搭 载多镜头传感器， 在所述目标树木的垂直方向和倾 斜方向上进行测量获得； 所述地面影像图是通过采用机载式、 手持式、 背包移动式、 车载式等多载体激光扫描 仪， 在地面对所述目标树木进 行的全方位激光扫描， 得到所述目标树木的激光点云数据集； 对所述激光点云数据集进行降噪和配准预处理， 获得有用的激光点云数据集； 采用云际拼 接和靶标拼接所述有用的激光 点云数据集而获得； 所述近地面细节化影像图是通过使用影像测量仪， 在所述目标树木所采集的正射影像 图、 侧面影像图和地面影像图的重叠范围内， 结合所述影像测量仪自身设备条件以及补集 影像的精度和分辨 率要求， 进行自动化近景拍摄而获得。 6.一种树木影 像图处理装置， 其特 征在于， 包括： 输入模块， 用于获取目标树木的多视角影像 图； 其中， 所述多视角影像 图包括： 正射影 像图、 侧面影 像图、 地面影像图和近地 面细节化影 像图； 获取模块， 用于基于所述多视角影像图， 采用预设的全场景语义信息启发式的影像细 节匹配模 型， 获取所述目标树木的全要 素信息以及提取所述目标树木的对应掩膜； 其中， 所 述全要素信息包括： 种类、 数量、 面积、 胸径、 树高、 冠幅、 位置、 长势等； 建模模块， 用于根据所述目标树木的对应掩膜， 采用Unity3D建模和三维实景Mesh模 型， 构建所述 目标树木的全域实景三维模型和单体化模型， 以使所述 目标树木在全域和单 体双维度上 可视化； 管理模块， 用于基于所述全要素信 息， 建立全要素树木信 息档案， 从而更新维护所述全 要素树木信息 。 7.如权利要求6所述的树木影像图处理装置， 其特征在于， 所述预设的全场景语义信 息 启发式的影 像细节匹配模型 是利用Rado n变换模型和Po intNet网络模型获得， 具体包括： 基于样本树木的多视角影 像图， 获取全场景样本数据集； 通过所述全场景样本数据集， 采用Radon变换模型确定所述样本树木语义方向， 得到所 述样本树木的全场景语义信息； 所述全场景语义信息包括： 样本树木的种类、 位置和影像图 纹理等； 根据所述全场景语义信息， 选取PointNet网络模型作为影像细节匹配模型的基础框 架， 获得预设的全场景语义信息启发式的影 像细节匹配模型。 8.如权利要求7所述的树木影像图处理装置， 其特征在于， 所述通过所述全场景样本数 据集， 采用Radon变换模 型确定所述样 本树木语义方向， 得到所述样本树木的全场景语义信 息， 具体包括： 通过所述全场景样本数据集设定阈值， 利用Radon变换模型， 获取所述Radon变换矩阵 中最大线积分数值；权　利　要　求　书 2/3 页 3 CN 115457212 A 3