(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211140124.0 (22)申请日 2022.09.20 (71)申请人 北京智汇云舟 科技有限公司 地址 100089 北京市海淀区双清路1号院内 22号楼3层3 01室 (72)发明人 杨林平　周舟　陈虹旭　 (51)Int.Cl. G06T 17/20(2006.01) G06F 16/36(2019.01) G06T 3/00(2006.01) G06T 7/73(2017.01) G06T 15/04(2011.01) G06V 10/46(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06V 20/13(2022.01)G06V 40/10(2022.01) (54)发明名称 基于图像的数字孪生时空知识图谱构建方 法和装置 (57)摘要 本申请提供了基于图像的数字孪生时空知 识图谱构建方法和装置。 方法包括根据获取的原 始图像确定目标对象二维坐标、 原始图像二维坐 标和目标对象的时间戳； 根据目标对象二维坐 标、 原始图像二维坐标、 获取的卫星正射图像和 获取的摄像机位置信息， 确定目标对象三维坐标 和原始图像三维坐标； 根据目标对象三维坐标和 原始图像三维坐标建立目标对象三维坐标、 原始 图像二维坐标、 三维空间网格、 摄像机位置信息 以及时间戳之间的关联体系。 以此方式， 可以将 二维原始图像， 与三维空间建立映射关系， 并且 以时间为动态维度， 建立起二维图像的时空知识 图谱， 具有通用性强、 易用性高的优点。 权利要求书2页 说明书9页 附图2页 CN 115222920 A 2022.10.21 CN 115222920 A 1.一种基于图像的数字 孪生时空知识图谱构建方法， 其特 征在于， 包括： 根据获取的原始图像确定目标对象二维坐标、 原始图像二维坐标和目标对象的时间 戳； 根据所述目标对象二维坐标、 原始图像二维坐标、 获取的卫星正射图像和获取的摄像 机位置信息， 确定目标对象三维坐标和原 始图像三维坐标； 根据目标对象三维坐标和原始图像三维坐标建立目标对象三维坐标、 原始图像二维坐 标、 三维空间 网格、 摄像机位置信息以及时间戳之间的关联体系。 2.根据权利要求1所述的基于图像的数字孪生 时空知识图谱构建方法， 其特征在于， 所 述根据所述 目标对象二维坐标、 原始图像二维坐标、 获取 的卫星正射图像和获取 的摄像机 位置信息， 确定目标对象三维坐标和原 始图像三维坐标包括： 根据目标对象二维坐标、 摄 像机位置信息和空间矫 正模型， 确定目标对象三维坐标； 根据原始图像二维坐标、 摄 像机位置信息和空间矫 正模型， 确定原 始图像三维坐标。 3.根据权利要求1所述的基于图像的数字孪生 时空知识图谱构建方法， 其特征在于， 在 根据所述 目标对象二维坐标、 原始图像二维坐标、 获取 的卫星正射图像和获取 的摄像机位 置信息， 确定目标对象三维坐标和原 始图像三维坐标之前还 包括： 分别对原 始图像和卫星正 射图像进行二 值化处理， 生成各自的灰度图； 对原始图像的灰度图和卫星正射图像的灰度图进行直方图匹配运算， 使得原始图像的 灰度图和卫星正 射图像的灰度图的色调保持一 致； 将原始图像的灰度图和卫星正射图像的灰度图进行特征点匹配计算， 确定第一特征 点； 根据第一特 征点和卫星正 射图像， 确定原 始图像二维坐标。 4.根据权利要求1所述的基于图像的数字孪生 时空知识图谱构建方法， 其特征在于， 在 根据所述 目标对象二维坐标、 原始图像二维坐标、 获取 的卫星正射图像和获取 的摄像机位 置信息， 确定目标对象三维坐标和原 始图像三维坐标之前还 包括： 分别对目标对象和卫星正 射图像的二维图像进行二 值化处理， 生成各自的灰度图； 对目标对象的灰度图和卫星正射图像的灰度图进行直方图匹配运算， 使得目标对象的 灰度图和卫星正 射图像的灰度图的色调保持一 致； 将目标对象的灰度图和卫星正射图像的灰度图进行特征点匹配计算， 确定第二特征 点； 根据第二特 征点和卫星正 射图像， 确定目标对象二维坐标。 5.根据权利要求1所述的基于图像的数字孪生 时空知识图谱构建方法， 其特征在于， 根 据目标对 象三维坐标和原始图像三维坐标建立 目标对象三维坐标、 原始图像二维坐标、 三 维空间网格、 摄像机位置信息以及时间戳之间的关联体系包括： 将目标对象三维坐标与三维空间 网格匹配， 确定每 个目标对象所处 空间网格编码； 根据与目标对象匹配的时间戳、 目标对象所处的空间网格编码， 确定目标对象三维坐 标、 三维空间 网格以及时间戳之间的关联体系。 6.根据权利要求5所述的基于图像的数字孪生 时空知识图谱构建方法， 其特征在于， 根 据目标对 象三维坐标和原始图像三维坐标建立 目标对象三维坐标、 原始图像二维坐标、 三 维空间网格、 摄像机位置信息以及时间戳之间的关联体系还 包括：权　利　要　求　书 1/2 页 2 CN 115222920 A 2将原始图像三维坐标与空间网格匹配， 确定每一原始图像三维坐标在空间网格中的空 间网格编码； 根据原始图像三维坐标与原始图像二维坐标以及与空间网格编码之间的对应关系， 建 立原始图像二维坐标与空间 网格编码之间的关联体系； 根据目标对象三维坐标与原始图像三维坐标之间的对应关系， 确定目标对象三维坐 标、 原始图像二维坐标、 三维空间 网格以及时间戳之间的关联体系。 7.根据权利要求1所述的基于图像的数字孪生 时空知识图谱构建方法， 其特征在于， 所 述根据获取的原始图像确定目标对象二 维坐标、 原始图像二 维坐标和目标对象的时间戳包 括： 基于图像标定方法， 获取原始图像的畸变参数， 根据获取的畸变参数将原始图像矫正 为无畸变图像； 基于帧间差分方法， 根据多个原 始图像的无畸变图像， 确定背景图； 基于帧间差分方法， 根据原 始图像和背景图， 确定目标对象； 基于预设的变换规则， 根据原始图像确定原始图像二维坐标， 根据目标对象确定目标 对象二维坐标； 根据原始图像的拍摄时间， 确定对应的目标对象的时间戳。 8.一种基于图像的数字 孪生时空知识图谱构建装置， 其特 征在于， 包括： 解析模块 （201） ， 用于根据获取的原始图像确定目标对象二维坐标、 原始图像二维坐标 和目标对象的时间戳； 空间映射模块 （202） ， 用于根据所述目标对象二维坐标、 原始图像二维坐标、 获取的卫 星正射图像和获取的摄 像机位置信息， 确定目标对象三维坐标和原 始图像三维坐标； 构建模块 （203） ， 用于根据目标对象三维坐标和原始图像三维坐标建立目标对象三维 坐标、 原始图像二维坐标、 三维空间 网格、 摄像机位置信息以及时间戳之间的关联体系。 9.一种电子设备， 包括存储器和处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处 理器执行所述程序时实现如权利要求1~7中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理 器执行时实现如权利要求1~7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115222920 A 3