(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210155799.6 (22)申请日 2022.02.21 (71)申请人 上海应用技 术大学 地址 201418 上海市奉贤区海泉路10 0号 (72)发明人 赵怀林　侯煊　梁兰军　陆升阳　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 杨元焱 (51)Int.Cl. G06V 10/80(2022.01) G06V 20/10(2022.01) G06N 5/02(2006.01) (54)发明名称 融合知识图谱和空间语义拓扑图的室内陌 生场景识别系统 (57)摘要 本发明涉及一种融合知识图谱和空间语义 拓扑图的室内陌生场景识别系统， 包括： 目标检 测模块， 用于通过训练好的目标检测模型对机器 人终端采集的室内场景的时序图像序列进行目 标检测， 获得目标检测结果； 语义生成模块， 用于 根据室内场景的目标检测结果构建对应的空间 语义拓扑图； 图谱构建模块， 包括知识图谱构建 单元和知识图谱 数据库， 所述的知识图谱构建单 元用于根据空间语义拓扑图生成空间语义拓扑 图向量， 所述的知识图谱数据库用于存储室内已 知场景的空间语义拓扑图向量； 场景识别模块， 用于根据室内陌生场景的空间语义拓扑图向量 在知识图谱 数据库中进行匹配， 识别室内陌生场 景的场景类别。 与现有技术相比， 本发明具有效 率高、 适用范围广等优点。 权利要求书3页 说明书8页 附图1页 CN 114972938 A 2022.08.30 CN 114972938 A 1.一种融合知识图谱和空间语义拓扑图的室内陌生场景识别系统， 其特 征在于， 包括： 目标检测模块， 用于通过训练好的目标检测模型对机器人终端采集的室内场景的时序 图像序列进行目标检测， 获得目标检测结果； 语义生成模块， 用于根据室内场景的目标检测结果构建对应的空间语义拓扑图； 图谱构建模块， 包括知识图谱构建单元和知识图谱数据库， 所述的知识图谱构建单元 用于根据空间语义拓扑图生成空间语义拓扑图向量， 所述的知识图谱数据库用于存储室内 已知场景的空间语义拓扑图向量； 场景识别模块， 用于根据室内陌生场景的空间语义拓扑图向量在知识图谱数据库中进 行匹配， 识别室内陌生场景的场景类别。 2.根据权利要求1所述的一种融合知识图谱和空间语义拓扑图的室内陌生场景识别系 统， 其特征在于， 所述的目标检测结果包括目标对象的目标类型、 置信度和位置坐标框； 所述的目标检测模块进行目标检测时， 区分室内场景的时序图像序列中新出现的目标 对象以及曾经 出现过的目标对象， 具体过程包括： 通过一个滑动窗口记录最近F帧图像中出现的目标， 所述的滑动 窗口中的每个目标对 象对应一个计数器， 当目标对 象第一次被添加到滑动窗口时， 与其所绑定的计数器的值赋 值为1， 对于每一帧图像， 分别计算目标检测结果中每个目标对象与滑动窗口中所有存在的 其它目标对象之间的交并比IoU， 若目标检测结果中的任一目标对象Oi和滑动窗口中的某 同类型的目标对象Oj的IoU大于设定阈值α， 则判定Oi与Oj为同一目标对象， 将Oj的位置坐标 框更新为Oi的位置坐标框， 同时将与Oj绑定的计数器的值设为 F， 在处理完1帧图像对 应的目 标检测结果中所有的目标对象后， 对滑动窗口中存在的所有的目标对象的计数器执行数值 减1操作， 将 操作后计数器值小于 0的目标对象从滑动窗口中移除。 3.根据权利要求2所述的一种融合知识图谱和空间语义拓扑图的室内陌生场景识别系 统， 其特征在于， 所述的空间语义拓扑图的构建过程包括： 所述的语义生成模块对新出现的目标对象Oi以及滑动窗口中任意一个目标对象， 计算 二者位置框坐标的几何中心之间的欧氏距离， 判断欧氏距离是否小于 设定阈值β， 若 是则判 定两者为空间临近关系， 记录所有存在空间临近关系的目标对 象组合， 构成空间语义拓扑 图； 所述的空间语义拓扑图包括若干三元组<obji,relk,objj>， 其中， obji和objj为目标对 象， relk为obji和objj之间的空间临近关系， relk∈REL， REL＝{beside， left/right， above/ below}。 4.根据权利要求1所述的一种融合知识图谱和空间语义拓扑图的室内陌生场景识别系 统， 其特征在于， 所述的空间语义拓扑图向量的表达式为： SGV＝[Vectorobj,Vectorgroup] 其中， SGV为空间语义拓扑图向量， oi为室内场景中的第i个目标对 象， N1为室内场景中 目标对象的总数， gi为室内场景中 的第i个群组， 互相之间具备空间关系的同类目标对象属 于同一个 群组， S(gi)表示gi中目标对象的空间分布有序 度。权　利　要　求　书 1/3 页 2 CN 114972938 A 25.根据权利要求4所述的一种融合知识图谱和空间语义拓扑图的室内陌生场景识别系 统， 其特征在于， 所述的图谱构建模块以同一群组中的目标对象为顶点， 以目标对象之 间的 空间临近关系为边， 构建有向全连通图， 所述的有向全连通图中 的顶点个数记为NV， 空间临 近关系种类个数记为NC， 将空间临近关系分为若干个类别， 属于某类关系k下的边的个数记 为 所述的空间分布有序 度的计算公式为： 其中， S为群组中目标对象的空间分布有序度， Vi为有向全连通图中的第i个顶点， P (Ek,l)表示在有向全连通图上随机游走后属于某类关系k下任意一条边El被访问的概率， Ti 为有向全连通图中任意顶点Vi被访问的次数记为， Tk,l为有向全连通图中某类关系k下任意 一条边El被访问的次数。 6.根据权利要求4所述的一种融合知识图谱和空间语义拓扑图的室内陌生场景识别系 统， 其特征在于， 所述的室内陌生场景的场景类别的识别过程包括： 所述的场景识别模块计算匹配得分， 计算公式如下： Eps＝10‑6 其中， param1为目标对象共现概率， param2为目标对象的分布有序度， SGVunknown (Vectorobj,Vectorgroup)为室内陌生场景的空间语义拓扑图向量， ScNum为知识图谱数据库 中存储的所有空间语义拓扑图向量中出现的室内已知场景类别总数， E为单位矩阵， scorei 表示第i类场景的得分； 所述的场景识别模块 根据以下公式计算总得分： sum(score)＝score1+score2+……+scorescNum 所述的场景识别模块将sum(score)的最大值对应的室内已知场景类别作为室内陌生 场景的识别结果。 7.根据权利要求6所述的一种融合知识图谱和空间语义拓扑图的室内陌生场景识别系 统， 其特征在于， 所述的目标对象共现概 率的表达式为： param1＝Mat rixI,J+K权　利　要　求　书 2/3 页 3 CN 114972938 A 3