(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211301086.2 (22)申请日 2022.10.24 (71)申请人 南京邮电大 学 地址 210033 江苏省南京市栖霞区广月路 30-06号 (72)发明人 朱博　张晓磊　张云帆　王逸　 谢俊哲　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 姜梦翔 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/774(2022.01) G06F 16/36(2019.01) (54)发明名称 一种基于知识图谱嵌入的机器人室内场景 识别方法 (57)摘要 本发明属于室内场景识别方法， 具体地说， 是一种基于知识 图谱嵌入的机器人室内场景识 别方法， 具体包括以下步骤： 选取足够且合适的 物品类别、 属类概念和场景名称， 构建实体字典； 设计关系字典； 构建三元组形式的场景描述； 以 上述三元 组场景描述数据为基础， 训练可处理非 对称关系的模 型， 得到以嵌入向量表达的场景知 识模型； 当机器人获取新的场景图片后， 由打分 函数给出图片中所有可能三元 组的评分， 将得分 最高三元 组的尾实体场景名称， 作为场景识别的 最终结果。 本发明从概念层面描述场景， 充分利 用场景内的实体语义信息完成识别， 相比主流场 景识别方法， 对底层检测器有一定容错能力， 并 且语义信息丰富、 模型具有解释性， 便于机器人 应用。 权利要求书2页 说明书5页 附图1页 CN 115496996 A 2022.12.20 CN 115496996 A 1.一种基于知识图谱嵌入的机器人室内场景识别方法， 其特 征在于， 包括以下步骤： 步骤一、 基于多种室内物品数据集， 选择足够且合适的物品类别， 并针对所选的物品类 别将其划分为不同属类概念集合， 将所选物品类别、 划分出的属类概念、 可能出现的场景名 称作为实体一 起存入实体字典； 步骤二、 根据实体之间存在的关系设计关系字典； 步骤三、 对先验数据集中具体一张场景图片， 进行描述形式转换， 通过目标检测与识别 算法得到图片中存在于实体字典 内的物品类别， 将重复出现的物品设定为一个物品类别实 体， 将得到的物品类别、 对应的属类概念、 图片标注的场景名称， 通过关系字典内的对应关 系根据常识和标注构造出多个三元组形式的场景表达， 遍历所有图片， 将原始图片数据集 转化为三元组形式的数据集； 步骤四、 用转化后的三元组数据集训练可处理非对称关系的RotatE模型， 得到嵌入向 量表达的场景知识； 步骤五、 对于机器人新获取的、 场景名称未知的一张场景图片， 通过目标检测与识别算 法得到图片中的存在于实体字典 内的物品类别， 以得到的物品类别与其对应的属类概念作 为头实体， 设定共m个， 实体字典内所有可能出现的场景名称作为待定尾实体， 设定共n个， 由关系字典内的is_found_in关系和connected_with关系， 构建待评价三元组集合{(hi， r， tj)}， 根据训练得到的嵌入向量表达的场景知识和RotatE模型的打分函数fr(h， t)， 对待评 价三元组集合内所有的三元组描述进行打分， 统计出同类尾实体得分和 最高的三元组， 其 尾实体的场景名称作为场景识别结果。 2.根据权利要求1所述的基于知识图谱嵌入的机器人室内场景识别方法， 其特征在于， 所述步骤一中， 属类概念的划分规则为： 对选取的所有 可被目标检测算法识别的物品类别， 将其中部分拥有某些共同特性的物品类别进行归纳， 得到与之有关的属类概念X1。 3.根据权利要求1所述的基于知识图谱嵌入的机器人室内场景识别方法， 其特征在于， 所述步骤二中， 三元组的关系字典包括描述物品类别与对应场景名称之间联系的关系is_ found_in、 描述物品类别与属类概念之间的关系is_object _of以及属类概念关联到的场景 名称的关系co nnected_w ith。 4.根据权利要求3所述的基于知识图谱嵌入的机器人室内场景识别方法， 其特征在于， 所述步骤三中， 通过关系字典内的对应关系将物品类别、 属类概念、 场景名称三类实体， 通 过不同的关系， 根据常识和标注构造成三种不同类型的三元组， 用以充分描述图片信息 。 5.根据权利要求4所述的基于知识图谱嵌入的机器人室内场景识别方法， 其特征在于， 所述步骤三具体流程如下： 描述物品类别与场景名称之间联系的三元组： 物品类别作为头 实体， 而场景名称作为尾实体， 依据场景标签， 通过is_found_in关系建立连接； 描述物品类 别与属类概念之 间联系的三元 组： 物品类别作为头实体， 而属类概念作为尾实体， 依据常识 知识， 通过is_object_of关系建立连接； 描述属类概念与场景名称之间联系的三元 组： 属类 概念作为头实体， 而场景名称作为尾实体， 依据常识知识和场景标签， 通过connected_with 关系建立连接 。 6.根据权利要求5所述的基于知识图谱嵌入的机器人室内场景识别方法， 其特征在于， 在所述步骤四中， 用转化后的三元组数据集训练可处理非对称关系的Rot atE模型， 得到嵌 入向量表达的场景知识。权　利　要　求　书 1/2 页 2 CN 115496996 A 27.根据权利要求6所述的基于知识图谱嵌入的机器人室内场景识别方法， 其特征在于， 在所述步骤四中， 每种关系被建模为在 复向量空间中从头实体到尾实体的一个旋转， 具体 来说， 头实体、 关系和尾实体首先被随机初始化， 满足： 关系， 其中每 个维度有： ti＝hiri， 其中， 且|ri|＝1 由于上述关系难以严格满足， RotatE中定义距离函数为： 根据该距离 定义， RotatE中使用L oss函数： 对头实体、 关系和尾实体的表 达进行优 化， 其中， γ 是固定值， σ 是sigmoid函数， (h ′i， r， t′i)是第i个负三元组， p(h ′i， r， t′i)为负例采样概 率分布。 8.根据权利要求7所述的基于知识图谱嵌入的机器人室内场景识别方法， 其特征在于， 在所述步骤五中， 待评价三元组集合是 由图片中得到的物品类别、 属类概念以及所有可能 的场景名称通过关系字典中的is_found_i n关系和co nnected_w ith关系所构成。权　利　要　求　书 2/2 页 3 CN 115496996 A 3