(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111384677.6 (22)申请日 2021.11.22 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区之江实 验室南湖新园区 (72)发明人 周元海　宋伟　朱世强　余小康　 任杰　方伟　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 代理人 杨小凡 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06K 9/62(2022.01)G06N 5/02(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于知识图谱构建机器人行为树的系 统及方法 (57)摘要 本发明公开了一种基于知识图谱构建机器 人行为树的系统及方法， 系统包括： 知识图谱及 行为树， 知识图谱通过一组有向连接的动作节 点， 根据AOG格式构建， 动作节点包括动作类别及 其对应的一组动作特征、 动作作用对象， 有向连 接根据比对动作特征连接动作节 点； 行为树根据 主谓宾结构的任务， 将主语和宾语作为动作作用 对象， 将谓语 分类到动作类别对应的一组动作特 征， 根据动作特征构建对应的行为， 根据行为构 建行为节 点， 并根据子动作节 点有向连接调换行 为树各行为节点的顺序； 方法包括： S1， 构建对象 知识库； S2， 构建动作知 识库； S3， 构建知 识图谱； S4， 构建行为 树。 权利要求书2页 说明书5页 附图3页 CN 114153943 A 2022.03.08 CN 114153943 A 1.一种基于知识图谱构建机器人行为树的系统， 包括： 知识图谱及行为树， 其特征在于 所述知识 图谱通过一组有向连接的动作节点， 根据AOG格式构建， 动作节点包括动作类别 motion及其对应的一组动作特征feature、 动作作用对象target， 有向连接根据比对动作特 征feature连接动作节点， 有向连接包括连接类型type、 执行顺序 seq、 路由可能性prop， 连 接类型type包括选择select、 顺序sequence、 并行parallel， 当连接类型type为顺序 sequence时， 执行顺序seq表 示执行父动作节 点之后需要执行子动作节 点， 当连接类型type 为并行parallel时， 表示执行顺序seq相同， 并行执行的动作， 当连接类型type为选择 select时， 表示执行父节点之后根据选择select中的条件信息选择执行子节点， 路由可能 性prop表示动作节点的选择强度； 所述行为树根据主谓宾结构的任务， 将主语和宾语作为 动作作用对象target， 将谓语分类到对应的动作特征feature的动作motion， 根据动作特征 feature构建对应的行为Behavior， 在知识图谱中寻找与行为Behavior对应的子动作节 点， 依次构造成行为集合{Behavior}， 并根据子节点的连接类型选择select和顺序sequence， 将行为集合{Behavior}拆分为子行为集合{Behavior}sel和{Behavior}seq， 分别拟定 select子 行为和sequence子行为， 将执行顺序seq相同的子动作节点拟定为parallel节点， 对子行为集合{Behavior}sel构建选 择select行为节点， 对子行为集合{Behavior}seq构建 顺序sequence行为节 点， 构建时， 根据子动作节 点的执行顺序seq和路有可能性prop由大到 小调换行为树各个子行为节点的顺序。 2.根据权利要求1所述的一种基于知识图谱构建机器人行为树的系统， 其特征在于所 述选择select 中的条件信息为环境信息， 条件计算与机器人感知信息相关， 由深度神经网 络依据多模态条件， 判决当前的条件是否可以执行， 构建选择select行为节 点时， 进行条件 判断， 获得布尔类型的实时条件判断结果。 3.根据权利要求1所述的一种基于知识图谱构建机器人行为树的系统， 其特征在于系 统还包括对象知识库， 记录场景中的目标对象及其属性， 在构建行为树时， 根据主语和宾 语， 在对象数据库中检索对应的目标对象， 作为动作 作用对象target。 4.根据权利要求1所述的一种基于知识图谱构建机器人行为树的系统， 其特征在于为 动作节点构建动作知识库， 为动作类别motion构建标识， 为动作特征feature构建标签列 表， 为动作 作用对象target提供目标对象信息 。 5.根据权利要求3所述的一种基于知识图谱构建机器人行为树的系统， 其特征在于所 述动作作用对象target， 是在对象知识库中的一个知识节点实例， 使用唯一的id传递动作 作用对象target。 6.根据权利要求1所述的一种基于知识图谱构建机器人行为树的系统， 其特征在于对 所述行为树进行参数注入， 针对行为节点， 根据主语进行目标对 象查询， 获取位置信息、 动 作类别motion、 描述信息注入行为Behavior的参数列表中， 动作类别motion作为内容注入 行为中， 将谓语作为行为树名称， 对于无法确定参数的行为， 寻找动作特征feature相似的 动作进行处 理； 对于完全无法确定参数动作 作用对象target的动作， 判定行为 树构建失败。 7.根据权利要求3 ‑6之一所述的一种基于知识图谱构建机器人行为树的系统， 其特征 在于所述目标对象的信息包括人物信息、 物体信息， 两者均包含属性和位置信息， 属性包括 人物名称、 人物称呼、 人物坐标、 人物特 征、 物体名称、 物体坐标、 物体特 征。 8.根据权利要求1所述的一种基于知识图谱构建机器人行为树的系统， 其特征在于所权　利　要　求　书 1/2 页 2 CN 114153943 A 2述动作作用对象target的值包括： 地 点、 目标物体、 目标 人物、 语言内容。 9.一种基于知识图谱构建机器人 行为树的方法， 其特 征在于包括如下步骤： S1， 构建对象知识库， 记录场景中的目标对象及其属性； S2， 构建动作知识库， 为动作节点构建动作知识库， 动作类别motion构建标识， 为动作 特征feature构建标签列表， 为动作 作用对象target关联对象知识库中目标对象及其属性； S3， 构建知识图谱， 通过一组有向连接的动作节点， 根据AOG格 式构建， 动作节点包括动 作类别motion及其对应的一组动作特征feature、 动作作用对象target， 有向连接根据比对 动作特征feature连接动作节点， 有向连接包括连接类型type、 执行顺序seq、 路由可能性 prop， 连接类型type包括选择select、 顺序sequence、 并行parallel， 当连接类型type为顺 序sequence时， 执行顺序seq表示执行父动作节点之后需要执行子动作节点， 当连接类型 type为并行parallel时， 表示执行顺序 seq相同， 并行执行的动作， 当连接类型type为选择 select时， 表示执行父节点之后根据选择select中的条件信息选择执行子节点， 路由可能 性prop表示动作节点的选择强度； S4， 构建行为树， 根据主谓宾结构的任务， 通过主语和宾语， 在对象数据库中检索对应 的目标对象， 作为动作作用对象tar get， 将谓语分类到动作类别motion对应的一组动作特 征feature， 根据动作特征feature构建对应的行为Behavior， 在知识图谱中寻找与行为 Behavior对应的子动作节点， 依次构造成行为集合{Behavior}， 并根据子节点的连接类型 选择select和顺序sequence， 将行为集合{Behavior}拆分为子行为集合{Beh avior}sel和 {Behavior}seq， 分别拟定select子动作节点和sequence子动作节点， 将执行顺序seq相同 的子动作节点拟定为parallel节点， 对子行为集合{Behavior}sel构建选择select行为节 点， 对子行为集合{Behavior}seq构建顺序 sequence行为节点， 构建时， 根据子动作节点的 执行顺序seq和路 由可能性prop调换行为树各个子行为节点的顺序； 并对行为树进行参数 的注入。 10.根据权利要求9所述的一种基于知识图谱构建机器人行为树的方法， 其特征在于对 构建的行为树进行校验， 一个行为下的子行为必须全是顺序sequence行为节点或者选择 selector行为节 点； 作为并行执行的行为节点， 能够与顺序sequence行为节 点共存； 一个选 择selector行为节点必须包含条件判定布尔参数； 任何行为节 点必须包含 可以完成的动作 类别moti on参数； 对于不能满足校验的行为 树， 记作构建失败。权　利　要　求　书 2/2 页 3 CN 114153943 A 3