(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211111504.1 (22)申请日 2022.09.13 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 王羽培　李伟　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06T 17/00(2006.01) (54)发明名称 多智能体协同控制系统及装置、 电子设备、 存储介质 (57)摘要 本公开提供了一种多智能体协同控制系统 及装置、 电子设备、 存储介质， 涉及计算机视觉技 术领域。 该多智 能体协同控制系统包括： 多模态 信息交互模块用于根据多模态任务指令确定动 作序列集合； 虚拟空间仿真模块用于创建虚拟环 境三维地图以及处于虚拟环境三维地图中的至 少一个虚拟智能体， 并将动作序列集合发送给虚 拟智能体， 以使虚拟智能体在虚拟环 境三维地图 中仿真验证动作序列集合中的各动作序列， 确定 目标动作序列； 协 同控制模块， 用于将目标动作 序列反馈给真实场景中的至少一个目标智能体。 本公开实施例的技术方案可以提升对于多智能 体系统的协同控制的准确性 以及任务分配的合 理性， 有效提升多智能体系统完成任务指令的效 率。 权利要求书2页 说明书13页 附图7页 CN 115391016 A 2022.11.25 CN 115391016 A 1.一种多智能体协同控制系统， 其特 征在于， 包括： 多模态信息交互模块， 用于获取多模态任务指令， 并根据所述多模态任务指令确定动 作序列集 合； 虚拟空间仿真模块， 用于创建虚拟环境三维地图以及处于所述虚拟环境三维地图中的 至少一个虚拟智能体， 并将所述动作序列集合发送给所述虚拟智能体， 以使所述虚拟智能 体在所述虚拟环境三 维地图中仿真验证所述动作序列集合中的各动作序列， 确定目标动作 序列； 协同控制模块， 用于将所述目标动作序列反馈给真实场景中的至少一个目标智能体， 以使所述目标智能体执行所述多模态任务指令， 所述目标智能体的可执行动作与所述虚拟 智能体相对应， 所述虚拟环境 三维地图与所述真实场景相对应。 2.根据权利要求1所述的多智能体协同控制系统， 其特征在于， 所述多模态信 息交互模 块， 包括： 云端算法单 元， 用于存 储算法逻辑 集合； 认知大脑单元， 用于从所述云端算法单元调用目标算法逻辑对所述多模态任务指令进 行识别， 确定 至少一个子任务指令； 指令转换单元， 用于对所述认知大脑单元拆分的所述子任务指令进行转换， 确定所述 多模态任务指令对应的动作序列集 合。 3.根据权利要求2所述的多智能体协同控制系统， 其特征在于， 所述认知大脑单元还包 括： 多模态交互终端， 用于获取用户输入的多模态任务指令， 以及获取所述用户在输入所 述多模态任务指令时所 处的真实场景对应的全景图像， 并根据所述全景图像确定虚拟环境 信息。 4.根据权利要求3所述的多智能体协同控制系统， 其特征在于， 所述虚拟空间仿真模 块， 还用于： 接收所述认知大脑单元发送的至少一个子任务指令， 并根据所述子任务指令创建至少 一个虚拟智能体； 以及 接收所述认知大脑单元发送的虚拟环境信 息， 并根据所述虚拟环境信 息搭建虚拟环境 三维地图。 5.根据权利要求1所述的多智能体协同控制系统， 其特征在于， 所述虚拟空间仿真模 块， 包括： 能力池， 用于存储所述虚拟智能体执行所述动作序列集合中所有动作序列的能力项， 每个所述能力项对应所述动作序列中的单个动作； 智能体组件库， 用于存 储执行不同的所述能力项的智能体组件； 能力参数数据库， 用于存储所述能力项关联的能力参数， 所述能力参数驱动具备所述 能力项的所述智能体组件完成所述动作序列中的动作。 6.根据权利要求5所述的多智能体协同控制系统， 其特征在于， 所述虚拟空间仿真模 块， 还用于： 根据所述动作序列集合中各动作序列从所述智能体组件库中选择目标智能体组件， 创 建至少一个虚拟智能体；权　利　要　求　书 1/2 页 2 CN 115391016 A 2基于所述动作序列从所述能力池中确定目标能力项， 并将所述目标能力项赋予所述虚 拟智能体； 根据认知大脑单元发送的虚拟环境信息以及所述动作序列集合从所述能力参数数据 库中确定目标能力参数， 并通过所述目标能力参数驱动包含所述目标能力项的虚拟智能 体， 执行所述动作序列中的动作。 7.根据权利要求1或6所述的多智能体协同控制系统， 其特征在于， 所述虚拟空间仿真 模块， 还用于： 确定所述动作序列集合中的第 一动作序列， 并由所述目标能力参数驱动的包含所述目 标能力项的虚拟智能体执 行所述第一动作序列； 若所述第一动作序列执行完毕后， 确定所述多模态任务指令为成功完成状态， 则将所 述第一动作序列作为目标动作序列， 并将执行所述第一动作序列的目标能力项以及相应的 目标能力参数反馈给 所述协同控制模块； 若所述第一动作序列执行完毕后， 确定所述多模态任务指令为未完成状态， 则确定所 述动作序列集合中的第二动作序列， 并重新仿 真验证， 循环执行， 直到确定所述多模态任务 指令为成功完成状态。 8.一种多智能体协同控制方法， 其特征在于， 由权利要求1至权利要求7任一项所述的 多智能体协同控制系统执 行， 所述方法包括： 获取多模态任务指令， 并根据所述多模态任务指令确定动作序列集 合； 创建虚拟环境三维地图以及处于所述虚拟环境三维地图中的至少一个虚拟智能体， 并 将所述动作序列集合 发送给所述虚拟智能体， 以使所述虚拟智能体在所述虚拟环境三维地 图中仿真验证所述动作序列集 合中的各动作序列， 确定目标动作序列； 将所述目标动作序列反馈给真实场景中的至少一个目标智能体， 以使所述目标智能体 执行所述多模态任务指令， 所述 目标智能体的可执行动作与所述虚拟智能体相对应， 所述 虚拟环境 三维地图与所述真实场景相对应。 9.一种电子设备， 包括： 处理器； 以及 存储器， 所述存储器上存储有计算机可读指令， 所述计算机可读指令被所述处理器执 行时实现如权利要求8所述的多智能体协同控制方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现如权利要求8所述的多智能体协同控制方法。权　利　要　求　书 2/2 页 3 CN 115391016 A 3