(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593740.5 (22)申请日 2022.05.27 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王国彬　袁正雄　褚振方　李金麒　 胡鸣人　罗阳　黄悦　钱正宇　 施恩　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06N 5/04(2006.01) G06F 9/445(2018.01) (54)发明名称 推理服务调用方法、 装置、 电子设备及存储 介质 (57)摘要 本公开提供了一种推理服务调用方法、 装 置、 电子设备及存储介质， 涉及人工智 能技术领 域， 尤其涉及云计算、 人工智 能开发平台技术领 域。 实现方案为： 获取用于调用函数以进行推理 服务的请求， 请求包括函数的函数标识； 确定与 函数标识相对应的函数运行沙箱， 其中， 函数运 行沙箱包括用于运行函数的运行上下文； 以及执 行运行上下文以获得推理服 务的结果。 权利要求书2页 说明书12页 附图5页 CN 114881235 A 2022.08.09 CN 114881235 A 1.一种用于人工智能开发平台的推理服 务调用方法， 包括： 获取用于调用函数以进行推理服 务的请求， 所述请求包括所述 函数的函数 标识； 确定与所述函数标识相对应的函数运行沙箱， 其中， 所述函数运行沙箱包括用于运行 所述函数的运行 上下文； 以及 执行所述运行上下文以获得 所述推理服 务的结果。 2.根据权利要求1所述的方法， 还 包括： 获取与进行 所述推理服 务相关的传入参数； 以及 将所述传入参数从所述推理服务支持的数据类型转换成虚拟机支持的数据类型， 以用 于通过所述虚拟机执 行所述运行上下文。 3.根据权利要求2所述的方法， 所述执行所述运行上下文以获得所述推理服务的结果 包括： 通过所述虚拟机执 行所述运行上下文以得到调用所述 函数的运行 结果； 以及 将所述运行结果从所述虚拟机支持的数据类型转换成所述推理服务支持的数据类型 以获得所述推理服 务的结果。 4.根据权利要求3所述的方法， 其中， 所述运行上下文与 所述函数定义的运行参数及所 述函数定义的返回参数一起被拼接成所述函数运行沙箱， 其中， 所述函数被预先加载到所 述人工智能开发平台， 其中， 所述通过所述虚拟机执行所述运行上下文以得到调用所述函数的运行结果， 包 括： 通过所述虚拟机基于所述运行参数执行所述运行上下文， 以得到调用所述函数的运行 结果； 并利用所述返回参数对所述 运行结果进行验证； 所述将所述运行结果从所述虚拟机支持的数据类型转换成所述推理服务支持的数据 类型以获得 所述推理服 务的结果， 包括： 在验证通过的情况下， 将所述运行结果从所述虚拟机支持的数据类型转换成所述推理 服务支持的数据类型以获得 所述推理服 务的结果。 5.根据权利要求1至4中任一项所述的方法， 其中， 所述运行上下文是对预先加载到所 述人工智能开发平台上的所述 函数进行编译 而获得的。 6.根据权利要求5所述的方法， 其中， 所述对预先加载到所述人工智能开发平台上的所 述函数进行编译包括： 将预先加载到所述人工智能开发平台上的所述函数转换成虚拟机支持的数据类型； 以 及 通过调用所述虚拟机的接口对所述 函数进行编译。 7.一种用于人工智能开发平台的推理服 务调用装置， 包括： 请求获取模块， 被配置为获取用于调用函数以进行推理服务的请求， 所述请求包括所 述函数的函数 标识； 确定模块， 被配置为确定与所述函数标识相对应的函数运行沙箱， 其中， 所述函数运行 沙箱包括用于运行 所述函数的运行 上下文； 以及 执行模块， 被 配置为执 行所述运行上下文以获得 所述推理服 务的结果。 8.根据权利要求7 所述的装置， 还 包括：权　利　要　求　书 1/2 页 2 CN 114881235 A 2传入参数获取模块， 被 配置为获取与进行 所述推理服 务相关的传入参数； 以及 预处理转换模块， 被配置为将所述传入参数从所述推理服务支持的数据类型转换成虚 拟机支持的数据类型， 以用于通过 所述虚拟机执 行所述运行上下文。 9.根据权利要求8所述的装置， 其中， 所述执 行模块包括： 处理模块， 被配置为通过所述虚拟机执行所述运行上下文以得到调用所述函数的运行 结果； 以及 后处理转换模块， 被配置为将所述运行结果从所述虚拟机支持的数据类型转换成所述 推理服务支持的数据类型以获得 所述推理服 务的结果。 10.根据权利要求9所述的装置， 其中， 所述运行上下文与所述函数定义的运行参数及 所述函数定义的返回参数一起被拼接成所述函数运行沙箱， 其中， 所述函数被预先加载到 所述人工智能开发平台， 其中， 所述处理模块包括： 运行结果获取模块， 被配置为通过所述虚拟机基于所述运行 参数执行所述运行上下文， 以得到调用所述函数的运行结果； 以及 验证模块， 被配置为利用 所述返回参数对所述 运行结果进行验证； 所述后处理转换模块被配置为： 在验证通过的情况下， 将所述运行结果从所述虚拟机 支持的数据类型转换成所述推理服 务支持的数据类型以获得 所述推理服 务的结果。 11.根据权利要求7至10中任一项所述的装置， 其中， 所述运行上下文是对预先加载到 所述人工智能开发平台上的所述 函数进行编译 而获得的。 12.根据权利要求11所述的装置， 其中， 所述装置还包括编译模块， 所述编译模块被配 置为对预 先加载到所述人工智能开发平台上的所述 函数进行编译， 所述编译模块包括： 数据类型转换模块， 被配置为将预先加载到所述人工智能开发平台上的所述函数转换 成虚拟机支持的数据类型； 以及 编译执行模块， 被 配置为通过调用所述虚拟机的接口对所述 函数进行编译。 13.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中 所述存储器存储有能够被所述至少一个处理器执行的指令， 所述指令被所述至少一个 处理器执行， 以使所述至少一个处 理器能够执 行根据权利要求1 ‑6中任一项所述的方法。 14.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使计算机执 行根据权利要求1 ‑6中任一项所述的方法。 15.一种计算机程序产品， 包括计算机程序， 其中， 所述计算机程序在被处理器执行时 实现根据权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114881235 A 3