(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210761169.3 (22)申请日 2022.06.29 (71)申请人 远光软件股份有限公司 地址 519000 广东省珠海市港湾大道科技 一路3号 (72)发明人 薛闯　郑志鹏　吴成军　李志豪　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06F 8/61(2018.01) G06F 9/50(2006.01) G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 算法服务部署方法、 服 务平台和存 储介质 (57)摘要 本申请公开了一种算法服务部署方法、 服务 平台和存储介质， 其中， 算法服务部署方法包括： 响应于从服务平台中API网关获取到的业务请 求， 在服务平台的模型管理系统选择与业务请求 匹配的算法模型， 再基于算法模型和算法基座， 在服务平台的算法服务系统中构建算法服务， 且 算法基座用于为算法模型提供基础服务， 且算法 服务用于在运行时处理从API网关获取到的业务 数据， 在此基础上， 获取服务平台中监控调度系 统基于算法服务的运行信息所生成的调度策略， 并基于调度策略对算法服务进行资源调度， 且算 法服务的运行信息由算法服务的算法基座收集 得到。 上述方案， 能够提高GPU的资源利用率。 权利要求书2页 说明书8页 附图2页 CN 115202675 A 2022.10.18 CN 115202675 A 1.一种算法服 务部署方法， 其特 征在于， 包括： 响应于从服务平台中API网关获取到的业务请求， 在所述服务平台的模型管理系统选 择与所述 业务请求匹配的算法模型； 基于所述算法模型和算法基座， 在所述服务平台的算法服务系统中构建算法服务； 其 中， 所述算法基座用于为所述算法模型提供基础服务， 且所述算法服务用于在运行时处理 从所述API网关获取到的业 务数据； 获取所述服务平台中监控调度系统基于所述算法服务的运行信 息所生成的调度 策略， 并基于所述调度策略对所述算法服务进行资源调度； 其中， 所述算法服务的运行信息由所 述算法服务的算法基座收集得到 。 2.根据权利要求1所述的方法， 其特征在于， 所述算法服务在满足第一条件的情况下， 所述调度策略包括将所述 算法服务移出GPU显存； 和/或， 在所述算法服务的调用量小于第一阈值情况下， 所述调度 策略包括减少所述算 法服务的数量； 和/或， 在所述算法服务的调用量大于第二阈值情况下， 所述调度 策略包括增加所述算 法服务的数量。 3.根据权利要求1所述的方法， 其特征在于， 所述服务平台还包括文档服务系统， 所述 文档服务系统用于获取算法服务接口信息， 并基于所述算法服务接口信息生成接口文档； 其中， 所述接口文档包 含所述算法服务的使用说明。 4.根据权利要求1所述的方法， 其特征在于， 所述服务平台还包括运行统计系统， 所述 运行统计系统用于统计所述算法服务的调用成功数量、 所述算法服务的报错数量和各所述 算法模型的更新频次； 其中， 所述运行 统计系统包括显示装置， 所述显示装置用于实时显示 所述运行统计系的统计结果。 5.根据权利要求1所述的方法， 其特征在于， 在所述获取所述服务平台中监控调度系统 基于所述算法服务的运行信息所生成的调 度策略， 并基于所述调度策略对 所述算法服务进 行资源调度之后， 所述方法还 包括： 获取训练数据； 基于所述训练数据， 更新所述 算法模型的网络参数， 得到新的算法模型； 基于所述 新的算法模型， 替换 所述模型 管理系统中的算法模型。 6.根据权利要求5所述的方法， 其特 征在于， 所述获取训练数据， 包括： 基于所述算法服务的运行数据， 选择得到所述算法服务中所述算法模型的输入信 息和 输出信息； 和/或， 基于所述 服务平台中数据收集平台， 选择 得到所述 算法模型的样本信息 。 7.根据权利要求5所述的方法， 其特征在于， 所述基于所述训练数据， 更新所述算法模 型的网络参数， 包括： 基于所述训练数据， 选择用于当前算法模型的样本训练数据； 基于所述样本训练数据， 更新所述 算法模型的网络参数。 8.根据权利要求1所述的方法， 其特征在于， 在响应于从服务平台中API网关获取到的 业务请求， 在所述服务平台的模型管理系统选择与所述业务请求匹配的算法模型之前， 所 述方法包括： 启动服务平 台； 其中， 所述服务平 台包括API网关， 且所述API网关 的启动数量权　利　要　求　书 1/2 页 2 CN 115202675 A 2基于所述 业务请求数量确定 。 9.一种服 务平台， 其特 征在于， 包括： API网关， 用于获取业 务请求； 模型管理系统， 用于 选择与所述 业务请求匹配的算法模型； 算法服务系统， 用于基于所述算法模型和算法基座， 构建算法服务， 且所述算法基座用 于为所述算法模型提供基础服务， 且所述算法服务用于在运行时处理从所述API网关获取 到的业务数据； 监控调度系统， 用于基于所述算法服务的运行信息所生成的调度策略， 并基于所述调 度策略对所述算法服务进 行资源调 度， 且所述算法服务的运行信息由所述算法服务的算法 基座收集得到 。 10.根据权利要求9所述的服务平台， 其特征在于， 所述服务平台包括文档服务系统， 所 述文档服务系统用于获取算法服务接口信息， 并基于所述算法服务接口信息生成接口文 档， 且所述接口文档包 含所述算法服务的使用说明。 11.根据权利要求9所述的服务平台， 其特征在于， 所述服务平台还包括运行统计系统， 所述运行 统计系统用于统计所述算法服务的调用成功数量、 所述算法服务的报错数量和各 所述算法模型 的更新频次； 且所述运行统计系统包括显示装置， 所述显示装置用于实时显 示所述运行统计系的统计结果。 12.一种计算机可读存储介质， 其特征在于， 存储有能够被处理器运行的程序指令， 所 述程序指令用于实现权利要求1至8任一项所述的算法服 务部署方法。权　利　要　求　书 2/2 页 3 CN 115202675 A 3