(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111268941.X (22)申请日 2021.10.2 9 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 北京邮电大 学新科研楼627室 (72)发明人 鄂海红　宋美娜　邵明岩　刘钟允　 朱云飞　郑云帆　吕晓东　魏文定　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 单冠飞 (51)Int.Cl. G06F 8/36(2018.01) G06F 8/61(2018.01) G06F 8/76(2018.01) G06N 20/00(2019.01) (54)发明名称 一种机器学习模型自动化生产线构建方法 及系统 (57)摘要 本发明提供了一种机器学习模型自动化生 产线构建方法及系统， 其中， 该方法包括： 根据算 子组件配置构建出算子组件， 并将算子组件存入 算子仓库； 可视化编排读取算子仓库中的算子结 构数据， 将算子组件通过业务处理逻辑组合生成 模型任务流； 将模型任务流转换为云原生工作流 引擎执行计划， 并提交给容器集群执行以输出模 型文件； 基于模型打包， 进行模型文件转换和模 型推理容器镜像构建操作， 将操作对应数据存入 模型仓库； 读取模型仓库中的模 型数据并解析生 成三种算子， 将三种算子组件组合形成模型发布 任务流以提交给容器集群执行模 型发布流程。 本 发明提高模 型生产线的构建效率， 同时构建而成 的模型生产线能够快速训练出新的模 型， 提高模 型生产能力。 权利要求书3页 说明书10页 附图3页 CN 114115857 A 2022.03.01 CN 114115857 A 1.一种机器学习模型自动化 生产线构建方法， 其特 征在于， 包括以下步骤： 根据算子组件配置构建出算子组件， 并将所述 算子组件 存入算子仓库； 可视化编 排读取所述算子仓库中的算子结构数据， 将所述算子组件通过业务处理逻辑 组合生成模型任务 流； 将所述模型任务流转换为云原生工作流引擎执行计划， 并提交给容器集群执行以输出 模型文件； 基于模型打包， 进行所述模型文件转换和模型推理容器镜像构建操作， 将所述操作对 应数据存 入模型仓库； 读取所述模型仓库中的模型数据并解析生成三种算子， 将所述三种算子组件组合形成 模型发布任务 流以提交给 所述容器集群执 行模型发布流 程。 2.根据权利要求1所述的机器学习模型自动化生产线构建方法， 其特征在于， 所述根据 算子组件配置构建出算子组件， 并将所述 算子组件 存入算子仓库， 包括： 将算子文件复制到算子专用的文件存储器中， 固化算子运行使用的文件， 根据算子依 赖环境和基础镜像生 成Dockerfile文件并提交给Docker  Daemon进行算子运行镜像的构建 操作， 构建完成后通知Docker  Daemon将算子运行镜像推送指镜像仓库， 算子文件在存储库 中的地址和算子运行镜像信息被写入算子组件配置中， 将算子组件信息存入算子仓库中完 成算子构建， 根据算子组件配置， 生成算子测试模板并在前端展示， 提交所述算子测试模板 生成单节点任务流， 并转换为云原生工作流执行计划 提交给容器集群执行， 得到算子执行 日志； 其中， 所述算子仓库包括文件存储器、 关系 型数据库和镜像仓库， 分别用于存储算子 代码、 算子结构数据和容器镜像文件。 3.根据权利要求2所述的机器学习模型自动化生产线构建方法， 其特征在于， 所述可视 化编排读取所述算子仓库中的算子结构数据， 将所述算子组件通过业务处理逻辑组合生成 模型任务 流， 包括： 读取目前算子仓库的算子信 息， 并根据算子组件的配置信 息在前端任务流画布左侧算 子列表中展示算子组件， 将构建模型任务流需要的算子放置于中间画布中， 根据算子的配 置生成算子组件连接端点， 算子组件上方端点作为输入端点， 下方端点作为输出端点， 选中 算子后画布右侧是算子配置面板， 依据模型生产线流程将每个算子的输入端和输出端连 接， 并且在每个算子的配置面板配置好相关参数完成对模型工作流的构建， 构建完成后保 存构建好的模型任务 流。 4.根据权利要求3所述的机器学习模型自动化生产线构建方法， 其特征在于， 所述方法 还包括： 根据特定规则为不同类型的算子生成统一格式的JSON配置文件， 用户按特定顺序 连接每个算子的输入端和输出端构建任务流， 并根据每条连线的边和节点自动配置算子的 输入设置和输出设置， 在 进行任务流编排时， 读取并解析算子仓库中的算子结构数据， 根据 操作动态生成JSON格式的任务流配置， 执行保存任务流操作时， 前端将所述JSON格式的任 务流配置发送到后端 进行保存。 5.根据权利要求4所述的机器学习模型自动化生产线构建方法， 其特征在于， 所述将所 述模型任务流转换为云原生工作流引擎执行计划， 并提交给容器集群执行， 以输出模型文 件， 包括： 将所述模型任务流结构数据进行解析和转换， 生成云原生工作流执行计划， 并提交给权　利　要　求　书 1/3 页 2 CN 114115857 A 2容器集群执行所述模型任务流， 模型任务流执行产生的模型数据文件存于对象存储服务 器： 包括： 执行模型任务流时， 验证所述JSON格式的任务流配置， 验证完成后解析所述JSON 格式的模型任务流配置， 并转换为云原生工作流执行计划， 运行完成后 从容器集群获取模 型工作流各个节点的运行日志信息； 其中， 所述云原 生工作流执行计划包括： 创建运行算子 组件所需的容器集群资源 对象、 算子运行容器输入输出文件的中转操作中的多种。 6.根据权利要求5所述的机器学习模型自动化生产线构建方法， 其特征在于， 所述基于 模型打包， 进行所述模型文件转换和模型推理容器镜像构建操作， 将所述操作对应数据存 入模型仓库， 包括： 接收用户在前端输入的模型配置信息， 通过模型打包流程进行模板化模型封装， 解析 所述模型配置信息进行模型文件标准化和模型推理容器镜像构建工作， 将模型推理代码、 数据文件和容器镜像作为模型数据存入模型仓库， 所述模型仓库用于存储模型推理配置数 据、 模型结构数据和模型推理容器镜像文件； 其中， 所述模型仓库包括所述关系型数据库、 对象存储服务器和镜像仓库； 在所述模型打包流程中， 选择模型类型， 根据对应规则提供模型推理算子， 在确定模型 类型和模型推理算子类型后， 根据特定策略为后序模型数据包提供特定数据， 将所述特定 数据打包成所述模型数据存入模 型仓库； 其中， 所述特定数据包括数据包、 模型转换后的文 件地址和模型实例运行镜像地址 。 7.根据权利要求6所述的机器学习模型自动化生产线构建方法， 其特征在于， 所述读取 所述模型仓库中的模型数据并解析生成三种算子， 将所述三种算子组件组合形成模型发布 任务流以提交给 所述容器集群执 行模型发布流 程， 包括： 接收用户在前端输入的模型服务配置信 息， 读取所述模型仓库中的模型数据并解析生 成模型部署算子， 同时生成用于模型服务开放的Service配置算子和Ingress配置算子， 自 动编排成模型部署和模型服务开放的任务流， 解析任务流生成云原 生工作流执行计划并提 交给容器集群执 行， 完成模型服 务发布。 8.根据权利要求2所述的机器学习模型自动化生产线构建方法， 其特征在于， 算子组件 类型包括： 数据读取算子、 数据处理算子、 模型训练算子、 数据导出算子、 可视化算子、 模型 部署算子和集群配置算子中的多种； 算子组件配置信息， 包括： 算子文件、 算子输入输出设 置、 算子参数设置、 算子运行脚本、 算子依赖环境、 构建算子所需基础镜像和算子运行所需 资源配置中的多种； 所述算子文件包括算子运行脚本以及算子运行所需的其他文件， 所述 算子运行脚本是算子的运行入口， 为可执行二进制文件； 所述算子输入输出设置用于定义 算子的数据源和数据输出位置； 所述算子参数设置用于定义所述算子运行脚本执行时所需 的参数。 9.据权利要求4所述的机器学习模型自动化生产线构建方法， 其特征在于， 其特征在 于， 所述读取所述模型仓库中的模型数据并解析生成三种算子， 将所述三种算子组件组合 形成模型发布任务 流以提交给 所述容器集群执 行模型发布流 程， 还包括： 云原生工作流执行计划第一节点为Ingress对象配置节点， 创建Ingress对象， 将请求 路由到模型服务Service对象上， 第二节点为Service对象配置节点， 创建Service对象， 将 请求流量负载均衡到各个模型部署节点上， 第三节点为模型部署节点， 节点的配置由模型 数据解析生成， 其中运行容器使用模型运行镜像生成， 绑定模型文件和模型推理代码文件权　利　要　求　书 2/3 页 3 CN 114115857 A 3