全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210612320.7 (22)申请日 2022.05.31 (71)申请人 杭州网易云音乐科技有限公司 地址 310052 浙江省杭州市萧 山区钱江世 纪城奔竞大道353号杭州国际博览中 心A座1201室 (72)发明人 蒋文伟 赵荣生 汪磊 苏杭  李宽 段石石 朱一飞 谭均心  王军正 刘长伟 程纯 陆超红  孙梓涵  (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 马明明 刘芳 (51)Int.Cl. G06F 9/50(2006.01)G06F 9/54(2006.01) (54)发明名称 资源配置方法、 装置、 介质和计算设备 (57)摘要 本公开的实施方式提供了一种资源配置方 法。 该方法包括: 获取待执行任务读取的多个消 息群以及执行所述待执行任务的分布式系统的 历史网络参数, 所述消息群包括多个消息单元; 根据所述历史网络参数确定各个所述消息单元 被处理所需的单位资源的第一数量; 根据各个所 述消息单元被处理所需的单位资源的第一数量, 为所述分布式系统的各个工作节点分配对应的 消息单元, 其中, 分配至所述工作节点的各个所 述消息单元被处理所需的单位资源的第一数量 之和, 小于或等于所述工作节 点的单位资源的数 量。 本公开, 无需手动调节消息单元分配, 缩短了 流任务的执行时长, 提高了流任务的执行效率。 此外, 本公开的实施方式提供了一种资源配置装 置、 介质和计算设备。 权利要求书2页 说明书12页 附图7页 CN 114968585 A 2022.08.30 CN 114968585 A 1.一种资源配置方法, 其特 征在于, 包括: 获取待执行任务读取的多个消息群以及执行所述待执行任务的分布式系统的历史网 络参数, 所述消息群包括多个消息单 元, 所述消息单 元包括一个或多个消息; 根据所述历史网络参数确定各个所述消息单 元被处理所需的单位资源的第一数量; 根据各个所述消息单元被处理所需的单位资源的第 一数量, 为所述分布式系统 的各个 工作节点分配对应的消息单元, 其中, 分配至所述工作节点的各个所述消息单元被处理所 需的单位资源的第一数量之和, 小于或等于所述工作节点的单位资源的数量。 2.根据权利要求1所述的资源配置方法, 其特征在于, 所述根据 各个所述消息单元被处 理所需的单位资源的第一数量, 所述为所述分布式系统的各个工作 节点分配对应的消息单 元, 包括: 根据各个所述消息单元被处理所需的单位资源的第 一数量, 对各个所述消息单元进行 从大到小的排序; 将排序后的各个所述消息单元, 分配至各个所述工作节点, 其中, 完成所述消息单元分 配后的工作节点剩余的单位资源的数量, 小于最小的第一数量。 3.根据权利要求1所述的资源配置方法, 其特征在于, 所述根据 所述历史网络参数确定 各个所述消息单 元被处理所需的单位资源的第一数量, 包括: 根据所述历史网络参数确定各个所述消息群 被处理所需的单位资源的第二数量; 根据所述第 二数量以及所述消息群中消息单元的数量, 确定所述消息群的消息单元被 处理所需的单位资源的第一数量, 其中, 所述消息群包括数据量相等的多个消息单 元。 4.根据权利要求3所述的资源配置方法, 其特征在于, 所述根据 所述历史网络参数确定 各个所述消息群 被处理所需的单位资源的第二数量, 包括: 获取所述消息群的序列化 参数; 将所述历史网络参数以及所述消息群的序列化 参数输入预测模型; 根据所述预测模型输出的结果, 确定所述消息群 被处理所需的单位资源的第二数量。 5.根据权利要求1 ‑4任一项所述的资源配置方法, 其特征在于, 所述根据 各个所述消息 单元被处理所需的单位资源的第一数量, 所述为所述分布式系统的各个工作 节点分配对应 的消息单 元之前, 还 包括: 若最大的所述第 一数量大于所述工作节点所设置的单位资源的数量, 向各个所述工作 节点发送提 示信息, 所述 提示信息用于指示增大 所述工作节点的单位资源的数量。 6.根据权利要求1 ‑4任一项所述的资源配置方法, 其特征在于, 所述获取待执行任务读 取的多个消息群之前, 还 包括: 获取所述待执 行任务的基础信息; 根据所述基础信息对各个所述工作节点进行参数配置 。 7.根据权利要求1 ‑4任一项所述的资源配置方法, 其特征在于, 所述根据 各个所述消息 单元被处理所需的单位资源的第一数量, 为所述分布式系统的各个工作 节点分配对应的消 息单元之后, 还 包括: 获取所述待执 行任务的任务指标; 若所述任务指标匹配预设的诊断规则, 输出所述预设的诊断规则所对应的诊断建议信 息。权 利 要 求 书 1/2 页 2 CN 114968585 A 28.一种资源配置装置, 其特 征在于, 包括: 获取模块, 用于获取待执行任务读取的多个消息群以及执行所述待执行任务的分布式 系统的历史网络参数, 所述消息群包括多个消息单 元, 所述消息单 元包括一个或多个消息; 确定模块, 用于根据 所述历史网络参数确定各个所述消息单元被处理所需的单位资源 的第一数量, 所述消息群包括多个消息单 元, 所述消息单 元包括一个或多个消息; 分配模块, 用于根据各个所述消息单元被处理所需的单位资源的第一数量, 为所述分 布式系统中各个工作节点分配对应的消息单元, 其中, 分配至所述工作节点的各个所述消 息单元被处理所需的单位资源的第一数量之和, 小于或等于所述工作节点的单位资源的数 量。 9.一种介质, 其特征在于, 包括: 计算机执行指令, 所述计算机执行指令被处理器执行 时用于实现如权利要求1至7任一项所述的资源配置方法。 10.一种计算设备, 其特 征在于, 包括: 存 储器以及处 理器; 所述存储器存储计算机执行指令; 所述处理器执行所述存储器存储的计算机执行指 令, 使得所述处理器执行如权利要求1至7任一项所述的资源配置方法。权 利 要 求 书 2/2 页 3 CN 114968585 A 3

.PDF文档 专利 资源配置方法、装置、介质和计算设备

文档预览
中文文档 22 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共22页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 资源配置方法、装置、介质和计算设备 第 1 页 专利 资源配置方法、装置、介质和计算设备 第 2 页 专利 资源配置方法、装置、介质和计算设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:34:05上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。