全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210717021.X (22)申请日 2022.06.23 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 高蕾 姜晶菲 李东升 苏华友  李荣春 乔鹏 许金伟  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张思淼 (51)Int.Cl. G06K 9/62(2022.01) G06F 16/23(2019.01) G06F 9/50(2006.01) (54)发明名称 一种识别分布式训练系统异常更新的方法、 装置及介质 (57)摘要 本申请公开了一种识别分布式训练系统异 常更新的方法、 装置及介质, 主要涉及人工智能 领域。 该方法先接收各计算组发送的流量统计数 据; 其中, 流量统计数据包括计算组多次更新的 起始时间与结束时间、 通信流量大小和发往参数 服务器的编号; 然后, 根据隶属度矩阵和各计算 组的流量特征属性数据对各计算组进行聚类分 类, 得到分类结果; 其中, 流量特征属性数据为根 据流量统计数据计算得到; 最后, 根据分类结果 分析分布式训练系统的工作情况。 可见, 该方法 根据计算组的流量特征属性数据进行聚类分析, 能够有效识别各计算组的工作 情况, 进而可得到 计算组所在的分布式训练系统的工作情况, 因此 能够有效识别出分布式训练系统瓶颈或效率低 下等异常情况。 权利要求书2页 说明书12页 附图3页 CN 115204268 A 2022.10.18 CN 115204268 A 1.一种识别分布式训练系统异常更新的方法, 其特 征在于, 包括: 接收各计算组发送 的流量统计数据; 其中, 所述流量统计数据包括所述计算组多次更 新的起始时间与结束时间、 通信流 量大小和发往参数服 务器的编号; 根据隶属度矩阵和各所述计算组的流量特征属性数据对各所述计算组进行聚类分类, 得到分类结果; 其中, 所述 流量特征属性数据为 根据所述 流量统计数据计算得到; 根据所述分类结果分析 所述分布式训练系统的工作情况。 2.根据权利要求1所述的识别分布式训练系统异常更新的方法, 其特征在于, 各所述计 算组包括多维流量特征属性, 则所述根据隶属度 矩阵和各所述计算组的流量特征属性数据 对各所述计算组进行聚类分类, 得到分类结果包括: 初始化所述隶属度矩阵; 其中, 一种流 量特征属性对应一个隶属度矩阵; 根据所述隶属度矩阵对各 所述计算组进行聚类分类; 根据各所述计算组对当前聚类的隶属度和与各所述计算组的当前流量特征属性对应 的流量特征属 性数据计算得到当前所述聚类的聚类中心; 其中, 当前所述聚类为按照当前 所述流量特征属性对应的流量特征属性数据进行聚类分类所得到的全部聚类的其中一个; 当前所述计算组为全部计算组其中一个, 当前所述流量特征属性为全部流量特征属性其中 一个; 根据当前所述计算组的当前所述流量特征属性对应的流量特征属性数据和当前所述 聚类的聚类中心计算当前 所述计算组相对当前 所述聚类的聚类中心的距离; 判断是否计算各所述计算组相对聚类分类的全部所述聚类的聚类中心 的距离; 其中, 所述聚类分类的全部所述聚类为按照各所述流量特征属 性对应的流量特征属 性数据进行 聚类分类所 得到的全部聚类; 若未完成计算, 则进入所述根据各所述计算组对当前聚类的隶属度和与各所述计算组 的当前流 量特征属性对应的流 量特征属性数据计算得到当前 所述聚类的聚类中心的步骤; 若完成计算, 则根据 各所述计算组对聚类分类的各所述 聚类的隶属度和各所述计算组 相对聚类分类的各 所述聚类的聚类中心的距离计算当前目标函数值; 根据当前所述目标函数值与 上次计算的所述目标函数值计算目标函数差值, 并将所述 目标函数差值与预设的分类精度系数进行比较; 若所述目标函数差值大于所述分类精度系数, 则通过各所述计算组相对聚类分类的各 所述聚类的聚类中心的距离更新所述隶属度矩阵, 根据更新后的隶属度矩阵重新分类, 并 进入所述根据各所述计算组对当前聚类的隶属度和与各所述计算组的当前流量特征属 性 对应的流 量特征属性数据计算得到当前 所述聚类的聚类中心的步骤; 若所述目标函数差值 不大于所述分类精度系数, 则确定所述分类结果。 3.根据权利要求2所述的识别分布式训练系统异常更新的方法, 其特征在于, 在所述根 据当前所述目标函数值与上次计算的所述目标函数值计算目标函数差值之前, 在所述根据 各所述计算组对聚类分类的各所述聚类的隶属度和各所述计算组相对聚类分类的各所述 聚类的聚类中心的距离计算当前目标函数值之后, 还 包括: 将迭代次数加一; 判断所述迭代次数 是否小于预设的迭代阈值; 若小于, 则进入所述根据当前所述目标函数值与 上次计算的所述目标函数值计算目标权 利 要 求 书 1/2 页 2 CN 115204268 A 2函数差值的步骤; 若不小于, 则进入所述确定所述分类结果的步骤。 4.根据权利要求2所述的识别分布式训练系统异常更新的方法, 其特征在于, 所述根据 所述分类结果分析 所述分布式训练系统的工作情况包括: 将当前计算组所在的各聚类的元素个数分别与预设的第一阈值进行比较; 其中, 当前 所述计算组为全部所述计算组的其中一个 计算组; 若当前所述计算组所在的各所述聚类的元素个数均不小于所述第 一阈值, 则确定当前 所述计算组正常; 否则, 分别计算当前所述计算组所在的各所述聚类的聚类中心与选取 的 计算组所在的各聚类的聚类中心的相对距离; 若当前所述计算组所在的各所述聚类的所述元素个数均小于所述第一阈值且各所述 相对距离的绝对值均大于第二阈值, 则确定 当前所述计算组异常; 否则, 确定当前所述计算 组正常; 判断是否检测完全部所述计算组; 若未检测完, 则进入所述将当前计算组所在的各聚类的元素个数分别与预设的第 一阈 值进行比较的步骤; 若全部检测完, 则根据各所述计算组的工作情况得到所述分布式训练系统的工作情 况。 5.根据权利要求4所述的识别分布式训练系统异常更新的方法, 其特征在于, 在所述根 据所述分类结果分析 所述分布式训练系统的工作情况之后, 还 包括: 若所述分布式训练系统正常, 则控制报警装置给 出正确提 示; 若所述分布式训练系统异常, 则控制所述报警装置报错。 6.根据权利要求4所述的识别分布式训练系统异常更新的方法, 其特征在于, 在所述检 测完全部所述计算组之后, 还 包括: 根据检测结果判断是否存在异常计算组; 若存在, 则对所述异常计算组进行维护处 理。 7.一种识别分布式训练系统异常更新的装置, 其特 征在于, 包括: 接收模块, 用于接收各计算组发送的流量统计数据; 其中, 所述流量统计数据包括所述 计算组多次更新的起始时间与结束时间、 通信流 量大小和发往参数服 务器的编号; 分类模块, 用于根据各所述计算组的流量特征属性数据对各所述计算组进行聚类分 类, 得到分类结果; 其中, 所述 流量特征属性数据为 根据所述 流量统计数据计算得到; 分析模块, 用于根据所述分类结果分析 所述分布式训练系统的工作情况。 8.一种识别分布式训练系统异常更新的装置, 其特 征在于, 包括: 存储器, 用于存 储计算机程序; 处理器, 用于执行所述计算机程序时实现如权利要求1至6任一项所述的识别分布式训 练系统异常更新的方法的步骤。 9.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 程序, 所述计算机程序被处理器执行时实现如权利要求 1至6任一项 所述的识别分布式训练 系统异常更新的方法的步骤。权 利 要 求 书 2/2 页 3 CN 115204268 A 3

PDF文档 专利 一种识别分布式训练系统异常更新的方法、装置及介质

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种识别分布式训练系统异常更新的方法、装置及介质 第 1 页 专利 一种识别分布式训练系统异常更新的方法、装置及介质 第 2 页 专利 一种识别分布式训练系统异常更新的方法、装置及介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:43:52上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。