(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221012843 3.X (22)申请日 2022.02.11 (71)申请人 内蒙古工业大 学 地址 010080 内蒙古自治区呼和浩特市土 默特左旗内蒙古工业大 学金川校区 (72)发明人 许志伟　武茹涛　王永生　刘利民　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06F 9/445(2018.01) G06F 8/60(2018.01) G06F 11/07(2006.01) G06F 11/14(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种面向边缘智能的高弹性多节点协同模 型卸载方法 (57)摘要 一种面向边缘智能的高弹性多节点协同模 型卸载方法。 在部署阶段， 多边缘节点进行信息 感知， 构建多边缘节点深度神经网络(Deep   Neural Network， DNN)协同执行图， 实现神 经网 络分布式部署； 在执行阶段， 根据部署阶段生成 的执行图运行DNN模型， 同时使用故障检测机制 检测故障， 若检测到发生分区故障， 则使用基于 延迟改进的策略合理的选择DNN分区的最优部署 节点进行卸载备份。 并使用随机调度策略来随机 选择执行路径。 本发明通过提高分布式神经网络 的故障弹性， 有效规避了边缘节 点发生故障对分 布式推理的影响。 同时， 本发明不需要额外的模 型重新设计和再训练， 保证了执行效率和准确 率。 权利要求书2页 说明书7页 附图3页 CN 114595000 A 2022.06.07 CN 114595000 A 1.一种面向边 缘智能的高弹性多节点协同模型卸载 方法， 其特 征在于， 包括： 在部署阶段， 分布式DNN中部署有多个DNN模型， 每个所述DNN模型按层划 分为多个DNN 分区， 每个DNN分区包括一个或多个层， 将每个所述DNN分区部署且仅部署在一个边缘节点， 各边缘节点进行信息感知， 根据感知到的信息确定参与协同计算的边缘节点， 构建多边缘 节点DNN协同执行图， 实现DN N模型的分布式部署； 在执行阶段， 根据 所述协同执行图运行相应的DNN分区， 同时利用故障检测机制检测故 障， 当检测到某个DNN分区发生 故障时， 将其定义为 故障DNN分区， 使用基于延迟改进的卸载 备份策略， 为所述故障DNN分区创建备份分区， 将所述备份分区卸载至所述故 障DNN分区的 最优部署边缘节点， 并使用随机调度策略来 随机选择执行路径， 所述执行路径是任务在各 个边缘节点之间的执 行顺序。 2.根据权利要求1所述面向边缘智能的高弹性多节点协同模型卸载方法， 其特征在于， 所述边缘节点感知的信息包括网络速度、 可用节点和预测文件， 所述预测文件记录每个边 缘节点上DN N分区的预测执 行时间， 同时解析DN N模型结构。 3.根据权利要求1所述面向边缘智能的高弹性多节点协同模型卸载方法， 其特征在于， 根据信息确定参与协同计算的边 缘节点， 构建多边 缘节点DN N协同执行图， 具体方法如下： 根据感知到的信 息确定参与协同计算的边缘节点， 根据收集到的执行文件获得预计执 行时延， 然后用DNN分区的大小除以当前网络速度来计算传输时间， 以此构建一个多边缘节 点DNN协同执行图： 其中， 是在目标边缘节点上运行DNN分区的延 时改进， 是在请求边缘节 点上运行该DNN分区 的执行时间， 是在目标边缘节点上运行该DNN分区的总延时， 以所述延时改进为基准， 生 成所述卸载备份策略， 即， 为所述 故障DNN分区创建备份分区， 并 优先将备份分区卸 载到所述故障DNN分区的延时改进最大 的边缘节点， 所述延时改进最大 的边缘节点即所述故障DN N分区的最优部署边 缘节点。 4.根据权利要求3所述面向边缘智能的高弹性多节点协同模型卸载方法， 其特征在于， 在执行阶段， 将所述 故障DNN分区的备份 分区通过云中心调用， 并将该备份 分区添加到所述 故障DNN分区的最优部署边 缘节点上的DN N分区作为冗余。 5.根据权利要求4所述面向边缘智能的高弹性多节点协同模型卸载方法， 其特征在于， 记录每个边缘节点的可用性统计信息， 即， 最近发送的请求的响应比率， 表示边缘节点可用 性的统计结果。 6.根据权利要求1或5所述面向边缘智能的高弹性多节点协同模型卸载方法， 其特征在 于， 所述随机调度策略的实现方法如下： 构建一个随机网络模型， 通过边缘节点之间的连通性概率大于或等于lg(n)/n来实现 自适应调整低可用性边缘节点和高可用性边缘节 点的备份分区的数量， 优 先考虑删除部署 在低可用性边缘节点上 的备份分区， 且优先考虑在高可用性边缘节点上添加备份分区， 其 中n为边缘节点数； 所述边缘节点之间的连通性概率即边缘节点的可用性 通 过心跳机制的包来反映。 7.根据权利要求6所述面向边缘智能的高弹性多节点协同模型卸载方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114595000 A 2所述随机网络模型中， 将没有备份分区的DNN分区作为一个单元， 该单元的可用性是各DNN 分区可用性的乘积， 如公式所示： 其中 是该单元的可用性， 是DNN分区可用性， α 是DNN分区集； 将有 备份分区的DNN分区视为一个单元， 分区可用性是部署DNN分区及备份 分区的边缘节 点可用 性的总和， 如公式所示： 其中 是部署DNN 分区及备份分区的边 缘节点集， 是相应边 缘节点的可用性。 8.根据权利要求1所述面向边缘智能的高弹性多节点协同模型卸载方法， 其特征在于， 当故障恢复后， 在所述故障DN N分区和其备份分区中随机 选择执行路径。权　利　要　求　书 2/2 页 3 CN 114595000 A 3