(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210418864.X (22)申请日 2022.04.20 (71)申请人 上海工程 技术大学 地址 201620 上海市松江区龙腾路3 33号 (72)发明人 范平清　邓畅　马西沛　李森　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 赵志远 (51)Int.Cl. G06F 9/50(2006.01) G06F 21/62(2013.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 基于混合神经网络的分布式系统构建方法、 设备及介质 (57)摘要 本发明涉及一种基于混合神经网络的分布 式系统构建方法、 设备及介质， 该方法在终端设 备上部署经过压缩优化后的深度神经网络， 在云 服务器设备上部署原始的深度神经网络， 若所述 终端设备上压缩优化后的深度神经网络输出检 测结果满足置信度的标准即可直接输出结果； 若 终端设备结果不能满足要求， 则所述终端设备将 处理后的初始特征样本传至云服务器， 由所述运 服务器的原始深度神经网络进一步处理后输出 结果。 与现有技术相比， 本发明具有在资源受限 的嵌入式环境中快速完成特征提取的推理运算 等优点。 权利要求书2页 说明书6页 附图1页 CN 114860429 A 2022.08.05 CN 114860429 A 1.一种基于混合神经网络的分布式系统构建方法， 其特征在于， 该方法在终端设备上 部署经过压缩优化后的深度神经网络， 在云服务器设备上部署原始的深度神经网络， 若所 述终端设备上压缩优化后的深度神经网络输出检测结果满足置信度的标准即可直接输出 结果； 若终端设备结果不能满足要求， 则所述终端设备将处理后的初始特征样本传至云服 务器， 由所述 运服务器的原 始深度神经网络进一 步处理后输出 结果。 2.根据权利要求1所述的一种基于混合神经网络的分布式系统构建方法， 其特征在于， 该方法具体包括以下步骤： 步骤1)对训练好的深度神经网络进行网络模型压缩和权 重调整的简化处 理； 步骤2)在资源受限的终端设备中部署采用压缩 优化的深度神经网络； 步骤3)在资源丰富的云服 务器中部署原 始的深度神经网络； 步骤4)在终端设备的本地深度神经网络上设置出口点； 步骤5)所述终端设备首先向本地压缩优化的深度神经网络发送采样数据并进行快速 推理运算； 步骤6)所述终端设备确定本地深度神经网络的推理结果基于置信度的标准是否能够 做出准确的分类； 步骤7)如果是， 则对样本进行分类， 并直接在终端设备 上完成处 理； 步骤8)如果不是， 则终端设备将中间计算结果通过出口点推向云服务器， 以便进行进 一步的分类处 理， 步骤9)所述云服务器基于终端的推送信息在高精度深度神经网络上进行最终分类决 策。 3.根据权利要求1所述的一种基于混合神经网络的分布式系统构建方法， 其特征在于， 该方法的分布式系统通过分布式计算， 增强了传感器融合、 数据隐私和系统容 错能力。 4.根据权利要求1所述的一种基于混合神经网络的分布式系统构建方法， 其特征在于， 该方法不仅可扩大神经网络的规模， 还以在设备跨度上扩展。 5.根据权利要求1所述的一种基于混合神经网络的分布式系统构建方法， 其特征在于， 该方法将早期的出 口点放置在终端设备中， 当系统表现可信时， 深度神经网络的推理执行 可在本地终端设备 上就完成图像分类并退 出， 进行快速的局部推断。 6.根据权利要求1或5所述的一种基于混合神经网络的分布式系统构建方法， 其特征在 于， 该方法通过使用基于熵的确定标准， 在神经网络的早期点对样本进 行分类， 称为早期出 口点， 如果在一个早期出口点， 根据目标类的计算概率向量的熵， 认为样本已经被可信分 类。 7.根据权利要求6所述的一种基于混合神经网络的分布式系统构建方法， 其特征在于， 该方法混合神经网络的推断在按物理设备划分的阶段中使用预测出口阈值T作为对样本预 测的置信度的度量， 其中定义T的方法之一是在验证集上搜索T的范围， 使用归一化熵的阈 值作为置信条件， 来决定是否在某一特定的出 口点完成对样本进行分类， 其中归一化熵被 定义为 权　利　要　求　书 1/2 页 2 CN 114860429 A 2其中C是所有可能的标签的集 合， x是一个概 率向量， 这个归一 化熵的值在0和1之间。 8.根据权利要求7所述的一种基于混合神经网络的分布式系统构建方法， 其特征在于， 该方法在给定的终端设备出口点上， 如果预测结果是不可信的， 即： η>T， 则系统会进一步进 入云服务器执行分类操作。 9.一种电子设备， 包括存储器和处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处 理器执行所述程序时实现如权利要求1～8中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理 器执行时实现如权利要求1～8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114860429 A 3