(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210515617.1 (22)申请日 2022.05.12 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 郭宇　谢圆琰　陈悦　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06F 9/50(2006.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于计算卸载机制的实时实例分割方法和 系统 (57)摘要 本发明公开了一种基于计算卸载机制的实 时实例分割方法和系统， 该方法包括： 构建目标 网络模型； 获取当前网络带宽， 根据目标网络模 型的结构以及每个模块输出的特征图大小和计 算量， 确定计算卸载点以及特征图压缩比率； 以 计算卸载点为切分点， 将目标网络模 型分成两部 分； 将物联网设备上视觉传感器采集的数据传入 前段网络模型进行计算， 得到中间结果数据； 按 照设定的压缩比率和降采样方法， 对 数据进行压 缩操作， 并将压缩后的数据发送至边缘服务器； 边缘服务器对接收的数据进行解压缩操作后传 入后段网络模 型进行计算， 得到推理结果并将其 返回至物联网设备。 本发明公开的基于计算卸载 机制的实时实例分割方法， 能够在资源受限设备 上实时运行。 权利要求书2页 说明书9页 附图5页 CN 114924874 A 2022.08.19 CN 114924874 A 1.一种基于计算卸载机制的实时实例分割方法， 其特 征在于， 所述方法包括： 在目标实例分割网络的骨干网络 中的降采样层前添加 注意力机制模块， 并输入图片训 练集对所述目标实例分割网络进行训练， 得到目标网络模型； 获取当前网络带宽， 根据所述目标网络模型的结构以及每个模块输出的特征图大小和 计算量， 确定计算卸载点以及特 征图压缩比率； 根据所确定的计算卸载方案， 以计算卸载点为切分点， 将所述目标网络模型分成两部 分， 其中， 前段模型部署在物联网设备上， 后段模型部署在边缘服务器上， 且所述物联网设 备与所述 边缘服务器间建立有通信链接； 将所述物联网设备上视觉传感器采集的数据传入所述前段网络模型进行计算， 得到中 间结果数据； 采用预设的降采样压缩方法按照设定的压缩比率， 对数据进行压缩操作， 并将压缩后 的数据发送至所述 边缘服务器； 所述边缘服务器对接收的数据进行解压缩操作， 将解压后的数据传入所述后段网络模 型进行计算， 得到推理结果； 所述边缘服务器将所述推理结果返回至所述物联网设备。 2.根据权利要求1所述的方法， 其特征在于， 所述获取当前网络带宽， 根据所述目标网 络模型的结构以及每个模块输出的特征图大小和计算量， 确定计算卸载点以及特征图压缩 比率的步骤， 包括： 选取实例分割网络中骨干网的所有降采样层为 候选计算卸载点； 根据当前网络带宽， 联合优化计算卸载点与特征图压缩比率， 使得在满足时延要求的 前提下最大化推理精度。 3.根据权利要求2所述的方法， 其特征在于， 所述根据当前网络带宽， 联合优化计算卸 载点与特 征图压缩比率， 使得在满足时延要求的前提下最大化推理精度的步骤， 包括： 设置初始通道 注意力阈值和空间注意力阈值； 计算各个候选计算卸载点处的数据传输量； 计算以各个候选计算卸载点为最终卸载点的计算卸载方案的数据传输时间以及推理 总延时； 判断当前 所有候选计算卸载 方案中， 最小的推理延时是否满足时延要求； 若满足， 则输出当前计算卸载点、 通道 注意力阈值和空间注意力阈值。 4.根据权利要求3所述的方法， 其特征在于， 在所述判断当前所有候选计算卸载方案 中， 最小的推理延时是否满足时延要求的步骤之后， 所述方法还 包括： 若不满足， 以第一预设时间间隔增加通道注意力 阈值， 重新计算各候选计算卸载方案 的推理总延时， 直至存在一个方案的推理延时满足所述时延要求； 当通道注意力阈值大于或等于最大通道注意力阈值 时， 未确定出满足时延要求的计算 卸载方案的情况 下， 将当前推理时延最小的计算卸载 方案作为临时计算卸载 方案； 以所述第一预设时间间隔增加空间注意力阈值， 重新计算当前临时计算卸载方案的推 理总延时， 直至方案满足时延要求并输出满足时延要求的计算卸载点、 通道注意力阈值以 及空间注意力阈值。 5.根据权利要求1所述的方法， 其特征在于， 所述采用预设的降采样压缩方法按照设定权　利　要　求　书 1/2 页 2 CN 114924874 A 2的压缩比率， 对数据进行压缩操作的步骤， 包括： 采用注意力模块获取 特征地图的通道 注意力权 重和空间注意力权 重； 根据激活函数， 激活特 征地图的部分通道和空间区域； 对特征地图中激活的通道执 行预设的降采样 操作， 获取压缩的特 征地图。 6.根据权利要求5所述的方法， 其特征在于， 所述对特征地图中激活的通道执行预设的 降采样操作， 获取压缩的特 征地图的步骤， 包括： 对于每个激活的通道， 提取激活的空间区域， 并执行第 一降采样操作， 获取压缩的激活 区域信息； 将激活空间区域的特征值替换为0， 并对整个激活的通道执行双倍步长的第二降采样 操作， 得到 压缩的非激活区域信息 。 7.根据权利要求1所述的方法， 其特征在于， 所述边缘服务器对接收的数据进行解压缩 操作的步骤， 包括： 所述边缘服务器采用像素插值， 恢复特 征图的宽度和高度至 压缩前维度； 零填充重建未激活通道， 并根据未激活通道索引， 将未激活通道插入， 恢 复特征图的通 道数至压缩前维度。 8.根据权利要求7所述的方法， 其特征在于， 所述边缘服务器采用像素插值， 恢复特征 图的宽度和高度至 压缩前维度的步骤， 包括： 将压缩的非激活区域信息还原成矩阵形式； 通过最近邻插值的方法， 将所述矩阵宽度和高度恢复至 压缩前维度； 根据激活区域掩码， 将压缩的激活区域信息覆盖在激活区域， 得到恢复的激活通道。 9.一种基于计算卸载机制的实时实例分割系统， 其特征在于， 所述系统包括物联网设 备和边缘服务器； 所述物联网设备在目标实例分割网络的骨干网络中的降采样层前添加注意力机制模 块， 并输入图片训练集对所述目标实例分割网络进行训练， 得到目标网络模型； 获取当前网络带宽， 根据所述目标网络模型的结构以及每个模块输出的特征图大小和 计算量， 确定计算卸载点以及特 征图压缩比率； 根据所确定的计算卸载方案， 以计算卸载点为切分点， 将所述目标网络模型分成两部 分， 其中， 前段模型部署在物联网设备上， 后段模型部署在边缘服务器上， 且所述物联网设 备与所述 边缘服务器间建立有通信链接； 将所述物联网设备上视觉传感器采集的数据传入所述前段网络模型进行计算， 得到中 间结果数据； 采用预设的降采样压缩方法按照设定的压缩比率， 对数据进行压缩操作， 并将压缩后 的数据发送至所述 边缘服务器； 所述边缘服务器对接收的数据进行解压缩操作， 将解压后的数据传入所述后段网络模 型进行计算， 得到推理结果； 所述边缘服务器将所述推理结果返回至所述物联网设备。权　利　要　求　书 2/2 页 3 CN 114924874 A 3