(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211310459.2 (22)申请日 2022.10.25 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 邵凯　董心语　王光宇　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 基于联邦学习的注意力机制聚合优化系统 (57)摘要 本发明涉及基于联邦学习的注意力机制 聚 合优化系统， 属于计算机领域。 针对于联邦学习 中普遍存在的数据异构不平衡问题， 需解决两个 关键难点(1)保持数据子集分布结构和重要的样 本信息； (2)解决数据子集边界过拟合。 本发明提 出了一种基于注意力机制的聚合优化算法 AMAOP。 为有效解决数据异构问题， AMAOP针对两 个难点分别设计了混合域注意力模块HDAM和基 于密度的分 组聚类模 块DBSCAN。 DBSCAN采用多维 算法处理HDAM的多维权重完成分组操作， 解决训 练过程中的边界过拟合问题。 本发 明能够有效减 少数据不平衡问题对于联邦学习网络的影响。 权利要求书2页 说明书6页 附图4页 CN 115481735 A 2022.12.16 CN 115481735 A 1.基于联邦学习的注意力机制聚合优化系统， 其特征在于： 由中央服务器模块和客户 端模块构成； 其中中央服务器模块包括 LW‑CNN、 HDAM、 DBSCAN 三个部分； 客户端模块和中央服 务器模块构成AMAOP模块； AMAOP中： 首先在客户端模块处输入参与训练的k个用户的数据模型参数， 客户端模块 通过使用客户更新函数Clientpdate(k， Wt)对于模型进行本地训练生成共享模型； 客户端 再将训练好的模型 上传至中央服务器端的优化 函数ServerOptimizati on 处进行统 一聚合训练； 共享模型分别 通过中央服务器端的LW ‑CNN、 HDAM和DBSCAN模块进行参数的迭 代更新； 更新后的模型参数将会被发送回客户端作为下一轮的初始 参数参与联邦学习的训 练流程中； LW‑CNN中： 首先通过一维卷积层对于输入的一维数据进行卷积操作， 输入为196个卷积 核， 输出为16个卷积核， 并且在一 维卷积层中使用的激活函数为relu函数； 然后通过一维最 大池化层， 其中池化窗口的大小pool_ size为4； 然后通过卷平层实现将多维输入一 维化， 实 现从卷积层到全连接层的过渡， 并且卷平层不会影响实验批处理的大小； 最后通过两层全 连接层和dropout层， 其中第一层全连接层使用relu作为激活函数， 第二层全连接层使用 softmax作为激活函数； 全 连接层在 整个网络中起到了特征提取的作用， 能够将 输入的特征 表示映射到样本的标记空间； 使用两层的全连接层， 一层作为输入层， 一层作为输出层， 其 中输入层输入1024个神经元； 在两层全连接层中间加入一层dropout层能够防止网络过拟 合， 并且能够提升模型的泛化能力； HDAM包括深度 可分离卷积模块和注意力 机制模块； 其中深度可分离卷积模块由下采样 和深度可分离卷积组成， 深度可分离卷积包括逐点卷积和深度卷积； 注意力机制模块由通 道注意力模块、 空间注意力模块、 上采样组成； 输入的模块先通过下采样操作， 后通过深度 可分离卷积提取特征； 下采样操作是深度神经网络中常用于增加感受野并减少计算量的方 法； 深度可分离卷积分为逐点卷积和深度卷积， 深度卷积用来处理长宽方向的空间信息， 逐 点卷积用来处 理通道方向的信息； 通道注意力模块获取不同通道在总体模型中所占的权重， 增强具体特征之间的表达； 首先对于输入的模型参数特征W使用最大池化和平均池化操作提取权重， 再将权重值送入 共享MLP多层感知中， 得到两个不同的描述符： Wmax和Wavg； 将这两个特征值进行特征相加后 输入到sigmoid激 活函数中生成通道注意力特征Wc； 最后将最初的模型参数特征W与得到的 通道注意力特征Wc进行特征相乘， 得到通道注意力模块输出的模型参数特征W ’； 用公式表 示如下： Wmax＝MLP(MaxPo ol(W))    (1) Wavg＝MLP(AvgPo ol(W))    (2) Wc＝Wmax+Wavg     (3) W′＝σ(Wc)*W        (4) 其中Wmax表示为最大池 化后进行MLP后的特征， Wavg表示平均池 化后进行MLP后的特征， Wc 表示将两个输出特征进 行加权后得到的特征， W表示最初输入的模型参数特征， W ’表示最终 通过通道 注意力模块后输出的模型参数 特征； 空间注意力模块用于获取多维空间位置信息， 突出模型关键特征的位置， 增强模型特权　利　要　求　书 1/2 页 2 CN 115481735 A 2征的表达能力； 在空间注意力模块中， 首先输入通道注 意力模块训练后的模型参数特征W ’， 进行最大池化和平均池化提取权重信息， 得到两个新的特征； 使用3*3的深度可分离卷积将 这两个特征值进 行拼接， 并使用sigmoid激活函数得到空间注 意力特征； 最后将最初的模 型 参数特征W ’与得到的空间注 意力特征进 行特征相乘， 得到空间注意力模块输出的模型参数 特征； 用公式表示如下： W′max＝MaxPool(W′)    (5) W′avg＝AvgPool(W′)    (6) Ws＝f[W′max， W′avg]    (7) W″＝σ(Ws)*W′     (8) 其中W′max表示为经过最大池化后的模型参数特征， W ′avg表示为经过平均池化后的模型 参数特征， f[W ′max， W′avg]表示为将这两个特征进行深度卷积操作拼接， Ws表示为经过激活 函数后的模型参数 特征， W”表示为最后通过空间注意力模块后输出的模型参数 特征。权　利　要　求　书 2/2 页 3 CN 115481735 A 3