(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581519.8 (22)申请日 2022.05.26 (71)申请人 中国海洋大学 地址 266000 山东省青岛市崂山区松岭路 238号 (72)发明人 侯瑞春　魏振辉　 (74)专利代理 机构 青岛联智专利商标事务所有 限公司 37101 专利代理师 邵新华 (51)Int.Cl. G06K 9/62(2022.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/20(2019.01) (54)发明名称 一种基于联邦学习的多源异构数据融合方 法 (57)摘要 本发明公开了一种基于联邦学习的多源异 构数据融合方法， 旨在解决现有异构数据融合方 法所存在的网络带宽占用量大、 用户数据存在泄 露风险的问题， 包括： 在初始化阶段， 中心控制节 点对特征提取模块、 特征融合模块和特征决策模 块进行网络参数随机初始化， 并下发至边缘节 点； 在模型训练阶段， 边缘节点根据本地的数据 集结构选 择对应的特征提取模块， 并利用本地数 据集对选择的特征提取模块 以及接收到的特征 融合模块和特征决策模块进行训练； 待训练结束 后， 将训练后的模型返回至中心控制节点； 在模 型聚合阶段， 中心控制节点采用平均聚合算法对 训练后的模 型进行聚合， 形成具有全局异构数据 特征的共享模 型， 并将共享模型重新下发至边缘 节点进行新 一轮训练。 权利要求书2页 说明书6页 附图1页 CN 114861817 A 2022.08.05 CN 114861817 A 1.一种基于联邦学习的多源异构数据融合方法， 其特 征在于， 包括： 初始化阶段： 中心控制节点对特征提取模块、 特征融合模块和特征决策模块进行网络 参数随机初始化， 并将初始化后的特征提取模块、 特征融合模块和特征决策模块下发至边 缘节点； 模型训练阶段： 边缘节点根据本地的数据集结构选择对应的特征提取模块， 并利用本 地数据集对选择的特征提取模块以及接收到的特征融合模块和特征决策模块进行训练； 待 训练结束后， 将训练后的特征提取模块、 特征融合模块和特征决策模块返回至中心控制节 点进行模型聚合； 模型聚合阶段： 中心控制节点采用平均聚合算法对训练后的模型进行聚合， 然后将聚 合后的特征提取模块、 特征融合模块和特征决策模块重新下发至边缘节点进行新一轮训 练。 2.根据权利要求1所述的基于联邦学习的多源异构数据融合方法， 其特征在于， 在所述 模型训练阶段， 边缘节点训练结束的条件是本地节点训练轮数超过中心控制节点给定的训 练轮数。 3.根据权利要求1所述的基于联邦学习的多源异构数据融合方法， 其特征在于， 所述特 征提取模块包括： 音频、 视觉特征子网络， 其针对音频信息和视觉信息， 分别采用COVAREP声学分析框架 和FACET面部表情分析框架对数据集进行 特征采样提取； 文本特征子网络， 其在编码部分先采用全局词向量对口语词进行预处理， 然后使用长 短期记忆人工神经网络学习 与时间相关的语 言表示， 并将此作为CNN卷积神经网络的输入， 在卷积层通过 卷积核对文本信息进行局部特 征提取。 4.根据权利要求1所述的基于联邦学习的多源异构数据融合方法， 其特征在于， 所述特 征融合模块包括具有异构数据特征空间的记忆单元W， 所述记忆单元W的每一模态对应于一 种异构数据特征 的空间映射； 在对异构数据特征进行融合时， 将某一模态的异构数据特征 与记忆单元W所对应的特征 空间进行模乘， 得到具有 该模态异构数据特征的记忆单元； 将剩 余模态的异构数据特征依次与具有前一模态的异构数据特征的记忆单元所对应的特征空 间进行模乘， 以得到具有后一模态的异构数据特 征的记忆单元。 5.根据权利要求4所述的基于联邦学习的多源异构数据融合方法， 其特征在于， 针对三 模态特征， 所述特 征融合模块的融合操作分为 三个阶段： 第一阶段： 记忆单元W沿着一阶与第 一模态的异构数据特征进行模乘， 得到具有第一模 态异构数据特 征的新记 忆单元W1； 第二阶段： 记忆单元W1沿着二阶与第二模态 的异构数据特征进行模乘， 得到具有两种 模态异构数据特 征的记忆单元W2； 第三阶段： 记忆单元W2沿着三阶与第三模态 的异构数据特征进行模乘， 得到具有三种 模态异构数据特 征的记忆单元W3。 6.根据权利要求1所述的基于联邦学习的多源异构数据融合方法， 其特征在于， 所述特 征决策模块针对融合后的数据， 采用CNN卷积神经网络的全连接层在全局特征的基础上进 行决策， 包括回归模型的预测和分类模型的概率预测； 其中， 在回归模型模块中， 采用L1范 数损失函数对目标值和预测值之间的误差进行衡量。权　利　要　求　书 1/2 页 2 CN 114861817 A 27.根据权利要求1至6中任一项所述的基于联邦学习的多源异构数据融合方法， 其特征 在于， 在所述模型聚合阶段， 中心控制节点首先将各个边缘节点选择训练的特征提取子网 络进行归并， 使同一模态的数据提取特征具有相似性； 然后， 采用平均聚合算法对特征提取 模块、 特征融合模块和特 征决策模块进行聚合， 得到具有全局异构数据特 征的共享模型。权　利　要　求　书 2/2 页 3 CN 114861817 A 3