(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210792782.1 (22)申请日 2022.07.07 (65)同一申请的已公布的文献号 申请公布号 CN 114863572 A (43)申请公布日 2022.08.05 (73)专利权人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 袁学东　邹联军　李沿宏　邹可　 江茜　 (74)专利代理 机构 成都禾创知家知识产权代理 有限公司 51284 专利代理师 刘凯 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06K 9/00(2022.01) (56)对比文件 CN 113466852 A,2021.10.01CN 109271901 A,2019.01.25 CN 111340103 A,2020.0 6.26 US 2020143169 A1,2020.0 5.07 CN 113205074 A,2021.08.0 3 CN 110619288 A,2019.12.27 CN 114265498 A,202 2.04.01 CN 105446461 A,2016.0 3.30 CN 113627401 A,2021.1 1.09 CN 111476161 A,2020.07.31 CN 112603758 A,2021.04.0 6 CN 113887675 A,202 2.01.04 李沿宏等.融合注意力机制的多流卷积肌电 手势识别网络. 《计算机 应用研究》 .2021,第38卷 (第11期), 程文韬.基 于RGB-D图像多 模态融合的手势 识别研究_程文韬. 《中国优秀博硕士学位 论文全 文数据库(硕士) 信息科技 辑》 .2019,(第09期), 刘肖.基于多传感器融合的手势 识别算法研 究. 《中国优秀博硕士学位 论文全文数据库(硕 士) 信息科技 辑》 .2022,(第03期), (续) 审查员 唐嘉 (54)发明名称 一种多通道异构传感器的肌电手势识别方 法 (57)摘要 本发明涉及一种多通道异构传感器的肌电 手势识别方法， 包括提出一种多模态个性共性特 征融合网络， 该网络首先通过多流个性网络充分 提取多异构传感器的个性特征， 个性网络使用多 时间尺度卷积同时提取长时和短时时序信息； 并 利用共性网络不断融合新的个性特征与旧的共 性特征， 得到新的共性特征， 学习多异构传感器 的互补性信息。 最后， 加入个性网络交叉熵损失 函数， 加速梯度反向传播， 引导网络更好地学习个性共性特征， 进一步提高手势识别性能。 本发 明一种多通道异构传感器的肌电手势识别方法 能够很好地利用多通道异构传感器数据， 提高肌 电手势识别准确率， 增强识别系统稳定性。 [转续页] 权利要求书3页 说明书7页 附图1页 CN 114863572 B 2022.09.23 CN 114863572 B (56)对比文件 Haojie Duan 等.Gesture recogn ition based on multi-modal feature weight. 《Concurrency and Computati on: Practice and Experience》 .2020, Ananda San kar Kundu等.Hand Gesture Recognition Based O mnidirecti onal Wheelchair Control Using IMU and E MG Sensors. 《J I ntell Robot Syst》 .2017,2/2 页 2[接上页] CN 114863572 B1.一种多通道 异构传感器的肌电手势 识别方法， 其特 征在于， 包括以下步骤： 步骤1： 获取肌电数据， 对每个多通道异构传感器的原始数据通过滑动窗口生成单个网 络输入样本， 并将其归一 化处理； 步骤2： 构建多模态个性共性特征融合网络， 该网络包括多模态特征提取网络和分类网 络， 所述多模态特征提取网络包括个性网络和共性网络； 通过个性网络学习到多异构传感 器具有区分性的个性特征， 再通过不同传感器个性网络之间的特征交互， 使共性网络学习 到多异构传感器具有互补性的共性特征， 最终输出多模态融合特征； 所述分类网络根据所 述多模态融合特 征输出手势分类结果； 步骤3： 使用训练样本集对多模态个性共性特征融合网络进行有监督的训练， 得到最优 的网络模型； 所述步骤1中单个异构传感器输入样本为 ，m表示第m个传感器， W为时间窗 口的长度，Cm为第m个传感器采集 通道数， 表示W×Cm的特征空间； 所述步骤2中的多模态特 征提取网络包括； 个性网络： 个性网络的输入为单个异构传感器输入样本 Fm， 每一个传感器数据都有独有 的特征提取网络； 个性网络包括四层个性卷积模块， 四层个性卷积模块的输出特征依 次为 ， 每层特征除了作为下一层个性卷积模块的输入特征外， 还将作为同网 络层的共性网络中多模态卷积融合模块的输入； 则作为个性网络最终输出的个性特征 ，Cpout为个性特 征PFm的特征通道数； 共性网络： 共性网络的输入为多个异构传感器数据串联而成， 表示为F∈RW×C，C为多个 异构传感器采集通道数之和； 共性网络包括四层多模态卷积 融合模块， 与所述个性网络的 四层个性卷积模块一一对应； 四层多模态卷积融合模块对应的四层特征依次为CF1、CF2、 CF3、 CF4； 多模态卷积融合模块有多个输入 ， 分别为上一层网络的共性特征 和本网络层中个性网络的个性特征 ，i为第i层网络， 其 中， 个性特征PFi为M个传感器第 i层个性特征在特征通道维度上的串 联，Cf为个性特征PFi的 特征通道数， Cin为共性特征CFi‑1的特征通道数； 共性网络的最终输出为第四个多模态卷积 融合模块的输出特征CF4， 也是多模态个性共性特征融合网络最终输出的多模态融合特征 即 ， 其中，Cout为多模态融合特 征MF的特 征通道数； 所述步骤2中的分类网络包括全局均值池化层、 全连接层、 Dropout层和Softmax层； 第一层全局均值池化层将特征图所有像素值相加求平均， 得到一个数值， 即用该数值 表示对应特征图， 多模态融合特征MF通过全局均值池化层后得到多模态数据融合特征 ； 第二层全连接层降低多模态数据融合特 征MFGAP的维度， 增 加网络的非线性表达能力； 第三层Dropout层训练过程中随机 丢弃神经 元， 防止网络过拟合； 最后一层Softmax层使用Softmax激活函数激活全连接层得到最终手势分类结果。 2.根据权利要求1所述的一种 多通道异构传感器的肌电手势识别方法， 其特征在于， 所权　利　要　求　书 1/3 页 2 CN 114863572 B 3