(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111668405.9 (22)申请日 2021.12.31 (66)本国优先权数据 202110802580.6 2021.07.15 CN (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 叶娅兰　刘紫奇　孟千贺　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/30(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多跨域场景下基于活动图加权的人体行为 识别方法 (57)摘要 本发明公开了一种多跨域场景下基于活动 图加权的人体行为识别方法。 本发 明包括人体生 理信号预处理、 信号活动图转换、 模型预训练、 样 本加权、 训练模型和运动状态识别六部分； 对预 处理后的信号样本提取每一维度重新排列组合， 应用二维离散傅里叶变化转换为活动图形式； 接 着基于同一类别数据会映射到子空间相近位置 这一假设， 应用源域数据和三元 组损失预训练模 型， 提升模型泛化能力； 利用域判别器的概率预 测分别对源域和目标域的样本加权； 计算源域加 权交叉熵损失和目标域加权信息熵损失， 用整体 预测概率的熵作为正则项， 达到跨域知识迁移的 目的； 最后， 目标域数据输入模型， 其输出经过 softmax函数对人体活动进行分类 。 权利要求书3页 说明书8页 附图2页 CN 114495265 A 2022.05.13 CN 114495265 A 1.多跨域场景下基于活动图加权的人体行为识别方法， 其特 征在于， 包括下列步骤： 步骤S1： 分别对源域的数据集和目标域数据集中的人体生理信号进行信号预处理， 得 到预处理后的信号s0， 其中， 信号预处理为： 采用滑窗的方式进行时间窗划分、 去噪处理和 标准化处理； 步骤S2： 对预处 理之后的信号s0进行活动图编码： 使信号s0中每一维度都与其他维度相邻， 对信号s0的每一维度信号重新排列， 得到排列 后的信号s1； 对信号s1进行二维离散傅里叶变换得到频域数据sf， 将频域原点移到sf的中心得到活 动图数据； 并将源域的数据集和目标域的数据集的活动图数据分别记为ss和st； 步骤S3： 通过源域的活动图数据ss预训练人体行为识别模型M0； 所述人体行为识别模型M0包含一个特征提取器F和一个分类器C， 使用源域交叉熵损失 进行监督训练更新模型M0， 所述特征提取器F用于提取源域类别相关特征， 所述分类器C用 于根据特 征提取器F提取的特 征对源域的活动图数据ss进行分类； 使用三元组损失辅助更新模型M0， 对于三元组损失， 将支 撑样本、 正样本、 负样本分别记 为 采用在线生成方法获取源域的活动图数据ss所有可能的三元组 其中f(·)表示通过特征提取器F对样本提取 特征； 步骤S4： 加权源域和目标域样本： 将源域和目标域的活动图数据ss和st分别打上域标签0和1； 活动图数据ss和st分别送入特征提取器F得到特征fs和ft， 并将特征fs和ft送入域判别 器D进行对抗学习； 根据域判别器D的概率预测输出计算样本权重， 其中， 采用二分类交叉熵损失作为域判 别器D的训练损失函数； 基于样本的概 率预测， 设置源域样本和目标域样本的权 重 分别为： 其中， 表示源域的第i个样本的概率预测， 表示目标域的第i个样本的概率预测， e 表示自然底数 步骤S5： 使用加权的交叉熵损失和信息熵损失更新模型M0， 并采用正则项约束目标域概 率预测输出； 并将更新后的模型M0作为跨域场景下的人体行为识别模型M1； 步骤S6： 通过模型M1最后一层的输出和softmax函数对活动图数据进行运动转状态识 别。 2.如权利要求1所述的方法， 其特征在于， 步骤S1中， 采用滑窗方式进行时间窗口划分 的方式为： 将采集到的人体加速度信号采样频率通过上采样或下采样方式固定为指定频 率， 基于每 个窗口的时长和窗口重 叠， 得到每 个窗口的多个采样点。 3.如权利要求2所述的方法， 其特征在于， 采用滑窗方式进行时间窗口划分时， 指定频 率为50hz， 采样窗口时长2.5 6S， 窗口重 叠50％， 每个窗口128个采样点。权　利　要　求　书 1/3 页 2 CN 114495265 A 24.如权利要求1所述的方法， 其特征在于， 步骤S3中， 获取所有可能的三元组 具体为： 定义P表示 一个批次数据具有的类别数， K表示每 个类别包含的样本数； 采用batch  hard方法， 将所有样本通过深度模型映射到嵌入 空间中得到深层 特征f， 将 每一个样本作 为一个支撑样本 计算所有其他样本到该支撑样本的距离 选择与支撑样本 距离最大的同类别样本作为 正样本 与支撑样本 距离最小的非同类 别样本作为负 样本 其中， fi， fj表示第i个和第j个样本的深层特 征； 从而得到P*K个最 三元组， 且 满足条件： 其中， 表示第二范 数的平方， α 表示预设的最小间隔； 对每个批次的数据， 基于得到的P*K个三元组计算 三元组损失： 其中， (·)+表示负值取零， N表示样本总数。 5.如权利要求1所述的方法， 其特 征在于， 步骤S4中， 域判别器D的训练损失函数为： 其中， |Ds|和|Dt|分别表示源域和目标域的样本数量， Xs和Xt分别表示源域和目标域的 样本向量， 和 分别表示源域和目标域的概 率预测向量， Lbce为二分类交叉熵损失。 6.如权利要求1所述的方法， 其特 征在于， 步骤S5具体为： 以L＝Lw+ ηLe作为整体优化目标对 模型M0进行更新； 其中， 可调参数 η为预设值， 且 η＞0； Lw表示加权的交叉熵损失和信息熵损失： 其中， Ds和Dt分别表示源域和目标域的样本集， |Ds|和|Dt|分别表示源域和目标域的样 本数量， xs和xt分别表示源域和目标域 的样本， 和 分别表示源域样本和目标域样本的 概率预测， 可调参数 λ为预设值， 且 λ＞0； Le表示正则项损失： 其中， n为样 本所属类别， N ′为类别总数， Pn 表示第n类的正则项。 7.如权利要求1所述的方法， 其特 征在于， 步骤S3中， 最小间隔α 的取值 为1。 8.如权利要求1所述的方法， 其特征在于， 所述人体生理信号为通过加速度传感器采集 的人体运动状态下的生理信号。 9.如权利要求8所述的方法， 其特征在于， 所述人体生理信号包含6轴加速度信号： 3轴权　利　要　求　书 2/3 页 3 CN 114495265 A 3