(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210744125.X (22)申请日 2022.06.28 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 姜立标　张通　张伟林　姜思羽　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 周春丽 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度注意力模块的分心驾驶行 为检测方法 (57)摘要 本发明公开一种基于多尺度注意力模块的 分心驾驶行为检测方法， 包括以下步骤： 得到标 注对应的分心驾驶行为信息的图像数据集； 结合 多尺度注意力模块MPSA， 改进MoblieNetV2特征 网络模型， 用于提取分心驾驶行为特征并输出预 测驾驶行为概率， 其中， 改进的MoblieNetV2特征 网络模型包括多个串 联的倒瓶颈残差模块， 且在 每个倒瓶颈残差模块中加入多尺度注 意力模块， 定义为多尺度倒瓶颈残差模块， 多尺度倒瓶颈残 差模块包括分组卷积层、 多尺度注意力模块层 MPSA以及特征提取层， 设置训练超参数， 将训练 集图像输入到改进后的MoblieNetV2特征网络模 型， 得到训练完备的分心驾驶行为检测模型； 将 待测图像输入训练得到的分心驾驶行为检测模 型中， 输出驾驶行为类型。 稳定性 好， 鲁棒性强。 权利要求书2页 说明书8页 附图3页 CN 115082698 A 2022.09.20 CN 115082698 A 1.一种基于多尺度注意力模块的分心驾驶行为检测方法， 其特 征在于， 包括以下步骤： 获取分心驾驶行为数据集， 设置分心驾驶行为标签信息， 得到标注对应的分心驾驶行 为信息的图像数据集； 结合多尺度注意力模块MPSA， 改进MoblieNetV2特征网络模型， 用于提取分心驾驶行为 特征并输出预测驾驶行为概率， 其中， 改进的MoblieNetV2特征网络模 型包括多个串联的倒 瓶颈残差模块， 且在每个倒瓶颈残差模块中加入多尺度注意力模块， 定义加入多尺度注意 力模块后的倒瓶颈残差模块为多尺度倒瓶颈残差模块， 多尺度倒瓶颈残差模块包括分组卷 积层、 多尺度 注意力模块层MPSA以及特征提取层， 分组卷积层用于切分 网络， 对每个通道独 立进行深度卷积运算， 多尺度 注意力模块层MPSA用于基于 分组卷积后的特征图得到包含多 尺度注意力的信息的特征图， 特征提取层用于用于将特征矩阵的尺寸进行调整， 与输入特 征图尺寸 一致， 以便与恒等路径上的分支进行矩阵相加， 进行 特征的提取； 设置训练超参数， 将训练集图像输入到改进后的MoblieNetV2特征网络模型， 训练模型 至收敛， 得到训练完备的分心驾驶行为检测模型； 将待测图像输入训练得到的分心驾驶行为检测模型中， 输出驾驶行为类型。 2.根据权利要求1所述的一种基于多尺度注意力模块的分心驾驶行为检测方法， 其特 征在于， 在进行训练前， 还 包括步骤： 对图像进行 预处理， 得到预处 理后的图像数据集。 3.根据权利要求2所述的一种基于多尺度注意力模块的分心驾驶行为检测方法， 其特 征在于， 所述预处 理包括数据清洗和数据增强。 4.根据权利要求1 ‑3任一所述的一种基于多尺度注意力模块的分心驾驶行为检测方 法， 其特征在于， 所述多尺度注意力模块层MPSA包括通道混洗模块、 金字塔通道切分SPC模 块、 SE通道注意力模块、 Softmax权值校准模块和特征图权值更新模块， 通道混洗模块用于 特征的各个通道进 行随机打乱， 加强不同通道之 间的信息联系， 金字塔通道切分SP C模块用 于将输入的特征矩阵的通道数目划分为S组， 并通过不同大小卷积核的卷积构建特征金字 塔， 获取不同尺度信息的感受野， 提取不同尺度的特征信息， S E通道注意力模块用于加权每 个通道的权值， 从而产生更有区分度的信息输出， Softmax权值校准模块和特征图权值更新 模块用于 完成通道 注意力权值比例分配和更新。 5.根据权利要求4所述的一种基于多尺度注意力模块的分心驾驶行为检测方法， 其特 征在于， 金字塔通道切分SPC模块中， 每组的卷积核大小与分组卷积的分组数量关系 能写 为： 式中， Gi为对应的分组卷积的组数， i表示分组数量， i＝1,2, …,S‑1， 变量Ki表示第i组 的卷积核尺寸， S表示将输入特 征图I划分为S组， I ＝[I0,I1,…,IS‑1]； 每个通道的多尺度特 征图的生成关系表达式为： Fi＝Conv(Ki×Ki,Gi)(Ii)i＝0,1,2, …,S‑1 式中， Fi为第i组的输出 特征图矩阵， 即每组的多尺度特 征图； 每组的多尺度特征图为Fi， 进行矩阵拼接操作后， 输出整体的多尺度特征图为F∈RC '×H×W： F＝Concat([F0,F1,…,FS‑1])权　利　要　求　书 1/2 页 2 CN 115082698 A 2式中， FS‑1是第S组的输出 特征图矩阵， 下 标编号从0开始， 从0 到S‑1共划分为S组。 6.根据权利要求4所述的一种基于多尺度注意力模块的分心驾驶行为检测方法， 其特 征在于， S E通道注意力模块中， 将通道分割后的多尺度特征图输入到S E通道注意力模块中， 表示为： Zi＝SEModule(Fi) 式中， Zi∈RC'×1×1为每个通道的注意力 权重， Fi∈RC'×H×W， 是金字塔切分SPC模块切分后 的每组输出的特 征图。 7.根据权利要求4所述的一种基于多尺度注意力模块的分心驾驶行为检测方法， 其特 征在于， Softmax权值校准模块和特 征图权值更新模块中， 有 式中， Pi为通道注意力加 权后的特征图， ⊙表示通道 内部之间的点乘操作， 将输入多尺 度特征图Fi∈RC'×H×W与对应的权值比重相乘， 进行权值更新。 8.一种基于多尺度注意力模块的分心驾驶行为检测系统， 其特征在于， 用于实现权利 要求1‑7任一所述方法， 所述系统包括： 标注模块， 用于获取分心驾驶行为数据集， 设置分心驾驶行为标签信 息， 得到标注对应 的分心驾驶行为信息的图像数据集； 模型模块， 用于结合多尺度注意力模块MPSA， 改进MoblieNetV2特征网络模型， 用于提 取分心驾驶行为特征并输出预测驾驶行为概率， 其中， 改进的MoblieNetV2特征网络模 型包 括多个串联的倒瓶颈残差模块， 且在每个倒瓶颈残差模块中加入多尺度注意力模块， 定义 加入多尺度注意力模块后的倒瓶颈残差模块为多尺度倒瓶颈残差模块， 多尺度倒瓶颈残差 模块包括分组卷积层、 多尺度注意力模块层MPSA以及特征提取层， 分组卷积层用于切分网 络， 对每个通道独立进行深度卷积运算， 多尺度注意力模块层MPSA用于基于分组卷积后的 特征图得到包含多尺度注意力的信息的特征图， 特征提取层用于用于将特征矩阵的尺寸进 行调整， 与输入特征图尺寸一致， 以便与恒等路径上的分支进行矩阵相加， 进行特征的提 取； 训练模块， 用于将训练集图像输入到改进后的MoblieNetV2特征网络模型， 训练模型至 收敛， 得到训练完备的分心驾驶行为检测模型； 预测模块， 用于将待测图像输入训练得到的分心驾驶行为检测模型中， 输出驾驶行为 类型。 9.一种设备， 所述设备包括处理器和存储器， 存储器存储有一个或多个程序， 其特征在 于， 处理器执行存储器存储的程序时， 实现权利要求1 ‑7任一所述的方法。 10.一种存储介质， 该存储介质存储有一个或多个程序， 其特征在于， 所述程序被处理 器执行时， 实现权利要求1 ‑7任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115082698 A 3