(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210228572.X (22)申请日 2022.03.10 (71)申请人 山东山大鸥玛软件股份有限公司 地址 250101 山东省济南市高新区伯乐路 128号 (72)发明人 许信顺　李玉基　马磊　陈义学　 (74)专利代理 机构 山东舜源联合知识产权代理 有限公司 373 59 代理人 马洪磊 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的考生异常行为检测方 法 (57)摘要 本发明提出的一种基于深度学习的考生异 常行为检测方法， 属于图像分析技术领域。 方法 包括： 对考场监控视频进行视频帧采样， 对采样 的视频帧标注 考生和监考老师的边界框， 并利用 标注的数据训练目标检测模型； 根据异常行为发 生位置对考场监控视频进行视频帧采样， 对采样 的视频帧标注 考生的边界框和动作类别， 利用标 注的数据训练动作识别模型， 并进行动作识别模 型优化； 使用目标检测模型对输入的数据进行目 标检测， 选择检测得分大于0.9 的边界框进入动 作识别阶段， 通过动作识别模型对 得到的边界框 内的考生实例进行分类。 本发明能够同时检测考 生的位置信息和动作信息， 有效提高了在考场环 境下的异常行为检测的准确率。 权利要求书2页 说明书8页 附图2页 CN 114333070 A 2022.04.12 CN 114333070 A 1.一种基于深度学习的考 生异常行为检测方法， 其特 征在于， 包括如下： S1， 对考场监控视频进行视频帧采样， 对采样的视频帧标注考生和监考老师的边界框， 并利用标注的数据训练目标检测模型； S2， 根据异常行为发生位置对考场监控视频进行视频帧采样， 对采样的视频帧标注考 生的边界框和动作类别， 利用标注的数据训练动作识别模型， 并进行动作识别模型优化； S3， 读取待检测的考场监控视频并进行视频帧采样， 标注考生和监考老师的边界框， 通 过目标检测模型生成目标类别、 边界框坐标和相应的检测得分； S4， 将检测得分大于阈值0.9的边界框对应的视频帧进行数据预处理， 将处理后的数据 输入动作识别模型， 以生成考 生的行为类别、 边界框和相应的概 率值。 2.根据权利要求1所述的基于深度学习的考生异常行为检测方法， 其特征在于， 所述步 骤S2中， 根据异常行为发生位置对考场监控视频进行视频帧采样， 对采样的视频帧标注考 生的边界框和动作类别， 包括： 根据异常行为发生位置在考场 监控视频中抽取一分钟时长的短视频， 对采取的短视频 每间隔一秒采集 一个视频帧作为关键帧； 对每一个关键帧标注考 生的边界框和动作类别。 3.根据权利要求1所述的基于深度学习的考生异常行为检测方法， 其特征在于， 所述目 标检测模型采用Cascade  R‑CNN算法模 型， 目标检测模 型包括三个级 联的检查器， 检查器的 交并比逐级增大。 4.根据权利要求1所述的基于深度学习的考生异常行为检测方法， 其特征在于， 所述目 标检测模型利用损失函数进行模型优化， 损失函数包括边界框的位置损失函数和分类损失 函数。 5.根据权利要求4所述的基于深度学习的考生异常行为检测方法， 其特征在于， 所述边 界框位置损失函数如下： 其中， xi是一个image  patch， bi是对应的预测的边界框， gi是边界框的ground  truth， f 是回归器； Lloc采用的是Smo oth的L1损失函数s moothL1（x） ； 所述分类损失函数如下： 其中， h （xi） 表示预测的类别， yi是标注数据， Lcls采用的是交叉熵损失函数； 由于目标检测模型在 结构上使用了级联的R ‑CNN算法， 在每个阶段t， R ‑CNN算法有自己 阈值ut下的分类 器ht和回归器ft， 其中ut＞ut‑1， 因此所述最终损失函数如下： 其中， ,g是标注数据， λ是平衡系数。 6.根据权利要求1所述的基于深度学习的考生异常行为检测方法， 其特征在于， 所述步权　利　要　求　书 1/2 页 2 CN 114333070 A 2骤S4中， 将检测得分大于阈值0.9的边界框对应的视频帧进行 数据预处 理， 包括： 将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频的基础上进行裁剪， 得到视频帧不同的考 生子图像块； 根据将检测得分大于阈值0.9的边界框信息在待检测的考场监控视频中抽取关键， 对 采取的短视频每间隔一秒采集 一个视频帧作为关键帧， 根据关键帧组成考 生的片段； 对考生子 图像块进行随机抖动和随机裁剪， 采用 双线性插值法， 将考生子 图像块的分 辨率调整为2 24x224， 并进行 水平翻转和颜色增强。 7.根据权利要求1所述的基于深度学习的考生异常行为检测方法， 其特征在于： 所述动 作识别模 型采用的基于3D  ResNet的SlowFast网络作为特征提取网络， 并使用在AVA数据集 上预训练的权 重进行初始化。 8.根据权利要求7所述的基于深度学习的考生异常行为检测方法， 其特征在于， 所述动 作识别模型通过激活函数和交叉熵损失函数进行优化； 所述激活函数采用softmax函数； 所述交叉熵损失函数 具体如下： 其中， c是类别数，  yi是标签， pi是经过softmax函数之后得到的类别是i的概 率。权　利　要　求　书 2/2 页 3 CN 114333070 A 3