(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210292955.3 (22)申请日 2022.03.23 (71)申请人 平安普惠企业管理有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 徐寅磊　 (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉　熊成龙 (51)Int.Cl. G06V 40/70(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/764(2022.01)G06F 40/289(2020.01) G06K 9/62(2022.01) G10L 15/26(2006.01) G06Q 10/04(2012.01) G06Q 50/20(2012.01) (54)发明名称 考试作弊行为预测方法、 装置、 设备及存储 介质 (57)摘要 本发明涉及人工智能技术领域， 揭示了一种 考试作弊行为预测方法、 装置、 设备及存储介质， 其中方法包括： 获取目标考生的正面监控视频； 对所述正面监控视频进行每帧图像的人数判断， 得到单帧人数序列； 对所述正面监控视频进行每 帧图像的人体姿态分析， 得到单帧人体姿态序 列； 对所述正面监控视频中的音频分别进行文本 转换及考试关键词提取， 得到音频考试关键词 集； 获取所述正面监控视频对应的答题行为序 列； 根据所述单帧人数序列、 所述单帧人体姿态 序列、 所述音频考试关键词集和所述答题行为序 列进行作弊行为预测， 得到作弊行为预测结果。 实现基于多种信息进行作弊行为预测， 增加了用 于作弊行为预测的信息的全面性， 提高了考试作 弊行为预测的准确性。 权利要求书3页 说明书12页 附图3页 CN 114639175 A 2022.06.17 CN 114639175 A 1.一种考试作弊行为预测方法， 其特 征在于， 所述方法包括： 获取目标考 生的正面监控视频； 对所述正面监控视频进行每帧图像的人 数判断， 得到单帧人 数序列； 对所述正面监控视频进行每帧图像的人体姿态分析， 得到单帧人体姿态序列； 对所述正面监控视频中的音频分别进行文本转换及考试关键词提取， 得到音频考试关 键词集； 获取所述正面监控视频对应的答题行为序列； 根据所述单帧人数序列、 所述单帧人体姿态序列、 所述音频考试关键词集和所述答题 行为序列进行作弊行为预测， 得到作弊行为预测结果。 2.根据权利要求1所述的考试作弊行为预测方法， 其特征在于， 所述对所述正面监控视 频中的音频分别进行文本转换及考试关键词提取， 得到音频考试关键词集的步骤， 包括： 基于ASR技 术， 将所述 正面监控视频中的音频进行文本转换， 得到待分析文本； 对所述待分析文本进行分词， 得到短语集； 从预设的考试关键词库中获取与 所述正面监控视频对应的考试关键词集， 作为目标考 试关键词集； 将所述短语集中的每个短语， 在所述目标考试关键词集中进行考试关键词 匹配， 得到 匹配结果； 若存在所述匹配结果为成功， 则将为成功的所述匹配结果对应的各个所述短语作为所 述音频考试关键词集。 3.根据权利要求1所述的考试作弊行为预测方法， 其特征在于， 所述根据 所述单帧人数 序列、 所述单帧人体姿态序列、 所述音频考试关键词集和所述答题行为序列进行作弊行为 预测， 得到作弊行为预测结果的步骤， 包括： 将所述单帧人数序列、 所述单帧人体姿态序列、 所述音频考试关键词集和所述答题行 为序列输入预设的作弊行为预测模型进行作弊行为预测， 得到所述作弊行为预测结果； 其中， 所述作弊行为预测模型 是基于Ber t模型和分类预测层训练得到的模型。 4.根据权利要求1所述的考试作弊行为预测方法， 其特征在于， 所述获取目标考生的正 面监控视频的步骤之后， 还 包括： 对所述正面监控视频进行每帧图像的人脸图像提取， 得到每帧图像对应的人脸图像 集； 对所述人脸图像集进行尺寸 最大的所述人脸图像提取， 得到待分析 人脸图像； 对所述待分析 人脸图像进行 耳廓形状实际信息提取； 对所述耳廓形状实际信 息和预设的耳廓形状标准信 息进行对比， 得到耳廓形状对比结 果； 根据各个所述耳廓形状对比结果 生成耳廓形状对比结果序列； 所述根据所述单帧人数序列、 所述单帧人体姿态序列、 所述音频考试关键词集和所述 答题行为序列进行作弊行为预测， 得到作弊行为预测结果的步骤， 还 包括： 根据所述耳廓形状对比结果序列、 所述单帧人数序列、 所述单帧人体姿态序列、 所述音 频考试关键词集和所述 答题行为序列进行作弊行为预测， 得到所述作弊行为预测结果。 5.根据权利要求4所述的考试作弊行为预测方法， 其特征在于， 所述对所述人脸图像集权　利　要　求　书 1/3 页 2 CN 114639175 A 2进行尺寸 最大的所述人脸图像提取， 得到待分析 人脸图像的步骤之后， 还 包括： 获取所述目标考 生的准考证图像； 对所述待分析人脸图像和所述准考证图像的人脸图像进行人脸差异信 息提取， 得到单 帧人脸差异信息； 根据各个所述单帧人脸差异信息生成单帧人脸差异信息序列； 所述根据所述耳廓形状对比结果序列、 所述单帧人数序列、 所述单帧人体姿态序列、 所 述音频考试关键词集和所述答题行为序列进 行作弊行为预测， 得到所述作弊行为预测结果 的步骤， 还 包括： 根据所述单帧人脸差异信 息序列、 所述耳廓形状对比结果序列、 所述单帧人数序列、 所 述单帧人体姿态序列、 所述音频考试关键词集和所述答题行为序列进行作弊行为预测， 得 到所述作弊行为预测结果。 6.根据权利要求1所述的考试作弊行为预测方法， 其特征在于， 所述获取目标考生的正 面监控视频的步骤之后， 还 包括： 根据所述正面监控视频中的音频， 对所述正面监控视频的每帧图像的生成时间点进行 音量识别， 得到单帧音量； 将所述单帧音量与预设的音量阈值进行对比， 得到单帧音量对比结果； 根据各个所述单帧音量对比结果 生成单帧音量对比结果序列； 所述根据所述单帧人数序列、 所述单帧人体姿态序列、 所述音频考试关键词集和所述 答题行为序列进行作弊行为预测， 得到作弊行为预测结果的步骤， 还 包括： 根据所述单帧音量对比结果序列、 所述单帧人数序列、 所述单帧人体姿态序列、 所述音 频考试关键词集和所述 答题行为序列进行作弊行为预测， 得到所述作弊行为预测结果。 7.根据权利要求1所述的考试作弊行为预测方法， 其特征在于， 所述获取目标考生的正 面监控视频的步骤之后， 还 包括： 获取所述正面监控视频对应的考室监控视频； 根据所述 考室监控视频， 对所述目标考 生进行桌 面查看行为分析， 得到桌 面行为数据； 所述根据所述单帧人数序列、 所述单帧人体姿态序列、 所述音频考试关键词集和所述 答题行为序列进行作弊行为预测， 得到作弊行为预测结果的步骤， 还 包括： 根据所述桌面行为数据、 所述单帧人数序列、 所述单帧人体姿态序列、 所述音频考试关 键词集和所述 答题行为序列进行作弊行为预测， 得到所述作弊行为预测结果。 8.一种考试作弊行为预测装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取目标考 生的正面监控视频； 单帧人数序列确定模块， 用于对所述正面监控视频进行每帧图像的人数判断， 得到单 帧人数序列； 单帧人体姿态序列确定模块， 用于对所述正面监控视频进行每帧图像的人体姿态分 析， 得到单帧人体姿态序列； 音频考试关键词集确定模块， 用于对所述正面监控视频中的音频分别进行文本转换及 考试关键词提取， 得到音频考试关键词集； 答题行为序列获取模块， 用于获取 所述正面监控视频对应的答题行为序列； 作弊行为预测结果确定模块， 用于根据 所述单帧人数序列、 所述单帧人体姿态序列、 所权　利　要　求　书 2/3 页 3 CN 114639175 A 3