(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211306664.1 (22)申请日 2022.10.25 (71)申请人 浪潮卓数 大数据产业发展 有限公司 地址 214125 江苏省无锡市无锡经济开发 区金融一街15号1101、 1102、 1103、 1104、 1105、 1106、 1107、 1108 (72)发明人 鲁成杰　单震　宋培东　王晓康　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 孙晶伟 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于openpose的学生课堂行为分析方 法 (57)摘要 本发明公开一种基于openpose的学生课堂 行为分析方法,涉及数据分析技术领域； 获取学 生的课堂 行为视频， 使用ffmpeg对所述课堂行为 视频进行处理， 包括按照一定时间抓取关键图 片， 将所述 关键图片放入openpo se骨骼提取网络 提取学生的关键点坐标数据， 对获取的关键点坐 标数据进行分类， 将分类情况通过可视化工具以 图表的形式进行实时反馈 。 权利要求书1页 说明书4页 附图1页 CN 115482497 A 2022.12.16 CN 115482497 A 1.一种基于openpose的学生课 堂行为分析 方法， 其特 征是获取学生的课 堂行为视频， 使用ffmpeg对所述课 堂行为视频进行处 理， 包括按照一定时间抓取关键图片， 将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据， 对获取的关 键点坐标数据进行分类， 将分类情况通过 可视化工具以图表的形式进行实时反馈 。 2.根据权利要求1所述的一种基于openpose的学生课堂行为分析方法， 其特征是所述 将所述关键图片放入openpose骨骼 提取网络提取学生的关键点坐标数据， 对获取的关键点 坐标数据进行分类， 包括： 通过openpose骨骼提取网络使用YOLOv3目标监测算法对关键图片中的学生位置进行 识别检测， 利用ResNet50进 行学生行为特征的识别， 利用SVM分类器对提取的学生行为特征 进行分类。 3.根据权利要求2所述的一种基于openpose的学生课堂行为分析方法， 其特征是所述 利用SVM分类 器对提取的学生行为特 征进行分类， 包括： 利用SVM分类器将学生行为特征分为听课行为和非听课行为， 所述听课行为包括看书、 举手、 写字及回答问题， 所述非听课行为 为睡觉、 左顾 右盼及交头 接耳。 4.根据权利要求1 ‑3任一项所述的一种基于openpose的学生课堂行为分析方法， 其特 征是所述将分类情况通过 可视化工具以图表的形式实时反馈， 包括： 利用datar t可视化工具将分类情况以图表的形式进行实时反馈 。 5.一种基于openpose的学生课堂行为分析系 统， 其特征是包括采集模块、 处理模块和 展示模块， 采集模块获取 学生的课 堂行为视频， 处理模块使用ffmpeg对所述课堂行为视频进行处理， 包括按照一定时间抓取关键图 片， 将所述关键图片放入openpose骨骼提取网络提取学生的关键点坐标数据， 对获取的关 键点坐标数据进行分类， 展示模块将分类情况通过 可视化工具以图表的形式进行实时反馈 。 6.根据权利要求5所述的一种基于openpose的学生课堂行为分析系 统， 其特征是所述 处理模块将所述关键图片放入openpose骨骼 提取网络提取学生的关键点坐标数据， 对获取 的关键点 坐标数据进行分类， 包括： 通过openpose骨骼提取网络使用YOLOv3目标监测算法对关键图片中的学生位置进行 识别检测， 利用ResNet50进 行学生行为特征的识别， 利用SVM分类器对提取的学生行为特征 进行分类。 7.根据权利要求6所述的一种基于openpose的学生课堂行为分析系 统， 其特征是所述 处理模块利用SVM分类 器对提取的学生行为特 征进行分类， 包括： 利用SVM分类器将学生行为特征分为听课行为和非听课行为， 所述听课行为包括看书、 举手、 写字及回答问题， 所述非听课行为 为睡觉、 左顾 右盼及交头 接耳。 8.根据权利要求5 ‑7任一项所述的一种基于openpose的学生课堂行为分析系统， 其特 征是所述展示模块将分类情况通过 可视化工具以图表的形式实时反馈， 包括： 利用datar t可视化工具将分类情况以图表的形式进行实时反馈 。权　利　要　求　书 1/1 页 2 CN 115482497 A 2一种基于openpose的学生课堂行为分析方 法 技术领域 [0001]本发明公开一种方法,涉及数据分析技术领域， 具体地说是一种基于openpose的 学生课堂行为分析 方法。 背景技术 [0002]随着人工智能与大数据技术的飞速发展， 计算机视觉采集技术逐渐应用于各行各 业， 但在教育行业尚欠 缺实际应用。 [0003]课上教学一直是教育的重中之重， 教学质量的高低直接影响学生的知识接受程 度， 然而在实际教学活动中， 学生作为课堂的主体， 同时上课的学生太多， 教师很难精准把 控学生的听课状态， 无法进行相应的调整。 发明内容 [0004]本发明针对现有技术 的问题， 提供一种基于openpose的学生课堂行为分析方法， 能够根据学生课堂行为帮助教师掌握学生的听课状态， 并有助于教师进行课堂调整。 具有 通用性强、 实施简便等特点， 具有广阔的应用前 景。 [0005]本发明提出的具体方案是： [0006]本发明提供一种基于openpose的学生课堂行为分析方法， 获取学生的课堂行为视 频， [0007]使用ffmpeg对所述课 堂行为视频进行处 理， 包括按照一定时间抓取关键图片， [0008]将所述关键图片 放入openpose骨骼提取 网络提取学生的关键点坐标数据， 对获取 的关键点 坐标数据进行分类， [0009]将分类情况通过 可视化工具以图表的形式进行实时反馈 。 [0010]进一步， 所述的一种基于openpose的学生课堂行为分析方法 中所述将所述关键图 片放入openpose骨骼提取网络提取学生的关键点坐标数据， 对获取的关键点坐标数据进 行 分类， 包括： [0011]通过openpose骨骼提取网络使用YOLOv3目标监测 算法对关键图片 中的学生位置 进行识别检测， 利用ResNet50进 行学生行为特征的识别， 利用SVM分类器对提取的学生行为 特征进行分类。 [0012]进一步， 所述的一种基于openpose的学生课堂行为分析方法中所述利用SVM分类 器对提取的学生行为特 征进行分类， 包括： [0013]利用SVM分类器将学生行为特征分为听课行为和非听课行为， 所述听课行为包括 看书、 举手、 写字及回答问题， 所述非听课行为 为睡觉、 左顾 右盼及交头 接耳。 [0014]进一步， 所述的一种基于openpose的学生课堂行为分析方法 中所述将分类情况通 过可视化工具以图表的形式实时反馈， 包括： [0015]利用datar t可视化工具将分类情况以图表的形式进行实时反馈 。 [0016]本发明还提供一种基于openpose的学生课堂行为分析系统， 包括采集模块、 处理说　明　书 1/4 页 3 CN 115482497 A 3