(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210027041.4 (22)申请日 2022.01.11 (71)申请人 重庆工程学院 地址 400056 重庆市巴南区南泉街道办事 处白鹤林16号 (72)发明人 朱世宇　孙令翠　杨红艳　何桢　 田菊艳　余玉清　卢政旭　冉程好　 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 40/19(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06F 16/29(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/20(2012.01) (54)发明名称 基于多模态学习状态分析系统 (57)摘要 本发明涉及数字数据处理领域， 具体涉及一 种基于多模态学习状态分析系统， 包括图像获取 模块， 用于收集教室内部的图像数据并进行预处 理得到处理图像； 老师位置信息获取模块， 用于 基于处理图像和Faster  R‑CNN目标检测模型获 得老师的位置信息； 老师姿态信息获取模块， 用 于基于处理图像和Faster  R‑CNN目标检测模型 获得老师的姿态信息； 学生面部信息获取模块， 用于基于处理图像和ERT人脸特征点检测方法获 取学生面部信息； 分析模块， 用于基于位置信息、 姿态信息和学生面部信息分析学习状态。 从而可 以更好地对 学生的上课情况进行监管， 以提高学 生的学习效率。 权利要求书1页 说明书6页 附图4页 CN 114663910 A 2022.06.24 CN 114663910 A 1.一种基于多模态学习状态分析系统， 其特 征在于， 包括图像获取模块、 老师位置信息获取模块、 老师姿态信 息获取模块、 学生面部信 息获 取模块和分析模块， 所述图像获取模块， 用于收集教室内部的图像数据并进行 预处理得到处 理图像； 所述老师位置信息获取模块， 用于基于处理图像和Faster  R‑CNN目标检测模型获得老 师的位置信息； 所述老师姿态信息获取模块， 用于基于处理图像和Faster  R‑CNN目标检测模型获得老 师的姿态信息； 所述学生面部信息获取模块， 用于基于处理图像和ERT人脸特征点检测方法获取学生 面部信息； 所述分析模块， 用于基于位置信息、 姿态信息和学生 面部信息分析 学习状态。 2.如权利要求1所述的一种基于多模态学习状态分析系统， 其特 征在于， 所述图像获取模块包括获取单元和处理单元， 所述获取单元用于收集摄像头的图像数 据； 所述处理单元， 用于将图像数据的尺寸标准 化， 并进行归一 化处理， 得到处 理图像。 3.如权利要求2所述的一种基于多模态学习状态分析系统， 其特征在于， 所述收集摄像 头的图像数据的具体方式是， 每隔5秒为 一帧获取图像。 4.如权利要求1所述的一种基于多模态学习状态分析系统， 其特 征在于， 所述老师位置信息获取模块包括特征图提取单元、 候选单元、 区域特征图生成单元和 老师位置获取 单元， 所述特征图提取 单元， 用于基于处 理图像提取原 始特征图； 所述候选单元， 用于将原 始特征图输入到候选 框提取网络， 生成区域 候选框； 所述区域特征图生成单元， 用于将区域候选框映射到所述原始特征图中， 并池化为区 域特征图； 所述老师位置获取单元， 用于将区域特征图输入Faster  R‑CNN目标检测模型中获取老 师位置信息 。 5.如权利要求 4所述的一种基于多模态学习状态分析系统， 其特 征在于， 所述老师姿态信息获取模块包括关键点获取单元和归一化单元， 所述关键点获取单 元， 用于基于Faster  R‑CNN目标检测模型， 获取 人体姿态关键点信息； 所述归一 化单元， 用于基于人体姿态关键点信息进行姿态归一 化模块处 理。 6.如权利要求1所述的一种基于多模态学习状态分析系统， 其特 征在于， 所述基于位置信息、 姿态信息和学生 面部信息分析 学习状态的具体步骤是： 构建并训练基于全连接层的多模态特 征融合网络结构； 将位置信息、 姿态信息和学生 面部信息映射到特 征融合空间进行 学习状态分析。 7.如权利要求1所述的一种基于多模态学习状态分析系统， 其特 征在于， 所述基于位置信息、 姿态信息和学生 面部信息分析 学习状态的具体步骤是： 采用加权融合方法融合 位置信息、 姿态信息和学生 面部信息得到加权融合特 征； 将加权融合特 征输入全连接层； 获得加权融合特 征的分类概 率分布。权　利　要　求　书 1/1 页 2 CN 114663910 A 2基于多模 态学习状态分析系统 技术领域 [0001]本发明涉及数字数据处 理领域， 尤其涉及一种基于多模态学习状态分析系统。 背景技术 [0002]在传统课堂教育中， 老师通过对学生的面部表情和头部姿态， 判断学生对学习状 态， 但由于 老师的精力有限， 无法及时观察到每位学生的课堂学习状态情况， 进而 无法根据 每位学生的学习情况调整教学 策略。 [0003]智慧教学是当前我国教育信息化研究的热词， 有学者将其称之为教育信息化发展 的新形态、 新境界、 新阶段， 将智慧教学研究提到了相当高的高度。 现如今关于学生课堂的 学情分析 的检测方面， 可将检测分为基于人脸识别的方法、 基于微表情的识别方法和基于 脑电波的检测方法。 [0004]采用上述方法由于只有一个 变量， 使得检测精度较低。 发明内容 [0005]本发明的目的在于提供一种基于多模态学习状态 分析系统， 旨在结合学生的面部 表情、 老师的位置以及老师的上课语音的数据进 行分析， 给出可视化的分析结果。 可以给出 学生专注度的分析， 有利于教师制定合 适的教学计划， 促进老师和学生的课 堂交互。 [0006]为实现上述目的， 本发明提供了一种基于多模态学习状态分析系统， 包括图像获 取模块、 老师位置信息获取模块、 老师姿态信息获取模块、 学生面部信息获取模块和分析模 块， [0007]所述图像获取模块， 用于收集教室内部的图像数据并进行 预处理得到处 理图像； [0008]所述老师位置信息 获取模块， 用于基于处理图像和Fast er R‑CNN目标检测模型获 得老师的位置信息； [0009]所述老师姿态信息 获取模块， 用于基于处理图像和Fast er R‑CNN目标检测模型获 得老师的姿态信息； [0010]所述学生面部信息获取模块， 用于基于处理图像和ERT人脸特征点检测方法获取 学生面部信息； [0011]所述分析模块， 用于基于位置信息、 姿态信息和学生 面部信息分析 学习状态。 [0012]其中， 所述图像获取模块包括获取单元和处理单元， 所述获取单元用于收集摄像 头的图像数据； [0013]所述处理单元， 用于将图像数据的尺寸标准化， 并进行归一化处理， 得到处理图 像。 [0014]其中， 所述收集摄 像头的图像数据的具体方式是， 每隔5秒为 一帧获取图像。 [0015]其中， 所述老师位置信息获取模块包括特征图提取单元、 候选单元、 区域特征图生 成单元和老师位置获取 单元， [0016]所述特征图提取 单元， 用于基于处 理图像提取原 始特征图；说　明　书 1/6 页 3 CN 114663910 A 3