(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210061937.4 (22)申请日 2022.01.19 (71)申请人 成都节节高教育科技有限公司 地址 610000 四川省成 都市天府新区华阳 街道华府大道一段1号2栋1单元6层7 号 (72)发明人 谢天明　陈哲　杨怡　 (74)专利代理 机构 北京天奇智新知识产权代理 有限公司 1 1340 专利代理师 叶明博 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06N 20/00(2019.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 基于人工智能教育平台的专 注度识别方法 (57)摘要 本发明提供了一种基于人工智能教育平台 的专注度识别方法， 该方法包括： 捕获多个听课 用户的输入视频帧； 检测听课用户的人脸区域； 计算该组人脸图像窗口的像素平均图像来建立 听课用户的人脸外观模型； 生 成多个输入视频帧 中的听课用户的路径； 估计检测到的人脸方向以 计算专注度； 检测具有正面姿势的人脸的数量， 检测在显示内容的方向上已注视预定义时间长 度的听课用户； 计算听课用户注视显示内容的时 间来计算每个听课用户的专注度； 将肢体行为与 多个情绪类型标签 之一相关联； 使用从视频帧数 据所提取的特征来训练分类器， 利用分类器检测 听课用户的情绪反馈。 本发明提出了一种基于人 工智能教育平台的专注度 识别方法， 更好地适应 低分辨率图像的应用场景， 并将 视觉识别和情绪 识别进行结合， 帮助人工智能教育平台实时获取 听课用户的专 注度分布状态。 权利要求书1页 说明书5页 附图1页 CN 115457617 A 2022.12.09 CN 115457617 A 1.一种基于人工智能教育平台的专 注度识别方法， 其特 征在于， 包括： 通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧； 采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素值的 区域， 并检测所述多个输入视频帧中的听课用户的人脸区域； 通过计算该组人脸图像窗口 的像素平均图像来建立听课用户的人脸外观模型； 通过生成多个输入视频帧中的听课用户的路径， 单独跟踪所检测到的人脸并保持分配 给所述听课用户的身份， 其中当检测到该听课用户的人脸时， 生成该听课用户的路径， 将 检 测到的人脸分配给 所生成的路径； 估计检测到的人脸方向 以计算专注度； 通过检测具有正面姿势的人脸的数量来检测在 显示内容的方向上已注视预定义时间长度的听课用户； 通过计算听课用户注视 显示内容的时间来计算每 个听课用户的专 注度； 处理视频帧数据， 以检测听课用户在视频帧序列中的肢体行为； 将观察到的肢体行为 与多个情绪类型标签之一相关联， 其中每个类型标签对应于相应的情绪反馈； 使用从视频 帧数据所提取的特征来训练分类器， 利用所述分类器来检测听课用户在视频帧序列中的情 绪反馈。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过跟踪显示内容周围的多个用户的多个行为 来确定所述显示内容的潜在听课用户。 3.根据权利要求1所述的方法， 其特征在于， 每个情绪反馈是表达所述 听课用户的情绪 状态的预测人脸表情， 并且该方法还包括， 捕获听课用户的第二视频帧数据； 将从所述第二 视频帧数据提取的特 征应用于所述分类 器， 以确定所述听课用户的情绪状态。 4.根据权利要求1所述的方法， 所述检测所述多个输入视频帧中的听课用户的人脸区 域， 进一步包括： 将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域； 应用基于可变 形部分的模型来确定人脸区域中对应于听课用户的人脸标志的ROI区域； 提取ROI区域中的 特征； 将所述特 征与情绪类型相关联； 并使用关联 结果训练分类 器。 5.根据权利要求 4所述的方法， 进一 步包括： 从所提取的特 征生成特 征直方图； 在多个视频帧中对所述ROI区域执 行坐标变换； 将所提取的特 征进行串联以生成特 征描述符； 使用最终特 征描述符和所述特 征直方图来训练所述分类 器。权　利　要　求　书 1/1 页 2 CN 115457617 A 2基于人工智能教育平台的专注度识别方 法 技术领域 [0001]本发明涉及智能教育， 特别涉及一种基于人工智能教育平台的专 注度识别方法。 背景技术 [0002]近年来， 图像识别与教育相关的场景结合， 逐渐将应用到个性化教育、 自动评分、 语音识别评测等场景中。 学生 获得量身定制的学习支持， 形成面向未来的自适应教育。 为 获 取学生的专注度， 可以通过摄像头采集课堂上课时学生的正面视频； 提取视频图像中的人 脸区域能够判断认真听课的学生数量以及学生人脸神情。 为教育效果提供数据支持。 在测 量人的注意力程度时， 现有技术已采用基于眼部凝视的技术， 但测量眼睛凝视通常需要近 距离、 高分辨 率的图像。 而在使用远距离、 低分辨 率图像时容 易受到误差的影响。 发明内容 [0003]为解决上述现有技术所存在的问题， 本发明提出了一种基于人工智能教育平台 的 专注度识别方法， 包括： [0004]通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧； [0005]采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素 值的区域， 并检测所述多个输入视频帧中的听课用户的人脸区域； [0006]通过计算该组人脸图像窗口 的像素平均图像来建立听课用户的人脸外观模型； [0007]通过生成多个输入视频帧中的听课用户的路径， 单独跟踪所检测到的人脸并保持 分配给所述听课用户的身份， 其中当检测到该听课用户的人脸时， 生 成该听课用户的路径， 将检测到的人脸分配给 所生成的路径； [0008]估计检测到的人脸方向以计算专注度； 通过检测具有正面姿势的人脸的数量来检 测在显示内容的方向上已注视预定义时间长度的听课用户； [0009]通过计算听课用户注视 显示内容的时间来计算每 个听课用户的专 注度； [0010]处理视频帧数据， 以检测听课用户在视频帧序列 中的肢体行为； 将观察到 的肢体 行为与多个情绪类型标签之一相关联， 其中每个类型标签对应于相 应的情绪反馈； 使用从 视频帧数据所提取的特征来训练分类器， 利用所述分类器来检测听课用户在视频帧序列中 的情绪反馈 。 [0011]优选地， 所述方法还 包括： [0012]通过跟踪显示内容周围的多个用户的多个行为来确定所述显示内容的潜在听课 用户。 [0013]优选地， 每个情绪反馈是表达所述听课用户的情绪状态的预测人脸表情， 并且该 方法还包括， 捕获听课用户的第二视频帧数据； 将从所述第二视频帧数据提取 的特征应用 于所述分类 器， 以确定所述听课用户的情绪状态。 [0014]优选地， 该 方法进一 步包括： [0015]将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域； 应用基于说　明　书 1/5 页 3 CN 115457617 A 3