(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210055888.3 (22)申请日 2022.01.18 (71)申请人 大连东软教育科技 集团有限公司 地址 116000 辽宁省大连市甘井 子区软件 园路8-9号20 6室 (72)发明人 王艳秋　于丹　肖鹏　彭苏婷　 张彤　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 姜玉蓉　李洪福 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06K 9/62(2022.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06T 7/11(2017.01) G06Q 50/20(2012.01) (54)发明名称 基于图像分割的课堂前排就座率自动检测 方法、 系统及存 储介质 (57)摘要 本发明提供基于图像分割的课堂前排就座 率自动检测方法、 系统及存储介质。 该方法包括： 接收教室监控的视频画面图像； 对视频画面图像 进行处理， 分割出教室桌椅所在区域图像； 提取 教室桌椅所在区域图像中的前排桌椅所在位置 图像； 对视频画面图像进行处理， 检测 并输出视 频画面图像中的教室内人头所在位置坐标和总 人数信息； 根据前排桌椅所在位置图像、 教室内 人头所在位置坐标和总人数信息， 计算并输出前 排就座率。 该方法基于深度学习分割网络检测教 室桌椅区域， 能直接确定教室内学生就座的有效 范围， 无需手动标定或额外输入教室桌椅位置， 在训练过程中使用基于透视变换的弹性形变等 方法进行数据增强， 扩充与丰富训练集， 增强模 型的鲁棒 性与泛化 性。 权利要求书2页 说明书6页 附图3页 CN 114445742 A 2022.05.06 CN 114445742 A 1.一种基于图像分割的课 堂前排就座率自动检测方法， 其特 征在于， 包括： 接收教室监控的视频画面图像； 对所述接收到的视频画面图像进行处 理， 分割出教室桌椅所在区域图像； 提取所述教室桌椅所在区域图像中的前排 桌椅所在位置图像； 对所述接收到的视频画面图像进行处理， 检测并输出视频画面图像中的教室内人头所 在位置坐标和总人 数信息； 根据所述前排桌椅所在位置 图像、 教室内人头所在位置坐标和总人数信息， 计算并输 出前排就座率。 2.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法， 其特征在于， 所述对所述接收到的视频画面图像进行处 理， 分割出教室桌椅所在区域图像， 包括： 将所述接收到的视频画面图像切分为序列图像； 依次调整序列图像的大小， 将序列图像的大小调整到深度学习分割网络要求的尺寸； 将调整好大小的序列图像输入到训练好的深度学习分割网络 中， 经过网络处理后输出 分割网络预测的教室内桌椅区域部分的掩码[m1,m2,...,mi]， 取所有掩码的并集minter作为 教室桌椅区域掩码。 3.根据权利要求2所述的基于图像分割的课堂前排就座率自动检测方法， 其特征在于， 所述深度学习分割网络包括U ‑Net， 所述深度学习分割网络的输出层为与输入同尺寸的概 率图， 图上每个像素值表示该点属于分割区域的概率， 设置阈值将概率值转为0或1， 1表示 分割区域。 4.根据权利要求2所述的基于图像分割的课堂前排就座率自动检测方法其特征在于， 所述深度学习分割网络的训练过程， 包括： 数据标注： 设置固定帧数对教室监控视频进行间隔采集， 采集到的所有图像作为训练 集图像， 并对桌椅区域进 行标注， 计算得到标注 位置的坐标， 标注 位置为桌椅区域的四个角 点、 最前排和最后排 桌子的中点、 第三 排桌子最边缘且靠近后排的桌角； 数据增强： 训练时对训练集进行数据增强， 增强方法包括弹性形变， 弹性形变基于透视 变换， 旋转和随机 裁剪需保证桌椅区域保持完整和始终处于图像内； 损失函数： 网络损失函数使用交叉熵损失函数与dice损失函数， 并设置不同权重使网 络收敛。 5.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法其特征在于， 所述提取所述教室桌椅所在区域图像中的前排 桌椅所在位置图像， 包括： 计算分割得到的掩码区域minter的面积， 保留面积最大的掩码区域作为 桌椅区域； 检测桌椅区域的轮廓， 并计算得到轮廓的最小外 接矩形； 计算最小外接矩形的角点坐标， 得到最小外接矩形左右两条边的中点坐标， 与最小外 接矩形下边两端点 坐标； 根据教室特征对角点坐标进行策略调整， 得到包围区域， 使包围区域逐渐逼近教室前 排区域， 并输出 前排区域 坐标。 6.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法， 其特征在于， 所述对所述接收到的视频画 面图像进 行处理， 检测并输出视频画面图像中的教室内人头所 在位置坐标和总人 数信息， 包括：权　利　要　求　书 1/2 页 2 CN 114445742 A 2将所述序列图像输入到训练好的深度 学习人头检测网络中， 检测并输出图像中出现的 所有人头坐标与总人头数。 7.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法， 其特征在于， 所述根据所述前排桌椅所在位置图像、 教室内人头所在位置坐标和总 人数信息， 计算并输 出前排就座率， 包括： 通过桌椅区域掩码对人头坐标进行限制， 排除位于讲台上的老师或窗户倒影中误检的 人头， 得到学生人头坐标与学生人头总数； 根据学生人头坐标判断学生是否出现在所述包围区域内并进行计数， 得到前排人 数； 根据所述前排桌椅所在位置 图像、 教室内人头所在位置坐标和总人数信息， 计算前排 就座率， 并输出 前排就座率的最终计算结果。 8.一种基于权利要求1 ‑7中任意一项权利要求所述基于图像分割的课堂前排就座率自 动检测方法的基于图像分割的课 堂前排就座率自动检测系统， 其特 征在于， 包括： 视频数据接收模块， 用于 接收教室监控的视频画面图像； 教室桌椅区域分割模块， 用于对所述接收到的视频画面图像进行处理， 分割出教室桌 椅所在区域图像； 教室前排 区域提取模块， 用于提取所述教室桌椅所在区域图像中的前排桌椅所在位置 图像； 人头检测模块， 用于对所述接收到的视频画面图像进行处理， 检测并输出视频画面图 像中的教室内人头所在位置坐标和总人 数信息； 前排就座率计算模块， 用于根据所述前排桌椅所在位置 图像、 教室内人头所在位置坐 标和总人 数信息， 计算并输出 前排就座率。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 指令集； 所述计算机指令集被处理器执行时实现如权利要求1 ‑7任一项所述的基于图像分 割的课堂前排就座率自动检测方法。权　利　要　求　书 2/2 页 3 CN 114445742 A 3