(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210085138.0 (22)申请日 2022.01.25 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 冯颖　林尹雁　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/13(2017.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种在线课堂场景下基于黑板特征的超分 辨率重建方法 (57)摘要 本发明公开了一种在线课堂场景下基于黑 板特征的超分辨率重建方法， 该超分辨率重建方 法步骤如下： 通过教室里搭设的摄像机拍摄黑板 照片， 利用目标检测模型准确提取黑板板书区 域， 然后进行图像超分辨率重建处理。 另外， 针对 具有明显边缘特征的板书内容， 在超分辨率模型 中引入梯度约束加强特征学习， 有效地提黑板板 书内容的分辨率， 从而提高学生的上课学习效 率。 该方法具有运行速度快、 成本低、 使用方便等 特点， 确保校园课 堂线上直 播教学的顺利进行。 权利要求书2页 说明书8页 附图4页 CN 114529451 A 2022.05.24 CN 114529451 A 1.一种在线课堂场景下基于黑板特征的超分辨率重建方法， 其特征在于， 所述超分辨 率重建方法包括以下步骤： S1、 构建在线课 堂场景的黑板高分辨 率和低分辨 率数据集； S2、 构建目标检测模型YOLOv5， 并通过目标检测模型YOLOv5对输入图像进行检测， 采用 非极大值抑制输出包含黑板板书区域的最小外接矩形的四个坐标值， 从而裁剪出输入图像 中的黑板 板书区域； S3、 构建引入梯度约束的图像超分辨率模型， 并通过图像超分辨率模型对具有明显边 缘特征的黑板 板书区域进行重建操作， 得到相应的超分辨 率重建图像； S4、 将步骤S2中输入的低分辨率 图像进行双三次上采样插值， 然后与步骤S3中获得的 黑板板书区域重建图像进行整合， 输出在线课堂场景下基于黑板特征的超分辨率重建结 果。 2.根据权利要求1所述的一种在线课堂场景下基于黑板特征的超分辨率重建方法， 其 特征在于， 所述 步骤S1的过程如下： 采用摄像头录制在线课堂视频， 或者通过网络爬虫方式收集在线公开课的录制视频， 然后， 对视频进行间隔抽帧， 得到一系列黑板板书图片， 将一系列黑板板书图片作为在线课 堂场景的黑板高分辨率数据集， 并采用双三次下采样插值方法获得对应的黑板低分辨率数 据集， 然后按照7:3的比例划分为训练数据集和 测试数据集。 3.根据权利要求1所述的一种在线课堂场景下基于黑板特征的超分辨率重建方法， 其 特征在于， 所述目标检测模型YOLOv5包括依次顺序连接的特征提取模块、 特征融合模块和特征预 测模块； 所述特征提取模块由一个Focus模块和三个CSP模块依次顺序连接组成， 其中， Focus模块包含四个并联的切片层和一个卷积层， 对输入图片进行切片操作后在通道维度 上进行拼接， 并进行卷积操作， 三个CSP模块的输出按照前后顺序分别记为特征图M1、 特征 图M2和特征图M3； 所述特征融合模块由特征金字塔模块FPN和路径聚合模块PAN组成， 其中， 特征金字塔模块FPN采用上采样方式对信息进行特征融合， 先对特征图M3进 行上采样， 然后 和特征图M2特征融合， 得到特征图F1， 特征图F1再经过上采样后和特征图M1特征融合， 得到 特征图F2， 路径聚合模块PAN采用自底向上的方式进行特征融合， 特征图F2先经过步长为2 的卷积层后， 和特征图F1进行特征融合， 得到特征图P1， 特征图P1再经过步长为2的卷积层 后， 和特征图M3进行特征融合， 得到特征图P2； 所述特征预测模块利用非极大值抑制NMS对 特征图F2、 特 征图P1和特 征图P2进行处 理后， 输出最终的预测矩形框坐标。 4.根据权利要求3所述的一种在线课堂场景下基于黑板特征的超分辨率重建方法， 其 特征在于， 所述CSP模块包括两条支路， 支路一是一个卷积层， 支路二是两个卷积模块和一 个卷积层依次顺序连接组成， 其中， 卷积模块由卷积层、 归一化层和激活层依次顺序连接组 成， 然后， 两条支路的输出通过拼合后， 再通过归一化层和激活层的处理后， 得到CSP模块的 输出。 5.根据权利要求1所述的一种在线课堂场景下基于黑板特征的超分辨率重建方法， 其 特征在于， 所述图像超分辨率模型包括依次顺序连接的特征提取模块、 特征学习 模块以及特征重 构模块， 其中， 特征提取模块由单个卷积核为3*3的卷积神经网络层组成， 特征学习模块由权　利　要　求　书 1/2 页 2 CN 114529451 A 2主干学习网络和梯度分支网络组成， 其中， 所述主干学习网络由多个增强型信息蒸馏模块 EIMDB串联， 然后利用残差连接将所有增强型信息蒸馏模块EIMDB的输出相加， 所述梯度分 支网络由多个深度可分离卷积层串联， 利用残差连接将所有深度可分离卷积层的输出相 加， 另外， 所述梯度分支网络利用边缘提取算子Prewitt提取输入信息的边缘特征； 所述特 征重构模块由像素注意力机制和亚像素 卷积层组成。 6.根据权利要求5所述的一种在线课堂场景下基于黑板特征的超分辨率重建方法， 其 特征在于， 所述增强型信息蒸馏模块EIMDB包括依次顺序连接的第一通道分离模块、 第二通 道分离模块、 特征拼合层、 增强型 空间注意力机制层和特征融合层， 其中， 所述第一、 第二通 道分离模块由一个通道分离层和一个3*3卷积层组成， 首先， 在第一通道分离模块中， 先通 过通道分离层将输入的特征通道按照1: 3比例进行划分， 产生两部 分特征通道， 其中占比少 的部分被保留， 另一部分被输入到3*3卷积层中； 被保留的部分视为精细化特征通道， 另一 部分经过3*3卷积层处理后视为通道分离模块的输出； 然后， 将所有的精细化特征通道和 第 二通道分离模块的输出传给特征拼合层进 行通道拼合， 特征拼合层和增强型空间注意力机 制层进行串联， 将增强型空间注意力机制层的输出和增强型信息蒸馏模块EIMDB的输入端 进行残差连接， 并通过特征融合层 进行融合， 输出结果作为增强型信息蒸馏模块EIMDB的输 出。 7.根据权利要求1所述的一种在线课堂场景下基于黑板特征的超分辨率重建方法， 其 特征在于， 所述 步骤S4的过程如下： 首先， 对输入的低分辨率图像采用双三次上采样插值方法， 其中， 双三 次上采样插值基 函数公式为： 其中， 参数 表示待插值像 素点P(x,y)与该像 素的邻域点之间在行和列上的距 离。 对待 插值的像素点P(x,y)， x、 y分别为待插值的像素点的横坐标和纵坐标， 取其附近的4*4邻域 点P(xi,yj)， 其中i,j＝0,1,2,3， 按如下公式进行插值计算： 式中， f(x,y)表示待插值的像素点数值， f(xi,yj)表示待插值像素点附近的4*4邻域点 数值； 然后， 插值后的图像Ibicubic和重建图像Isr进行整合的数 学表达公式如下： 式中， Iout表示最终的重建效果图， P表示重建效果图的像素点。权　利　要　求　书 2/2 页 3 CN 114529451 A 3