(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111673033.9 (22)申请日 2021.12.31 (71)申请人 合肥综合 性国家科 学中心人工智能 研究院 （安徽省人工智能实验室） 地址 230000 安徽省合肥市望江西路5 089 号， 中国科学技术大学先进技术研究 院未来中心B120 5-B1208 (72)发明人 朱进　黄蕾　赵云波　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 代理人 苗娟 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/70(2017.01) G06T 7/269(2017.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 笔记本生产线受损监控信息快速修复方法 及存储介质 (57)摘要 本发明的一种笔记本生产线受损监控信息 快速修复方法及存储介质， 其中方法包括粗略修 复阶段： 先引入掩码 使FlowNet2.0能从参考帧中 提取受损的二维光流图， 再建立线性预测模型， 根据运动在时间维度的连续性， 来对受损帧进行 初步的粗略修复； 精细修复阶段： 将粗略修复的 结果充当精细修复阶段的参考信息， 使用部分卷 积的帧修复网络PCFC ‑Net来综合所有参考信息 并计算出精细的修复结果， 挖掘深层的视频帧间 运动信息， 并据此对缺损帧进行精细修复。 发明 实现了使用不完整的参考帧来对受损帧进行有 效的修复， 同时显著减少了参考帧的采样窗口， 从而大大缩短监控视频修复模型在不稳定传输 场景下启动的等待时间， 可有效提高笔记本生产 线上笔记本的精准快速 定位。 权利要求书3页 说明书7页 附图1页 CN 114359098 A 2022.04.15 CN 114359098 A 1.一种笔记本生产线受损监控信息快速修复方法， 其特征在于， 对笔记本生产线中带 有完全随机性的监控缺失信息进行修复， 包括如下两个修复阶段： 粗略修复阶段： 在线性组合的粗略修复阶段， 先引入掩码使FlowNet2.0能从参考帧中 提取受损的二 维光流图， 再建立线性预测模型， 根据运动在时间维度的连续性， 来对受损帧 进行初步的粗略修复； 精细修复阶段： 将粗略修复的结果充当精细修复阶段的参考信息， 使用部分卷积的帧 修复网络PCFC ‑Net来综合所有参考信息并计算出精细的修复结果， 即对包括原本的参考 帧、 参考光流图 以及粗略修复结果在内的信息进 行综合， 挖掘深层的视频帧间运动信息， 并 据此对缺损帧进行精细修复。 2.根据权利要求1所述的笔记本生产线受损监控信 息快速修复方法， 其特征在于： 其中 粗略修复阶段包括， 通过计算参考帧之间的二维光流图， 来简化帧之间运动轨迹的学习和重建； 其中， 光流 图是用于表示两个相 邻帧中每个像素的移动速度和方向的图像， 设采样窗口的大小为n， 则 需要n个参 考帧来修复损坏的帧Pt， Pt之前的n个帧Pt‑n...Pt‑1以及Pt之后的n个帧Pt+1…Pt+n。 3.根据权利要求2所述的笔记本生产线受损监控信息快速修复方法， 其特 征在于： 粗略修复阶段采用深度 网络光流图提取模型FlowNet2.0来提取Pt‑2和Pt+1之间的光流 图F(t‑2)→(t+1)和F(t+1)→(t‑2)， 以及Pt‑1和Pt+2之间的光流图F(t‑1)→(t+2)和F(t+2)→(t‑1)； 其中， 使用 掩码Mi表示Pi中的缺损部分， 并且对Pi‑2使用相同的掩码， 从而将光流的计算限制在有效像 素区域中， 则 进行掩码 操作后， 通过 下式来计算 参考光流图： 其中i＝t‑2， t‑1； j＝t+1， t+2， Ψ表示Fl owNet2.0，⊙表示矩阵逐 元素乘积。 4.根据权利要求2所述的笔记本生产线受损监控信息快速修复方法， 其特 征在于： 粗略修复阶段通过重建Pt与四个参考帧之间的光流图来实现Pt的粗略修复， 根据受损 帧与参考帧在时间轴 上的相对距离， 同时为了满足视频的时间一致性， 得到基于双向参考 帧间光流图的光 流图估计公式： 其中 是表示受损帧Pt与参考帧Pi和Pj在时间轴上距离的系数； 根据这些估计光 流图， 将参 考帧进行反向扭曲计算 来得到Pt的粗略修复结果： 其中 表示Pt的粗略修复结果， W( ·，·)表示反向扭曲函数， 用于将参考帧根据估计 光流图映射到修复帧上。权　利　要　求　书 1/3 页 2 CN 114359098 A 25.根据权利要求1所述的笔记本生产线受损监控信 息快速修复方法， 其特征在于： 精细 修复阶段中， P CFC‑Net由一个编码器、 一个解码 器和编解码器之间的连接组成， 其中传递过 来的特征图可能在缺损区域带来0值， 因此在编码器和解码 器中线性组合了两个特征图， 以 替换从编码器传递 来的特征图： 其中Ei表示从编码器传递过来的特征图， 表示相应的掩码， Di表示解码器中特征 图，⊙表示矩阵逐 元素乘积， 将Ei替换为Si避免上述 提到的0值传递问题。 6.根据权利要求5所述的笔记本生产线受损监控信息快速修复方法， 其特 征在于： 编码器由一个7 ×7的部分卷积层， 一个5 ×5的部分卷积层， 两个3 ×3的部分卷积层和 六个下采样单元顺序组成； 其中部分卷积层的激活函数为Leaky  ReLU( α ＝0.1)， 下采样单 元由一个2 ×2的平均池化层和一个3 ×3的部分卷积层组成， 每经过一次下采样单元， 图片 尺寸减小为原来的1/2； 编 码器中刚开始的三个部 分卷积层先以不同大小的视野范围7 ×7、 5×5、 3×3对参考图像及光流图的特征进行提取， 同时关注了纹理这些局部信息和物体形 状这些全局信息， 然后在下采样单 元中对参 考信息的特 征进行由浅 到深的层 层提取； 解码器由六个上采样单元和四个3 ×3的部分卷积层顺序组成， 其中部分卷积层的激活 函数为Leaky  ReLU( α ＝0.1)， 上采样单元由双线性上采样层和3 ×3的部分卷积层组成， 负 责恢复图片的原始大小， 每经过一次上采样， 图片尺寸增加一倍； 解码 器先对编 码器传递过 来的深层特征进行层层解码， 在这个过程中， 缺损区域的特征也被由深到浅地逐渐修复， 最 后经过三个部分卷积层进行图片细节的优化调整； 编解码器之间的连接负责将来自下采样单元的特征图传递到分辨率相同的上采样单 元。 7.根据权利要求6所述的笔记本生产线受损监控信息快速修复方法， 其特 征在于： 精细修复阶段使用多种损失函数的组合来训练PCFC ‑Net， 选择l1距离来逐像素地比较 修复后的图像Ppredict以及相应的真实图像Pt_gt： L1＝||Ppredict‑Pt_gt||1                        (6) l1损失函数强制模型输出与真实图像完全相同； 还包括感知损失， 其使用预训练好的网络来计算Ppredict和Pt_gt的深层特征并进行比较， 以鼓励模型输出在感知 层面上与真实图像更为相似： 其中φ(·)表示去掉全连接层的GoogLeNet， CHW表示GoogLeNet产生的特征图大小， 将 φ(Ppredict)与φ(Pt_gt)进行比较， 使Ppredict与Pt_gt在高层的画面信息上更加相似， 增加修复 图像的细节； 还包括使用hard  flow example mining损失， 使得模型 更加关注边界区域： 其中Mhard是一个表示高难度修复区域的掩码， 可将其视为一个单通道的灰度图像； 如果 某个像素的损失在前5 0％， 则Mhard中相应位置的像素值 为1， 其他位置的像素值 为0；权　利　要　求　书 2/3 页 3 CN 114359098 A 3