(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210037094.4 (22)申请日 2022.01.13 (71)申请人 中国矿业大 学 地址 221000 江苏省徐州市南郊翟山 (72)发明人 程德强　张皓翔　吕晨　寇旗旗　 赵凯　王晓艺　刘敬敬　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 胡定华 (51)Int.Cl. G06F 16/783(2019.01) G06F 16/75(2019.01) G06T 5/00(2006.01) G06T 5/40(2006.01) G06T 7/11(2017.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经网络自温故及知识传导机制 的智能视频图像 检索方法 (57)摘要 一种基于神经网络自温故及知识传导机制 的智能视频图像检索方法， 在保证模 型实时性的 同时， 提高小模型检索精度， 在精度和 效率之间 尽可能达到平衡； 设置伽马校正模块， 通过对 图 像的局部调整， 实现对光照不均匀鲁棒性， 提高 细节可辨度， 避免高频噪声， 普适性强； 建立自温 故机制， 允许神经网络的局部自我监督， 不断反 思、 调整学习参数， 充分学习到图像深层语义信 息， 实现神经网络快速收敛， 提高检索精度； 采用 知识传导机制， 提升模型精度、 降低模型时延， 压 缩网络参数， 最终得到一个性能强和精度高的学 生模型； 通过传导机制将浅特征知识作为学习目 标， 采用VA E变分自编码模型重构深度特征， 以此 生成学习结果， 将学习结果与目标进行度量， 完 成学习任务。 权利要求书4页 说明书10页 附图4页 CN 114647760 A 2022.06.21 CN 114647760 A 1.一种基于神经网络自温故及 知识传导机制的智能视频图像 检索方法， 其特 征在于： 所述方法基于图像矫 正模块、 特 征提取模块、 传导模块和自温故模块实现； 图像校正模块基于伽马校正网络对图像的光照条件进行重建， 采用多层神经网络对校 正参数进行拟合， 利用区块的方式对图像进行评估和重建， 特征提取模块分为两个部分， 包括教师模型以及学生模型， 教师模型为学生模型提供 深度特征知识， 学生模型采用轻量级模 型以在终端设备上的运行， 两个模型相配合， 完成校 正后图像的特 征提取； 传导模块中， 首先预训练一个教师模型， 然后在对学生模型进行训练的时候， 利用所获 取的教师模型进行监督训练来实现知识传导； 其中， 让学生模型自我学习图像的内在特征 表达， 并利用教师模型浅层特征信息监督学生模型 的较深层特征信息， 逐步提升学生模型 的泛化能力； 自温故模块设置在学生模型中， 将学生模型以往的学习经验作为旧知识， 在回顾旧知 识的同时， 将来自下一阶段的新知识与旧知识进 行深度融合， 达到自我监督以及自我回顾； 其中， 在先前阶段， 学生模型根据以往的学习经验， 学习 得到一组特征， 将第一阶段学习到 的特征作为旧知识与当前阶段的输出 特征融合， 从而实现学生模型的自温故机制； 本方法中， 通过老师模块训练学生模块， 并通过教师模块和学生模块提取图像特征， 并 将特征聚类； 进入检索阶段， 将待查询图像以及图像数据库送入学生模块， 通过度量， 然后 再排序完成图像 检索的功能。 2.根据权利要求1所述的一种基于神经网络自温故及知识传导机制的智能视频图像检 索方法， 其特 征在于： 所述校正模块中， 将伽马校正定义 为： C＝r*I1/ η                     (1) 式中， C是矫正后的图像； r是矫正常数， 设置为(0,1)之间； I是原图像； 1/η是gamma值， 通过改变该值 来实现矫 正； 伽马校正的流 程如下： 步骤a， 将待重建图像进行区块分割， 由于不均匀光照的存在， 进行区块分割以保留正 常区域， 并将其作为 光照条件重建目标； 步骤b， 经过全连接神经网络分别对区块进行特征提取， 其中待重建区块作为驱动数 据、 其他区块作为重建目标； 步骤c， 将部分区域神经元权重冻结， 仅参与计算， 不参与梯度传播， 其余区域则为参数 1/ η 的线性组合； 步骤d， 通过L oss函数完成重建的预测情况， 反向传播更新 参数1/ η 的线性组合， 其中： 梯度更新方式为： 其中， Xi为驱动数据队列， 为避免网络 过度自信， 设置惩罚项γ作为正则项； L代表Gamma   Loss； λ是学习率， 设置为0.0 0001。权　利　要　求　书 1/4 页 2 CN 114647760 A 23.根据权利要求1所述的一种基于神经网络自温故及知识传导机制的智能视频图像检 索方法， 其特征在于： 所述传导模块中， 包括基于VAE变 分自编码的知识重构模型， 通过模仿 教师模型各阶段输出特征， 达到教师模 型的性能， 通过VAE变 分自编码以概率的方式描述对 潜在空间的观察， 根据数据求得高斯分布， 将教师模型的高斯分布视为真实分布， 通过对教 师模型数据特征的不断逼近， 进 而达到提升学生模型的泛化能力。 4.根据权利要求1所述的一种基于神经网络自温故及知识传导机制的智能视频图像检 索方法， 其特征在于： 所述基于VAE变分自编码的知识重构模型中， 定义网络输入为Xi， i∈ [1,M]； 相应地， 网络 输入的信息熵和为： 式中， pθ(X(i))是X(i)的概率分布； KL散度衡量的是两种概 率分布p和q之间差异的方式， 又叫相对熵， 定义 为： 将KL散度重写为数 学期望： DKL(p||q)＝E[[logp(X(i))‑logq(X(i))]         (6) VAE模型让生成数据逼近真实数据， 在计算过程中， 不用显式的计算数据 特征的具体参 数， 通过生成模 型的分布概率去逼近后验概率， 即真实数据的概率分布； 采用KL散度衡量相 似程度： 式中， Xs(i)是学生数据， Xt(i)是教师数据， qφ(ZS|Xs(i))是学生模型分布， pθ(ZT|Xt(i))是老 师模型后验分布， E是期望， ZT,ZS服从高斯分布N(0,1)； 后验分布反映了数据的真实分布， 其由联合 概率分布求得： 将式(8)代入式(7)得: 由于 与logpθ(Xt(i))无关， 所以权　利　要　求　书 2/4 页 3 CN 114647760 A 3