(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210722014.9 (22)申请日 2022.06.17 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 杨华　黄开基　姜宇扬　朱钦淼　 尹周平　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 尹丽媛 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/75(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) (54)发明名称 一种用于自然场景图像匹配的局部描述子 网络的训练方法 (57)摘要 本发明属于图像处理领域， 具体涉及一种用 于自然场景图像匹配的局部描述子网络的训练 方法， 包括： 采用原始样本和生成样本训练描述 子网络； 每次训练中先采用以下方式生成样本： 通过几何扰动方式对各原始样 本采样， 生成各新 样本； 并使用当前描述子网络计算各新样本及其 对应的原始样本的描述子， 并通过描述子计算对 抗生成损失函数， 基于对抗生 成损失函数反向传 播， 优化控制参数， 以产生具有更大对抗生成损 失函数的生成样本； 且每次迭代训练所用损失函 数包括原始样本三输入损失和生成样本三输入 损失， 每个损失中的距离采用混合距离进行计 算， 且混合距离中的混合系数采用最大似然估计 求取。 本发 明方法能提升描述子在自然场景中较 大干扰条件下的性能。 权利要求书2页 说明书9页 附图4页 CN 115018056 A 2022.09.06 CN 115018056 A 1.一种用于自然场景图像匹配的局部描述子网络的训练方法， 其特 征在于， 包括： 将原始样本和生成样本均 作为训练样本， 训练局部描述子网络； 其中， 每次迭代训练中， 先采用以下 方式生成所述 生成样本： 通过几何扰动的方式对各原始样本进行采样， 生成各新样本； 并使用当前描述子网络 计算各新样本及其对应的原始样本的描述子， 并通过描述子计算对抗生成损失函数， 基于 对抗生成损失函数反向传播， 优化控制参数， 以产生具有更大对抗生成损失函数 的生成样 本； 且每次迭代训练所采用的训练用损失函 数包括原始样本 三输入损失 和生成样本 三输入损失 两部分， 每个损失中的距离采用混合距离进行计算， 且所述混合距离中的 混合系数采用最大似然估计求取。 2.根据权利要求1所述的训练方法， 其特征在于， 在生成所述生成样本时， 采用STN中的 双线性插值模块作为样本生成器， 同时选择仿射矩阵作为控制参数， 所述控制参数用于生 成采样网格。 3.根据权利要求1所述的训练方法， 其特征在于， 所述对抗生成损失函数采用生成样本 及其对应的原 始样本的描述子之间的L2 距离， 表示 为： 式中， da、 dp为一对具有匹配关系的原始样本xa、 xp的由描述子网络得到的描述子， 为生成样本 所得到的描述子， | |·||2表示向量之间的L2 距离。 4.根据权利要求3所述的训练方法， 其特征在于， 采用FGSM进行用于控制所述采样过程 的控制参数的优化更新。 5.根据权利要求1所述的训练方法， 其特征在于， 还包括： 计算每个生成样本中每张生 成图像的标签置信度， 该 标签置信度表征原 始样本和生成样本之间相似性的量 化； 则 部分采用标签置信度加权 。 6.根据权利要求5所述的训练方法， 其特征在于， 所述生成样本三输入损失 表示 为： 式中， li为第i个三输入样本组的生成样本的标签置信度； Dcos(θ)表示余弦距离； 分别表示第i个三输入样本组中匹配样本对(xa,xp)和不匹配样本对(xa,xn)的 角度距离； maski是第i个三输入样本组的选择掩膜， 且maski∈{0,1}。 7.根据权利要求5所述的训练方法， 其特征在于， 所述标签置信度的计算方式为： 生成 样本图像中有效像素的个数与其对应的原 始样本图像中像素个数的比值。 8.根据权利要求1所述的训练方法， 其特征在于， 所述混合距离为余弦距离Dcos和L2距 离DL2的混合。 9.根据权利要求1所述的训练方法， 其特征在于， 计算原始样本三输入损失 和生权　利　要　求　书 1/2 页 2 CN 115018056 A 2成样本三输入损失 所采用的混合距离相同， 且均采用原 始样本计算。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利 要求1至9任一项所述的一种用于自然场景图像匹配的局部描述子网络的训练方法。权　利　要　求　书 2/2 页 3 CN 115018056 A 3