(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111635874.0 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114005075 A (43)申请公布日 2022.02.01 (73)专利权人 深圳佑驾创新科技有限公司 地址 518051 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园1栋401 (72)发明人 程飞洋　郑伟　刘国清　杨广　 王启程　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 郭浩辉　许羽冬 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 112396074 A,2021.02.23 CN 111369595 A,2020.07.0 3 CN 111369595 A,2020.07.0 3 US 20193 55128 A1,2019.1 1.21 CN 106022229 A,2016.10.12 CN 113920581 A,202 2.01.11 CN 113947732 A,202 2.01.18 审查员 胡嬿 (54)发明名称 一种光流估算模 型的构建方法、 装置及光流 估算方法 (57)摘要 本发明公开了一种光流估算模型的构建方 法、 装置及光流估算方法， 所述方法包括： 将仿真 域图像对、 仿真域图像对的光流 真值及真实域图 像对输入至初始神经网络模型中进行迭代训练， 得到光流估算模 型； 在对初始神经网络模型进行 训练时， 以仿真域图像对及真实域图像对为输入 对生成对抗网络进行对抗训练， 以使生成对抗网 络生成第一转换域图像对及第二转换域图像对； 以仿真域图像对、 第一转换域图像对及仿真域图 像对的光流真值为输入对光流计算网络进行有 监督训练， 以第二转换域图像对为输入， 对光流 计算网络进行无监督训练。 通过 实施本发明能降 低构建光流估算模型的人力成本， 并提高对真实 域图像的光 流值的估算 准确性。 权利要求书3页 说明书10页 附图2页 CN 114005075 B 2022.04.05 CN 114005075 B 1.一种光 流估算模型的构建方法， 其特 征在于， 包括： 获取仿真域训练集以及真实域训练集； 其中， 所述仿真域训练集中的每一仿真训练样 本包括： 相邻帧的仿真域图像对以及仿真域图像对的光流真值； 所述真实域训练集中的每 一真实训练样本包括相邻帧的真实域图像对； 将所述仿真域训练集以及 真实域训练集输入至初始神经网络模型中进行迭代训练， 直 至达到预设训练 次数或所述初始神经网络模型的总损失函数值达到预设值， 得到光流估算 模型； 其中， 所述初始神经网络模型包括： 生成对抗网络以及光 流计算网络； 在对所述初始神经网络模型进行迭代训练时， 以仿真域图像对以及 真实域图像对为输 入对所述生成对抗网络进 行对抗训练， 以使 所述生成对抗网络将仿 真域图像对以及真实域 图像对转换至同一数据域， 生成仿真域图像对所对应的第一转换域图像对， 以及真实域图 像对所对应的第二 转换域图像对； 以所述仿真域图像对、 第一转换域图像对以及仿真域图像对的光流真值为输入， 以根 据所述仿真域图像对及第一转换域图像对生成的各重组图像对的光流估算值为输出， 对光 流计算网络进行有监督训练， 以第二转换域图像对为输入， 以第二转换域图像对的光流估 算值为输出， 对所述 光流计算网络进行 无监督训练。 2.如权利要求1所述的光流估算模型的构建方法， 其特征在于， 所述生成对抗网络包 括： 生成网络以及判别网络； 所述以仿真域图像对以及真实域图像对为输入对所述生成对 抗网络进行对抗训练， 具体包括： 以所述仿真域图像对以及真实域图像对为输入并根据生成网络损失函数以及判别网 络损失函数对所述 生成对抗网络进行训练； 其中， 所述 生成网络损失函数为： 所述判别网络损失函数为： G为生成网络， D为判别网络， S～p(S)表示来自仿真域图像对的仿真域图像， T～p(T)   表示来自真实域图像对的真实域图像， D(G(S))表示判别网络D对于生成网络G所编码的仿 真域图像S的特征的分类分数， D(G(T))代表判别网络D对生成网络G所编码的真实域图像T 的特征的分类分数， E为期 望， c为判别网络D判定生 成网络G编码的真实域图像T的特征和仿 真域图像S的特征属于同一转换域的目标值， a为真实域图像T的特征所对应的判别网络输 出目标值， b为仿真域图像S的特 征所对应的判别网络 输出目标值。 3.如权利要求1所述的光流估算模型的构建方法， 其特征在于， 所述以所述仿真域图像 对、 第一转换域图像对以及仿真域图像对的光流真值为输入， 以根据所述仿真域图像对及 第一转换域图像对生成的各重组图像对的光流估算值为输出， 对光流计算网络进 行有监督 训练， 具体包括： 对所述仿真域图像对以及第 一转换域图像对中的图像进行图像对重组， 生成若干重组 图像对；权　利　要　求　书 1/3 页 2 CN 114005075 B 2根据所述仿真域图像对的光 流真值确定各重组图像对的光 流真值； 以各重组图像对以及各重组图像对的光流真值为输入， 以各重组图像对的光流估算值 为输出， 并根据有监 督训练损失函数对光 流计算网络进行有监 督训练； 其中， 所述有监督训练损失函数为： L1=|F ’ ‑F|； F’为重组图像对的光流估算值， F为重 组图像对的光 流真值。 4.如权利要求1所述的光流估算模型的构建方法， 其特征在于， 所述以第 二转换域图像 对为输入， 以第二转换域图像对的光流估算值为输出， 对所述光流计算网络进行无监督训 练， 具体包括： 以第二转换域图像对为输入， 以第二转换域图像对的光流估算值为输出， 并根据无监 督训练损失函数对光 流计算网络进行 无监督训练； ； L为无监督训练损失函数， α和β 为预设的平衡参数， ρ 为预设的惩罚函数， T1*和T2*为第 二转换域图像对中的两帧相邻图像， (x,  y)为图像中像素点的坐标， (u,  v)为像素点的光 流估算值，∇为预设梯度算子 。 5.一种光流估算模型的构建装置， 其特征在于， 包括数据获取模块以及模型训练模块； 其中， 所述模型训练模块包括第一训练模块和第二训练模块； 所述数据获取模块， 用于获取仿真域训练集以及真实域训练集； 其中， 所述仿真域训练 集中的每一仿真训练样本包括： 相邻帧的仿真域图像对以及仿真域图像对的光流真值； 所 述真实域训练集中的每一真实训练样本包括相邻帧的真实域图像对； 所述模型训练模块， 用于将所述仿真域训练集以及 真实域训练集输入至初始神经网络 模型中进 行迭代训练， 直至达到预设训练次数或所述初始神经网络模型的总损失函数值达 到预设值， 得到光流估算模型； 其中， 所述初始神经网络模型包括： 生成对抗网络以及光流 计算网络； 在对所述初始神经网络模型进行迭代训练时， 所述第 一训练模块以仿真域图像对以及 真实域图像对为输入对所述生成对抗网络进 行对抗训练， 以使所述生成对抗网络将仿 真域 图像对以及真实域图像对转换至同一数据域， 生成仿真域图像对所对应的第一转换域图像 对， 以及真实域图像对所对应的第二 转换域图像对； 所述第二训练模块以所述仿真域图像对、 第 一转换域图像对以及仿真域图像对的光流 真值为输入， 以根据所述仿 真域图像对及第一转换域图像对生成的各重组图像对的光流估 算值为输出， 对光流计算网络进 行有监督训练， 以第二转换域图像对为输入， 以第二转换域 图像对的光流估算值为输出， 对所述光流计算网络进行无监督训练； 各重组图像对根据所 述仿真域图像对以及第一 转换域图像对生成。 6.如权利要求5所述的光流估算模型的构建装置， 其特征在于， 所述生成对抗网络包 括： 生成网络以及判别网络； 第一训练模块， 以仿 真域图像对以及真实域图像对为输入对所 述生成对抗网络进行对抗训练， 具体包括： 以所述仿真域图像对以及真实域图像对为输入并根据生成网络损失函数以及判别网 络损失函数对所述 生成对抗网络进行训练；权　利　要　求　书 2/3 页 3 CN 114005075 B 3