(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210763577.2 (22)申请日 2022.07.01 (65)同一申请的已公布的文献号 申请公布号 CN 114820396 A (43)申请公布日 2022.07.29 (73)专利权人 泽景 （西安） 汽车电子有限责任公 司 地址 710075 陕西省西安市高新区高新 一 路25号创新大厦N5 01室 (72)发明人 茹懿　刘珞琳　韩雨青　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 潘登 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/00(2006.01) G06T 7/73(2017.01) G06F 3/01(2006.01)(56)对比文件 US 2019206362 A1,2019.07.04 WO 2021197189 A1,2021.10.07 CN 114460743 A,202 2.05.10 DE 102019 206922 A1,2020.1 1.19 CN 111476104 A,2020.07.31 CN 111242866 A,2020.0 6.05 JP 2011155412 A,201 1.08.11 CN 114584785 A,202 2.06.03 Ke li etal..distorti on correction algorithm of AR- HUD virtual ima ge based on Neural Netw ork Model of Spatial Continuous Map ping. 《2020 IE EE Internati onal Symposium o n Mixed and Augmented Real ity Adjunct (ISMAR- Adjunct)》 .2020, 周中奎.基 于机器学习的智能汽车目标检测 与场景增强技 术研究. 《中国优秀硕士学位 论文 全文数据库 工程科技 Ⅱ辑》 .2022, 审查员 郑岩 (54)发明名称 图像处理方法、 装置、 设备及存 储介质 (57)摘要 本申请公开了一种图像处理方法、 装置、 设 备及存储介质， 涉及智 能驾驶技术领域， 该方案 可以实现在眼点位置动态变化的情况下对畸变 的矫正。 该方法包括： 获取采集设备基于N个预设 眼点位置采集的点阵图像的投影图像； 基于特征 点将点阵图像划分为M个第一分区， 并将N个投影 图像分别划分为与M个第一分区对应的M个第二 分区； 基于M个第一分区中的特征点的像素坐标 和M个第二分区中的特征点的像素坐标， 分别确 定N个投影图像的各第二分区与对应的第一分区 的透视变换矩阵， 基于透视变换矩阵得到N个透 视变换矩阵集合； 在车辆行驶过程中， 基于驾驶 员的当前眼点位置和N个透视变换矩阵集合对待 投影的原始图像进行处理， 并对处理后的原始图像进行投影 。 权利要求书3页 说明书14页 附图5页 CN 114820396 B 2022.09.13 CN 114820396 B 1.一种图像处 理方法， 其特 征在于， 包括： 获取N个投影图像； 所述N个投影图像为， 在通过抬头显示器对点阵图像进行投影时， 采 集设备基于N个预设眼点 位置采集的所述 点阵图像的投影图像； N 为大于1的正整数； 基于所述点阵图像中的特征点和所述N个投影图像中的特征点， 将所述点阵图像划分 为M个第一分区， 并将所述N个投影图像分别划分为与所述M个第一分区对应的M个第二分 区； M为正整数； 基于M个第 一分区中的特征点的像素坐标和M个第 二分区中的特征点的像素坐标， 分别 确定所述N个投影图像的各所述第二分区与对应的所述第一分区的透视变换矩阵， 并基于 所述透视变换矩阵得到N个透视变换矩阵集合； 一个所述透视变换矩阵集合对应一个所述 预设眼点 位置， 用于表示 一个投影图像与所述 点阵图像的透 视变换关系； 在车辆行驶过程中， 基于驾驶员的当前眼点位置和所述N个透视变换矩阵集合对待投 影的原始图像进行处 理， 并对处 理后的原 始图像进行投影。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述基于所述点阵图像中的特征 点和所述N个投影图像中的特征点， 将所述点阵图像划分为M个第一分区， 并将所述N个投影 图像分别划分为与所述M个第一分区对应的M个第二分区， 包括： 遍历所述点阵图像中的子点阵， 基于所述点阵图像中的子点阵将所述点阵图像划分为 所述M个第一分区； 并且， 分别遍历所述N个投影图像中的子点阵， 基于所述N个投影图像中 的子点阵将所述N个投影图像分别划分为所述M个第二分区； 所述点阵图像中的子点阵和所 述N个投影图像中的子点阵均包括第一特征点、 第二特征点、 第三特征点和第四特征点， 所 述第一特征点与所述第二特征点位于同一行的相 邻列， 所述第三特征点与所述第四特征点 位于同一行 的相邻列， 所述第一特征点与所述第三特征点位于同一列的相邻行， 所述第二 特征点与所述第四特 征点位于同一列的相邻行。 3.根据权利要求1所述的图像处理方法， 其特征在于， 所述基于所述透视变换矩阵得到 N个透视变换矩阵集 合， 包括： 基于第一图像的各所述第 二分区与对应的所述第 一分区的第 一透视变换矩阵， 对所述 第一图像的各所述第二分区进行处理， 得到所述第一图像的各所述第二分区的还原图像； 所述第一图像为所述 N个投影图像中的任一图像； 确定所述第一图像的各所述第二分区的还原图像与对应的所述第一分区的畸变率是 否小于预设值； 在确定所述畸变率大于或等于所述预设值的情况下， 调整所述M个第二分区中的特征 点的像素坐标， 并基于调整后的像素坐标重新确定所述第一透视变换矩阵， 直至所述畸变 率小于所述预设值； 在确定所述畸变率小于所述预设值的情况下， 根据当前 的第一透视变 换矩阵确定第一透视变换矩阵集合； 所述第一透视变换矩阵集合用于表示所述第一图像与 所述点阵图像的透 视变换关系。 4.根据权利要求1所述的图像处理方法， 其特征在于， 所述基于驾驶员的当前眼点位置 和所述N个透视变换矩阵集 合对待投影的原 始图像进行处 理， 包括： 基于所述当前眼点位置， 从所述N个预设眼点位置中确定目标眼点位置， 并从所述N个 透视变换矩阵集 合中确定出 所述目标眼点 位置对应的目标透 视变换矩阵集 合； 根据所述目标透视变换矩阵集合中的透视变换矩阵， 分别对所述原始图像中的M个第权　利　要　求　书 1/3 页 2 CN 114820396 B 2三分区进行处 理， 得到所述原 始图像的M个第三分区的调整图像； 对所述M个第三分区的调整图像进行拼接处 理， 得到处 理后的原 始图像。 5.根据权利要求4所述的图像处理方法， 其特征在于， 所述基于所述当前眼点位置， 从 所述N个预设眼点 位置中确定目标眼点 位置， 包括： 获取检测设备与所述当前眼点位置的实际距离； 所述检测设备用于追踪所述驾驶员的 眼点位置； 根据所述实际距离确定第 一距离和第 二距离； 所述第 一距离为所述实际距离在第 一平 面上的投影距离， 所述第二距离为所述实际距离在第二平面上 的投影距离； 所述第一平面 垂直于地平面， 且所述第一平面平行于车身纵轴方向； 所述第二平面平行于地平面； 基于所述第 一距离、 所述第 二距离以及预设距离， 从所述N个预设眼点位置 中确定所述 目标眼点位置； 所述预设距离为所述检测设备到眼盒区域所在的第三平面的距离； 所述第 三平面垂直于地平面， 且所述第三平面平行于车身横轴方向。 6.根据权利要求5所述的图像处理方法， 其特征在于， 所述眼盒区域包括九个眼盒分 区， 一个所述眼盒分区对应一个所述预设眼点位置， 所述基于所述第一距离、 所述第二距离 以及预设距离， 从所述 N个预设眼点 位置中确定所述目标眼点 位置， 包括： 基于所述第一距离和所述预设距离确定所述当前眼点位置在所述眼盒区域所属的纵 向分区， 并基于所述第二距离和所述预设距离确定所述当前眼点位置在所述眼盒区域所属 的横向分区； 根据所述纵向分区和所述横向分区， 确定所述当前眼点位置所属的目标眼盒分区， 并 确定所述目标眼盒分区对应的所述目标眼点 位置。 7.根据权利要求5或6所述的图像处理方法， 其特征在于， 所述检测设备的装配位置和 所述眼盒区域的中心 位置的连线与所述第一平面平行， 且所述检测设备的检测视野覆盖所 述眼盒区域。 8.一种图像处 理装置， 其特 征在于， 包括： 获取模块， 用于获取N个投影图像； 所述N个投影图像为， 在通过抬头显示器对点阵图像 进行投影时， 采集设备基于N个预设眼点位置采集的所述点阵图像的投影图像； N为大于1的 正整数； 划分模块， 用于基于所述点阵图像 中的特征点和所述N个投影图像 中的特征点， 将所述 点阵图像划分为M个第一分区， 并将所述N个投影图像分别划分为与所述M个第一分区对应 的M个第二分区； M为 正整数； 确定模块， 用于基于M个第 一分区中的特征点的像素坐标和M个第二分区中的特征点的 像素坐标， 分别确定所述N个投影图像的各所述第二分区与对应的所述第一分区的透视变 换矩阵， 并基于所述透视变换矩阵得到N个透视变换矩阵集合； 一个所述透视变换矩阵集合 对应一个所述预设眼点 位置， 用于表示 一个投影图像与所述