(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221090726 5.4 (22)申请日 2022.07.29 (71)申请人 浙江未来 技术研究院 （嘉兴） 地址 314000 浙江省嘉兴 市南湖区汇信路 152号 (72)发明人 高坤　邵航　林浩哲　刘威　 (74)专利代理 机构 北京华清迪源知识产权代理 有限公司 1 1577 专利代理师 胡乐 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/10(2022.01) G06T 7/73(2017.01) G06T 3/40(2006.01) G06V 10/82(2022.01)H04N 5/247(2006.01) (54)发明名称 跨尺度全景感知系统和全景图像的跨尺度 目标检测方法 (57)摘要 本发明公开了一种跨尺度全景感知系统和 全景图像的跨尺度目标检测方法。 跨尺度全景感 知系统包括排列成正多边形的多组 固定装置， 每 组固定装置上均固定有一个相机阵列固定支架， 每个相机阵列固定支架上均固定有一组相机阵 列； 多组相机阵列分别对应覆盖正多边形周向的 多个外围区域； 每组相机阵列包括两台局部场景 感知设备和一台全局场景感知设备； 相邻两组相 机阵列的全局场景感知区域具有感知重叠区域。 本发明提供的感知系统结构简单、 部署方便， 解 决了跨尺度的高分辨全景成像的问题， 满足了大 场景全景高精度目标检测的数据采集和训练条 件， 最后通过本发明实设计的跨尺度目标检测方 法能够实现亿像素级的高精度全景目标检测。 权利要求书2页 说明书8页 附图2页 CN 115331074 A 2022.11.11 CN 115331074 A 1.一种跨尺度全景感知系统， 其特征在于， 包括排列成正多边形的多组固定装置， 每组 固定装置上均固定有一个相机阵列固定支架， 每个相机阵列固定支架上均固定有一组相机 阵列； 多组相机阵列分别对应覆盖正多边形周向的多个外围区域； 每组相机阵列均包括三台感知成像设备， 所述三台感知成像设备包括两台局部场景感 知设备和一台全局 场景感知设备， 所述全局场景感知设备固定在两台局部场景感知设备的 中间； 相邻两组相机阵列的全局场景感知 设备的全局场景感知区域具有感知重叠区域； 对于 每组相机阵列， 全局场景感知设备 的视场角覆盖相邻的两个局部感知设备 的视场角， 全局 感知设备的垂直视场角大于或等于局部场景感知设备的2倍。 2.根据权利要求1所述的跨尺度全景感知系统， 其特征在于， 所述正多边形为正八边 形， 所述固定装置共八组。 3.根据权利要求2所述的跨尺度全景感知系统， 其特征在于， 所有感知成像设备的视场 光轴均与所述正八边形共面， 所有全局 场景感知设备的视场光轴的反向延 长线均经过所述 正八边形的中心。 4.根据权利要求3所述的跨尺度全景感知系统， 其特征在于， 每 台全局场景感知 设备的 水平视角均大于或等于60 °， 每台全局场景感知设备和 每台局部场景感知设备的感知图像 分辨率均大于或等于140 0万像素。 5.一种面向亿像素级全景图像的跨尺度目标检测方法， 其特 征在于， 包括： 步骤一， 搭建目标检测训练数据采集装置， 所述训练数据采集装置包括权利要求4所述 的跨尺度全景感知系统中的一组相机阵列和用于固定该相机阵列的相机阵列固定支架； 对 搭建的目标检测训练数据采集装置进 行感知设备位置的标定， 并利用搭建的目标检测训练 数据采集装置训练得到跨尺度目标检测模型； 步骤二， 利用权利要求4所述的跨尺度全景感知系统进行图像的采集， 得到8张全局感 知图像和16张局部感知图像， 并计算得到全局感知图像的相邻图像的变换矩阵； 利用所述 全局感知图像的相邻图像的变换矩阵将8张全局感知图像进行拼接， 得到360 °全景拼接图 像IG； 步骤三， 对步骤二中采集到的16张局部感知图像， 分别利用步骤一训练得到跨尺度目 标检测模型进行目标检测， 得到目标在每张局部感知图像中的坐标位置； 根据目标在每张 局部感知图像中的坐标位置得到目标在对应全局感知图像中的坐标位置， 并将8张全局感 知图像中 的目标位置利用所述相邻图像的变换矩阵进行变换， 得到360 °全景拼接图像IG中 所有目标的具体位置 。 6.根据权利要求5所述的面向亿像素级全景图像的跨尺度目标检测方法， 其特征在于， 步骤一所述对搭建的目标检测训练数据采集装置进行设备位置的标定， 并利用搭建的目标 检测训练数据采集装置训练得到跨尺度目标检测模型包括： 利用特征点匹配方法对目标检测训练数据采集装置中的两台局部场景感知设备全局 场景感知设备进 行位置标定， 得到相机阵列中两台局部场景感知设备分别相对于全局 场景 感知设备的映射矩阵M1和M2； 利用搭建的目标检测训练数据采集装置在特定地点进行图像数据的采集， 得到局部感 知图像数据集和全局感知图像数据集， 并对局部感知图像数据集和全局感知图像数据集中权　利　要　求　书 1/2 页 2 CN 115331074 A 2采集到的目标进 行定位框标注； 将带有标注的局部感知图像数据集按照预设比例划分成训 练集、 测试集和验证集； 带有 标注的全局感知图像数据集不参与训练， 其作为Gr ounTruth来 约束跨尺度目标检测模型的训练； 利用现有的目标检测网络及其损失函数Ldet对所述训练集进行训练， 训练时的损失函 数定义为： L＝Ldet(local)+λLdet(global) 其中Ldet(local)表示现有的目标检测网络训练局部感知图像数据集的损失函数， Ldet (global)表示带有标注的全局感知数据集作为GrounTruth约束的损失函数， λ表示Ldet (global)的权 重系数； Ldet(global)计算公式为： Ldet(global)＝Ldet(PredMi) 其中Pred为基于局部感知图像预测的目标位置； PredMi表示Pred经过映射矩阵Mi变换 到全局感知图像； 根据预先设定的训练策略， 迭代训练模型， 直至损 失函数L收敛， 得到跨尺度目标检测 模型。 7.根据权利要求6所述的面向亿像素级全景图像的跨尺度目标检测方法， 其特征在于， 所述步骤二具体包括： 搭建权利要求1至3 中任一项所述的跨尺度全景感知系统， 并使用基于软件时间戳同步 触发方法进 行8组相机阵列的图像数据的同步采集， 将在t时刻8组相机阵列感知到的8张全 局图像和16张局部图像分别记为 和 对于t时刻下全局感知图像序列(G1， G2， ...， G8)， 使用特征提取和匹配算法分别对序列 中的相邻图像进行特征检测和匹配， 得到全局感知图像的相邻图像的变换矩阵(TR21， TR32， ...， TR87)； 利用所述相邻图像的变换矩阵(TR21， TR32， ...， TR87)将8张全局感知图像进行拼接， 得 到360°全景拼接图像IG。 8.根据权利要求7所述的面向亿像素级全景图像的跨尺度目标检测方法， 其特征在于， 步骤三所述根据目标在每张局部感知图像中的坐标位置得到目标在对应全局感知图像中 的坐标位置， 具体是根据映射矩阵M1和M2， 将每张局部感知图像中目标的坐标位置映射回对 应的全局感知图像， 得到目标在 对应全局感知图像中的坐标位置的； 所述将8张全局感知图 像中的目标位置利用所述相邻图像的变换矩阵进 行变换， 具体是利用所述相 邻图像的变换 矩阵(TR21， TR32， ...， TR87)， 将8张全局感知图像中的目标位置进行变换的。 9.根据权利要求6所述的面向亿像素级全景图像的跨尺度目标检测方法， 其特征在于， 所述特征点匹配方法为SIFT算法； 所述特定地 点包括步行街广场和十 字路口。 10.根据权利要求6所述的面向亿像素级全景图像的跨尺度目标检测方法， 其特征在 于， 所述预设比例为8 ∶ 1∶ 1； 所述目标检测网络为Yo lov5神经网络 。权　利　要　求　书 2/2 页 3 CN 115331074 A 3