(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111657599.2 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114332644 A (43)申请公布日 2022.04.12 (73)专利权人 北京建筑大学 地址 100044 北京市西城区展览 路1号 (72)发明人 吕京国　曹逸飞　白颖奇　曲宁宁　 贺柳良　 (74)专利代理 机构 北京市盛峰律师事务所 11337 专利代理师 席小东 (51)Int.Cl. G06V 20/13(2022.01) G06V 20/54(2022.01)G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/62(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G08G 1/017(2006.01) G08G 1/065(2006.01) (56)对比文件 CN 108564787 A,2018.09.21 CN 107766808 A,2018.0 3.06 审查员 程呈 (54)发明名称 一种基于视频卫星数据的大视场交通密度 获取方法 (57)摘要 本发明提供一种基于视频卫星数据的大视 场交通密度获取方法， 包括以下步骤： 将视频卫 星数据输入到预处理模块， 得到每一帧图像； 采 用金字塔道路提取网络， 提取第一帧图像中的道 路， 再对每一帧图像进行掩膜， 得到掩膜后道路 区域； 将掩膜后道路区域输入到基于多策略时空 信息选择的车辆检测网络中， 进行车辆目标检 测； 在掩膜后道路区域上绘制热力图， 并将该热 力图作为图层， 叠加到每一帧图像上面， 得到大 视场交通密度图。 本发明提供一种基于视频卫星 数据的大视场交通密度获取方法， 充分利用目标 间的联系， 可以准确高效的提取到视频卫星图像 中车辆， 提高视频卫星交通密度获取的精度与效 率。 权利要求书6页 说明书16页 附图2页 CN 114332644 B 2022.07.15 CN 114332644 B 1.一种基于 视频卫星数据的大视场交通密度获取 方法， 其特 征在于， 包括以下步骤： 步骤S1， 将共计t"帧的视频卫星数据输入到预处理模块中， 对每一帧图像进行双边滤 波与直方图均衡化处 理， 得到每一帧图像Figt； 其中， t＝1,2,. ..,t"； 步骤S2， 将第一帧图像Fig1作为道路模板图， 输入到金字塔道路提取网络中， 得到道路 分割结果图RoadMap； 其中， 在道路分割结果图RoadMap中， 道路区域灰度值为1， 非道路区域 灰度值为0； 步骤S3， 对道路分割结果图RoadMap进行形态学闭运算， 得到道路区域Arearoad； 其余区 域为非道路区域A reaunroad； 步骤S4， 将非道路区域Areaunroad作为掩膜模板， 对步骤S1得到的每一帧图像 Figt进行掩 膜， 得到掩膜后道路区域A rea′road(t)； 步骤S5， 将掩膜后道路区域Area ′road(t)， 输入到基于多策略时空信息选择的车辆检测 网络中， 进行车辆目标检测， 得到车辆标记图像CarMap(t)， 其中， 在车辆标记图像CarMap (t)中， 标记 道路区域中所有车辆目标的位置与序号； 基于多策略时空信 息选择的车辆检测网络包括空域 聚集子网络和时域门控子网络； 空 域聚集子网络， 用于将图像中车辆密集区域进行聚类框选， 然后映射到尺寸较大 的浅层特 征图中进 行车辆检测， 从而使 车辆特征与 道路特征区分度提高， 提升车辆间的特征差异； 时 域门控子网络， 用于通过门控循环单元融合车辆目标间特征关联性与车辆目标与周围背 景 间特征关联性， 从而降低网络对于非车辆对象的误判率； 步骤S6， 对于车辆标记图像CarMap(t)中的每个车辆目标， 以其中心点坐标为圆心， 以 长度r为半径， 设定缓冲区， 计算每个缓冲区中车辆目标数量， 即为车辆目标的周边车辆数 量； 从而得到t时刻每 个车辆目标的周边车辆数量； 步骤S7， 根据每个车辆目标的周边车辆数量的分布情况， 在掩膜后道路区域Area ′road (t)上绘制热力图， 并将该热力图叠加到步骤S1的每一帧图像Figt上面， 得到t时刻大视场 交通密度图。 2.根据权利要求1所述的一种基于视频卫星数据的大视场交通密度获取方法， 其特征 在于， 步骤S2具体为： 步骤S2.1， 构建金字塔道路提取网络； 所述金字塔道路提取网络， 包括特征提取模块和 尺度恢复模块； 步骤S2.2， 所述特 征提取模块的图像处 理过程为： 步骤S2.2.1， 对第一帧图像 Fig1进行特征提取， 分别得到尺寸缩小2倍、 4倍、 8倍、 16倍的 道路金字塔特征图FPyramidMap(m)， 其中， m＝1,2,3,4， 代表对图像的道路语义信息的表达逐 渐加强； 步骤S2.2.2， 依次对道路金字塔特征图FPyramidMap(m)进行横向连接映射， 强化道路金字 塔特征图FPyramidMap(m)的道路语义特征表达， 得到与道路金字塔特征图FPyramidMap(m)相同 尺寸的横向连接特 征图FTransMap(m)； 步骤S2.2.3， 对横向连接特征图FTransMap(4)进行比例因子为2的最近邻插值， 扩大道路 语义强化特征图的尺寸， 得到与横向连接特征图FTransMap(3)尺寸相同的上采样特征图 FUpMap(3)；权　利　要　求　书 1/6 页 2 CN 114332644 B 2对横向连接特征图FTransMap(3)进行比例因子为2的最近邻插值， 扩大道路语义强化特 征图的尺寸， 得到与横向连接特 征图FTransMap(2)尺寸相同的上采样特 征图FUpMap(2)； 对横向连接特征图FTransMap(2)进行比例因子为2的最近邻插值， 扩大道路语义强化特 征图的尺寸， 得到与横向连接特 征图FTransMap(1)尺寸相同的上采样特 征图FUpMap(1)； 步骤S2.2.4， 对横向连接特征图FTransMap(3)和上采样特征图FUpMap(3)进行特征融合， 通过特征图对应 像素相加后取平均值的方式得到道路特 征强化特 征图FEhcMap(3)； 对横向连接特征图FTransMap(2)和上采样特征图FUpMap(2)进行特征融合， 通过特征图对 应像素相加后取平均值的方式得到道路特 征强化特 征图FEhcMap(2)； 对横向连接特征图FTransMap(1)和上采样特征图FUpMap(1)进行特征融合， 通过特征图对 应像素相加后取平均值的方式得到道路特 征强化特 征图FEhcMap(1)； 其中， 道路特 征得到增强， 同时保留道路附近细节信息； 步骤S2.2.5， 通过hardmax函数判断横向连接特征图FTransMap(4)中每个像素的类别， 得 到道路分割结果 二值化图BinMap(4)； 通过hardmax函数判断道路特征强化特征图FEhcMap(3)中每个像素的类别， 得到道路分 割结果二值化图BinMap(3)； 通过hardmax函数判断道路特征强化特征图FEhcMap(2)中每个像素的类别， 得到道路分 割结果二值化图BinMap(2)； 通过hardmax函数判断道路特征强化特征图FEhcMap(1)中每个像素的类别， 得到道路分 割结果二值化图BinMap(1)； 其中， 在道路分割结果 二值化图中， 道路区域灰度值 为1， 非道路区域灰度值 为0； 步骤S2.3， 尺度恢复模块的图像处 理过程为： 步骤S2.3.1， 分别将道路分割结果二值化图BinMap(n)输入到尺度恢复模块中， 通过上 采样恢复空间分辨 率， 得到尺度恢复后特 征图FRecoveryMap(n)； 其中， n ＝1,2,3,4； 所有尺度恢复后特 征图FRecoveryMap(n)的尺寸均 与第一帧图像Fig1的尺寸相同； 步骤S2.3.2， 对尺度恢复后特征图FRecoveryMap(1)、 尺度恢复后特征图FRecoveryMap(2)、 尺 度恢复后特征图FRecoveryMap(3)和尺度恢复后特征图FRecoveryMap(4)进行对应元素相加后平 均， 得到道路分割结果图RoadMap。 3.根据权利要求2所述的一种基于视频卫星数据的大视场交通密度获取方法， 其特征 在于， 步骤S3具体为： 设Square为8*8像素的正方形结构元素， 采用下式， 对道路分割结果图RoadMap和正方 形结构元素Square作闭运 算， 得到道路区域A rearoad： 其中： 是指形态学膨胀运 算， Θ是指形态学腐蚀运 算。 4.根据权利要求1所述的一种基于视频卫星数据的大视场交通密度获取方法， 其特征 在于， 步骤S5具体为： 步骤S5.1， 通过滑窗方式， 将 掩膜后道路区域Area ′road(t)裁切为尺寸 s*s的多个图像块 Block， 其中， 对像素数不足的边界部分， 通过补零的方式保证图像块的尺寸， 并且， 相邻图 像块之间具有设定区域的重 叠； 步骤S5.2， 对每个图像块Block进行车辆特征提取， 分别得到浅层车辆特征图FShallowMap权　利　要　求　书 2/6 页 3 CN 114332644 B 3