(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111668767.8 (22)申请日 2021.12.31 (71)申请人 吉林大学 地址 130022 吉林省长 春市人民大街598 8 号吉林大 学南岭校区 (72)发明人 刘宏飞　张叶萃　许淼　周佳　 赵小龙　 (74)专利代理 机构 石家庄新世纪专利商标事务 所有限公司 1310 0 代理人 张晓佩 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/58(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视频数据的混合冰雪路面附着系数实 时估计方法 (57)摘要 本发明涉及基于视频数据的混合冰雪路面 附着系数实时估计方法， 步骤为： 采集包含混合 冰雪路面的历史监控视频数据及其对应的环境 参数， 以及不同的路面阴影图像， 构建混合冰雪 路面道路历史视频数据及其对应的环境参数数 据集、 路面阴影图像数据集； 离线训练， 分别得到 背景提取模型、 路面区域分割模型、 路面阴影检 测与消除模型、 路面状态识别模型， 构建路面状 态识别系统。 本发明基于机器视觉不仅实现了对 典型冰雪路面附着系数的估计， 同时对多种状态 混合的冰雪路面进行准确分割， 估计其附着系 数， 保证了估计的准确性和实时性， 对提高预警 的安全性具有重大意 义。 权利要求书3页 说明书7页 附图3页 CN 114332722 A 2022.04.12 CN 114332722 A 1.一种基于视频数据的混合冰雪路面附着系数实时估计方法， 其特征在于， 包括如下 步骤： S1： 构建混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集、 实时车载 视频数据及其对应的环境 参数数据集和路面阴影图像数据集； S2： 离线训练， 分别得到背景提取模型、 路面区域分割模型、 路面阴影检测与消除模型、 路面状态 识别模型， 构建路面状态检测系统； S3： 在线识别， 将各个站点监控设备录制的实时监控视频传输至路面状态检测系统1 中， 输出路面状态检测结果1并保存； S4： 车载摄像头实时拍摄前方道路视频， 传输至路面状态检测系 统2中， 输出路面状态 检测结果2， 利用路面状态检测结果 1修正路面状态检测结果2， 得到最 终的路面状态检测结 果3， 从而达 到实时检测冰雪路面附着系数的目的； S5： 根据路面类型与路面附着系数映射关系， 得到车辆前方的冰雪路面附着系数的实 时估计值； 步骤2中所述的路面状态检测系统， 训练步骤如下： S2‑1、 利用混合高斯背景建模算法得到背景提取模型， 使用背景提取模型从监控视频 中获取静态背景， 为路面区域分割做准备； S2‑2、 对混合冰雪路面道路历史监控视频数据集进行标注， 标注出路面区域和 非路面 区域， 建立道路路面区域分割数据集， 用于训练基于注 意力机制的3D  CNN卷积神经网络， 得 到路面区域分割模型； S2‑3、 利用路面阴影数据 集， 训练基于全局信息分析的阴影DSC特征的阴影检测算法以 检测路面的阴影部分， 再训练基于循环生成对抗网络消除路面阴影， 由此得到路面阴影检 测与消除模型； S2‑4、 对混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集进行像素级 的标注， 构建路面状态数据集， 同时利用数据增强技术对数据集进 行扩增， 训练多模块卷积 神经网络， 从而得到路面状态 识别模型。 2.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法， 其特 征在于： 所述步骤S1 中， 所述冰雪 路面包括： 松雪 路面、 雪板 路面、 雪浆路面、 冰板路面、 半融 化冰板路面、 黑冰路面； 所述环境参数包括： 太阳辐射 强度、 时刻、 路面温度、 空气温度、 降水 量、 降雪量， 其中利用路面监控设备、 车载摄像头采集不同冰雪路面的视频数据， 同时利用 气象站采集不同视频数据对应的环境参数， 利用手持相机及网络爬虫等方式采集不同路面 状态下的阴影数据。 3.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法， 其特 征在于， 步骤S2 ‑1中所述的背景提取模型采用混合高斯背景建模算法， 具体步骤如下： Step1： 采用多个单高斯模型对视频图像中每个像素点进行表述， 其相应的数学表达式 定义像素点的概 率如式(1 ‑1)所示： p(x)＝*[ωi(x,y,t), μi(x,y,t), σi(x,y,z)2]}(i＝1,2,…,N)  (1‑1) 其中N为混合高斯模型中单高斯模型的个数， 取值为3 ‑5之间， ωi(x,y,t)为每个 单高斯 模型的权重系数， 且满足式(1 ‑2)； μi(x,y,t)为这个高斯分布的均值， σi(x,y,z)2为这个高 斯分布的协方差；权　利　要　求　书 1/3 页 2 CN 114332722 A 2Step2： 为了使得每个新像素值I(x,y,t)匹配到合适的高速分布模型， 将其与当前N个 模型按式(1 ‑3)进行比较； 其中， 设 对于新的视频帧中满足(1 ‑3)式子的像素点会被判定为背 景， 不满足 的则被认为噪声或运动的车辆； Step3： 若像素点被判定为背景， 则需要对各模式的权值系数进行更新， 新的权值为式 (1‑4)； ωi(x,y,t)＝(1 ‑α )ωi(x,y,t‑1)+α(1‑4) 其中， α ∈(0,1)为系数 更新过程中的学习因子， 即更新的速度； Step4： 分别按照式(1 ‑5)、 式(1‑6)对各模式的均值与方差进行 更新； μi(x,y,t)＝(1 ‑p)μi‑1(x,y,t)+pI(x,y,t)(1 ‑5) σi(x,y,t)2＝(1‑p)σi‑1(x,y,t)2+p(I(x,y,t) ‑μi(x,y,t))2 (1‑6) 其中， ρ 为均值和方差的学习率， 反应的是高斯分布参数的收敛速度， 可由α 计算得到 式 (1‑7)： Step5： 若新像素点不满足任何高斯模型的匹配条件， 则替换权重最小 的高斯模型， 即 当前像素值 为该模式的均值， 权值 为较小值， 标准差为初始较大值； Step6： 根据ωi(x,y,t)/σi(x,y,t)降序排列各模式的顺序， 将权值大标准差小的模型 排在前列； Step7： 最后取前N个模型作为视频建模后背景进行组合， 其中参数T为背景所占的比 例， ωk为第k个高斯分布的权值大小， 参数N的定义满足式(1 ‑8)； 4.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法， 其特 征在于， 步骤S2 ‑2所述的基于注意力机制的3D  CNN卷积神经网络； 具体为： 将 3D CNN与双通 道CBAM注意力机制模块融合， 双通道注 意力机制模块包括通道注 意力机制和空间注意力机 制。 5.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法， 其特 征在于， 步骤S2 ‑3所述的循环生 成对抗网络具体为： 构建两个生 成对抗网络， 一个生成对抗 网络用于实现含阴影的路面在阴影掩膜的指导下至消除阴影路面的转换， 另一个生成对抗 网络用于无阴影的路面在同一阴影掩膜的指导下至含阴影路面图像的重构， 生成路面阴影 检测与消除模型， 最终 实现对含阴影路面图像的阴影消除。 6.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法， 其特 征在于， 步骤S2 ‑4所述的多模块卷积神经网络具体为： 路面状态数据集用于训练基于残差 结构的3D  CNN卷积神经网络， 环境参数用于训练全连接神经网络， 最后由全连接层将基于 残差结构的3D  CNN和全连接神经网络进行连接， 得到最终的路面状态识别 结果， 其中基于 残差结构的3D  CNN具体为： 以前馈神经网络为基础， 增加一个跳跃式的连接以此来绕过原权　利　要　求　书 2/3 页 3 CN 114332722 A 3