(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210348731.X (22)申请日 2022.04.01 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 董天阳　周宇浩　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 舒良 (51)Int.Cl. G06V 20/52(2022.01) G06T 7/00(2017.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06V 10/82(2022.01) (54)发明名称 计数图辅助的跨模态人流 监控方法和系统 (57)摘要 计数图辅助 的跨模态人流监控方法， 包括： 步骤1， 生成计数图， 用基于深度强化学习的模型 LibraNet， 以VGG16 卷积神经网络为前端， 以深度 强化学习网络为后端， 输出计数图； 步骤2， 基于 跨模态的网络模型进行人群计数， 设计网络模 型， 以作为三模态的RGB、 热成像 图、 计数图为输 入， 输出密度图， 对密度图里的值进行求和， 获得 作为输入的RGB图像的总人数。 本发明还包括计 数图辅助的跨模态人流监控系统。 本发明提供的 模型能兼顾 光照变化和尺度变化， 生成更精确的 密度图。 权利要求书4页 说明书7页 附图1页 CN 114724081 A 2022.07.08 CN 114724081 A 1.计数图辅助的跨模态人流 监控方法， 包括如下步骤： 步骤1， 生成计数图； 计数图是对密度图一定区域的积分， 能反应出图像的尺度变化； 计数图生成方法采用 基于深度强化学习的模 型LibraNet， 该模型LibraNet以VGG16卷积神经网络为前端， 以深度 强化学习网络为后端， 输出计数图； 具体包括： 11)训练深度强化模型； 选取RGBT ‑CC数据集为训练用的数据 集， 该数据 集分为训练集、 测试集、 验证集， 每个集合均有RGB、 热成像图、 标注数据， 标注数据显示了热成像图中每个 人的头部中心的像素位置； 将训练集的热成像图和标注数据作为训练数据， 将该测试集的 热成像图和标注数据作为测试数据， 以此来训练深度强化模型LibraNet； 以{ ‑10，‑5，‑2，‑ 1， 1， 2， 5， 10， 999}为动作集， 其中999为终止动作， 剩余的动作表示像素区域中计数值的变 化大小， 比如5就是 该计数值加上5， ‑5表示该计数值减去5； 12)生成计数图； 将训练好的LibraNet模型固定， 输入RGBT ‑CC数据集中所有的热成像 图来生成计数图； 计数图中的每 个值能反应对应热成像图像素区域的大致数量信息； 13)计数图优化； 因为生成的计数图的长、 宽只 有原来的 其中n表示作为LibraNet前 端的VGG16的池化层数量， 需要进行上采样来使 大小与原图一致； 采用最近邻插值方式进 行 上采样， 并在每 个像素位置除以22*n， 以使总的计数值 不变并且图像大小与原图一 致； 步骤2， 基于跨模态的网络模型进行 人群计数； 设计跨模态网络模型， 该模型有四个分支， 分为三个输入分支和一个输出分支， 三个输 入分支分别输入作为三个模态的RGB、 热成像图和 计数图； 输出分支为共享分支， 它初始化 为0， 接收并细化三个模态的信息， 它的输出为密度图。 除了共享分支外， 其余分支均由VGG ‑ 19构成。 由于VGG ‑19可分为5层模块， 除了最后一层模块， 每层模块最后都配备一个2 ×2的 池化层， 故三个输入分支均可分为5层模块。 共享分支由去除前两层的VGG ‑19构成， 可分为4 层模块。 设计好模 型之后， 用RGBT ‑CC数据集进 行训练。 训练好模 型之后， 基于该模 型进行人 群计数； 具体包括： 21)生成上下文信息I； 将网络中每个分支每层模块生成的特征图F， 用L级金字塔池化 层来提取上下文信息I； 具体地， 对于第l层(l＝1， 2， ...， L)， 采用一个2l‑1×2l‑1最大池化 层， 以h×w特征图F为输入， 输出一个 特征， 然后用最近邻插值方法上采样到h × w， 形成上 下文特征Fl； 最后， 上 下文信息I可由式(1)计算： 式中 表示特征串联操作， Co nv1×1表示一个1×1卷积层； 22)细化共享分支特征图； RGB分支、 热成像分支、 计数图分支和共享分支的每层模块生 成的特征图通过公 式(1)转化为上下文信息， 并将该上下文信息作为输入， 输出细化的共享 分支的特 征图； 具体公式如下：权　利　要　求　书 1/4 页 2 CN 114724081 A 2式中Ir、 It、 Ic、 Is是RGB分支、 热 成像分支、 计 数图分支、 共 享分支每层模 块生成的特征图 Fr、 Ft、 Fc、 Fs通过公式(1)计算得出的上下文信息， 为细化的共享分支特征图， Ir2s、 It2s、 Ic2s分别是Ir、 It、 Ic对Is的残差信息， ωr2s、 ωt2s、 ωc2s是由1×1卷积层输入对应的上下文信 息Ir2s、 It2s、 Ic2s获得的权 重参数，⊙是元素级乘法运 算； 23)细化RGB分支、 热成像分支和计数图分支的特征图； 将细化的共享分支特征图 通过 公式(1)生成上下文特征 再以 为核心， 对的RGB分支、 热成像分支、 计数图分支 每层模块 生成的特 征图进行细化； 具体公式如下： 式中Is2r、 Is2t、 Is2c分别是细化的共享 分支上下文信息 对RGB分支、 热成像分支、 计数图 分支每层模块的上下文信息Ir、 It、 Ic的残差信息， ωs2r、 ωs2t、 ωs2c是由1×1卷积层输入对 应的上下文信 息Is2r、 Is2t、 Is2c获得的权重参数， Fr、 Ft、 Fc分别是RGB 分支、 热成像分支、 计数 图分支每层模块生成的特征图， 分别是对RGB分支、 热成像分支、 计数图分支 每 层模块生成的特 征图细化后的特 征图； 24)数据预处理； 先计算出RGBT ‑CC数据集中RGB图、 热成像图的均值和方差值， 将其归 一化； 训练时采取随即采样法， 采样25 6×256大小的区块； 25)网络训练； 设置好数据集的路径后， 就可以进行训练了； 训练时仅训练跨模态的部 分， 对计数图生成模块固定； 训练到20周期后， 每过1次训练周期进 行一次验证， 当验证效果 最佳时， 记录该模型参数， 并进行一次测试， 得出测试集的评估结果； 每训练一个周期都会 记录模型参数、 优化器参数、 训练周期； 26)人群计数； 该网络模型训练好后， 就可以进行人群计数了； 人群计数需要用到RGB图 和热成像图， 通过热成像图和LibraNet模型生成计数图； 以RGB图、 热成像图、 计数图为输 入， 输出密度图； 密度图作为一种二 维数组， 能反应计数结果。 将密度图里的值进 行求和， 就 能得到作为输入的RGB图像的总人 数。 2.计数图辅助的跨模态人流监控系统， 其特征在于： 计数图生成模块、 人群计数模块， 其中： 计数图生成模块， 计数图是对密度图一定区域的积分， 能反应出图像的尺度变化。 计数 图生成方法采用基于深度强化学习的模型LibraNet， 该模型LibraNet以VGG16卷积神经网权　利　要　求　书 2/4 页 3 CN 114724081 A 3