(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210250535.9 (22)申请日 2022.03.15 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 于元隆　林心代　李琦　林郁昊　 刘文犀　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 丘鸿超　蔡学俊 (51)Int.Cl. G06V 20/52(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/84(2022.01) (54)发明名称 融合注意力机制的人群运动流 量分析方法 (57)摘要 本发明提出一种融合注意力机制的人群运 动流量分析方法， 包括： 将人群轨迹数据集中的 图像和轨迹数据进行数据预处理， 得到局部图像 块与其对应的稠密光流图、 密度分布图、 运动速 度图和瞬时运动流量图， 并将数据集划分为训练 集与测试集； 以及， 设计融合人群密度分布特征 和运动特征的注意力机制模块； 设计融合注意力 机制的人群运动流量分析网络， 使用所设计的网 络训练融合注意力机制的人群运动流量分析模 型； 将图像输入到训练好的融合注 意力机制的人 群运动流量 分析模型中， 输出对应的人群瞬时运 动流量估计图， 最后以人群瞬时运动流量估计图 在划定框上的投影值作为此时刻区域内经过的 人数。 权利要求书3页 说明书8页 附图2页 CN 114639070 A 2022.06.17 CN 114639070 A 1.一种融合注意力机制的人群运动流 量分析方法， 其特 征在于， 包括以下步骤： 步骤S1： 将人群轨迹数据集中的图像和轨迹数据进行数据预处理， 得到局部图像块与 其对应的稠密光流图、 密度分布图、 运动速度图和瞬时运动流量图， 并将数据集划分为训练 集与测试集； 步骤S2： 构建融合人群密度分布特 征和运动特 征的注意力机制模块； 步骤S3： 基于步骤S2获得的所述融合人群密度分布特征和运动特征的注意力机制模 块， 构建融合注意力机制的人群运动流量分析网络， 并利用步骤S1获得的训练集训练融合 注意力机制的人群运动流 量分析模型； 步骤S4： 将图像输入到训练好的融合注意力机制的人群运动流量分析模型中， 输出对 应的人群瞬时运动流量估计图， 最后以人群瞬时运动流量估计图在划定框上的投影值作为 此时刻区域内经 过的人数。 2.根据权利要求1所述的融合注意力 机制的人群运动 流量分析方法， 其特征在于： 步骤 S1具体包括以下步骤： 步骤S11： 对于人群轨迹数据集中的图像框定重点关注区域， 即图像 中行人可达的任意 位置； 步骤S12： 根据框 定区域对每帧图像进行裁 剪， 得到每帧图像的局部图像块； 步骤S13： 根据步骤S12中得到的局部图像块， 计算相邻两帧局部图像块的稠密光 流图； 步骤S14： 对于无人机人群轨迹数据集中的轨迹数据， 首先根据轨迹生成原图每一帧的 行人位置 分布图； 对于行人运动速度图则由相邻帧之间的轨迹相减得到， 分别 在x轴方向和 y轴方向单独计算； 在原图相同位置裁剪行人位置 分布图， 得到与局部图像块相同大小的人 群密度分布图； 对行人运动速度图进 行同样的裁剪， 得到局部人群运动速度图； 人群瞬时运 动流量图由人群密度分布图和人群运动速度图直接相乘得到； 步骤S15： 将步骤S13和步骤S14中得到的局部图像块与 其对应的稠密光流图、 密度分布 图和运动速度图和瞬时运动流 量图， 按给定比例划分为训练集与测试集。 3.根据权利要求2所述的融合注意力 机制的人群运动 流量分析方法， 其特征在于： 在步 骤S1中为了得到某 时刻区域内经过的真实人数， 将封闭区域拆分为多条线段的组合； 按照 顺时针方向， 定义各线 段的向量方向， 对各线段进 行计算： 利用人群轨迹数据集中的轨迹数 据， 得到相 邻帧之间的轨迹形成的向量， 判断轨迹向量与线段向量是否存在交点， 以及两个 向量之间的夹角度数， 从而判断某时刻的轨迹是否越线、 是从何方向越线； 某时刻区域内经 过的真实人 数， 即为各线段向量越线人 数的累加。 4.根据权利要求2所述的融合注意力 机制的人群运动 流量分析方法， 其特征在于： 步骤 S2具体包括以下步骤： 步骤S21： 将来自于注意力机制模块前序模块的特征作为注意力机制模块的输入， 即： 将维度为C ×h×w的人群密度分布特征XD和运动特征XV分别输入 到两个1×1的卷积层中， 具 体的表达式为： XD′＝w1(XD)+b1 XV′＝w2(XV)+b2 其中， w1、 b1是对应提取人群密度 分布特征的1 ×1卷积层的权重和偏置； w2、 b2是对应提 取人群运动特征的1 ×1卷积层的权重和偏置， XD'和XV'分别代表人群密度分布特征和运动权　利　要　求　书 1/3 页 2 CN 114639070 A 2特征； 然后调整人群密度分布特征XD'和运动特征XV'的维度； XD'与XV'的原维度都为C ×h×w， 调整后的维度为heads ×c×h×w， 其中C＝heads ×c； 步骤S22： 将步骤S21中得到的维度为heads ×c×h×w的人群密度分布特征XD'， 沿通道 分割成heads个组， 分别为Xd1,Xd2,…,Xdheads， 每组特征的维度大小均为c ×h×w； 分组后的 特征分别输入到heads个深度卷积层中， 每层的卷积核大小为ωi×ωi,i＝{1,…,heads}， 从而得 到heads个密度输出特征， 分别为XD1,XD2,…,XDheads； 将heads个密度输出特征拼接在一起， 拼接后的注意力图E的维度为heads ×c×h×w； 注意力图E的计算公式为： XD1＝w1(Xd1)+b1 XD2＝w2(Xd2)+b2 …… XDheads＝wheads(Xdheads)+bheads E＝Concat(XD1,XD2,…,XDheads) 其中， XDi表示经过第i个深度卷积层的输出特征， wi,bi是对应第i个深度卷积层的权重 和偏置， Co ncat(·)表示特征在新的维度上进行拼接； 步骤S23： 将步骤S21中得到的人群运动特征XV'与步骤S22中得到的注意力图E相乘， 并 通过残差结构增强速度特 征， 计算公式为： 其中，⊙表示矩阵逐 元素乘法， 表示增强后的速度特 征； 最后， 将维度为heads ×c×h×w的增强速度特征 的大小调整为C ×h×w， 其中C＝ heads×c。 5.根据权利要求4所述的融合注意力 机制的人群运动 流量分析方法， 其特征在于： 步骤 S3具体包括以下步骤： 步骤S31： 以FlowNet光流网络为基础， 分别构建网络结构相同的密度分支和运动速度 分支， 并引入光流分支， 经过相同的前三层编 码器之后， 与运动速度分支的第三层特征相拼 接； 将所述融合人群密度分布特征和运动特征的注意力机制模块插入到网络第三层编 码器 之后， 融合人群密度分布特征和运动特征， 即： 网络的输入为两张相 邻帧的局部图像块It‑1, It以及对应的稠密光流图Ot， Ot对应的是图像It‑1与It之间的变化； 网络的输出为三张图像： 人群密度分布估计图 人群运动速度估计图 和人群瞬时运动流量估计图 其中 ⊙表示矩阵逐 元素乘法； 步骤S32： 记步骤S31中的网络为N， 为了进一步加强模型训练， 增加逆时序网络M， M的网 络结构与N一致， 并且权重共享； 逆时序 网络M的输入改为局部图像块It+1,It和对应的稠密 光流图Ot'， Ot'对应的是图像It+1与It之间的变化； 逆时序网络M的输出为逆时序人群密度分 布估计图 逆时序人群运动速度估计图 和逆时序人群瞬时运动流量估计图 其中 ⊙表示矩阵逐 元素乘法； 步骤S33： 将步骤S1获得的训练集中的某个批次的图像和对应的稠密光流图输入到步 骤S31和S 32中的网络中， 同时进 行训练， 预测得到人群密度分布估计图、 人群运动速度估计权　利　要　求　书 2/3 页 3 CN 114639070 A 3