(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111664389.6 (22)申请日 2021.12.31 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 杨恺　马慧　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 代理人 宣慧兰 (51)Int.Cl. G06N 3/04(2006.01) G06K 9/62(2022.01) G06F 17/16(2006.01) (54)发明名称 一种基于深度状态空间模型的网络流量预 测方法 (57)摘要 本发明涉及一种基于深度状态空间模型的 网络流量预测方法， 包括： S1、 获取网络流量数 据， 进行归一化处理， 划分为训练数据和测试数 据； S2、 构建基于注意力机制的深度状态空间模 型， 包括空间状态提取器、 外部特征提取器、 卡尔 曼滤波和自回归模块， 其中， 卡尔曼滤波分别采 用线性卡尔曼滤波和扩展卡尔曼滤波， 提取网络 流量数据的高时变动态； S3、 训练数据输入到深 度状态空间模型中， 基于TensorFlow框架， 采用 端到端的方式进行迭代训练， 判断模型是否收 敛， 若是转至S4； S4、 将测试数据输入已训练好的 深度状态空间模 型， 根据评价指标对模型的性能 进行评估。 与现有技术相比， 本发明具有提升流 量预测模型的预测精度， 改善模型的预测性能， 具有可解释性 等优点。 权利要求书3页 说明书8页 附图3页 CN 114372561 A 2022.04.19 CN 114372561 A 1.一种基于深度状态空间模型的网络流 量预测方法， 其特 征在于， 具体包括以下步骤： S1、 获取网络流量数据， 对网络流量数据中的数值型数据进行归一化处理， 并将网络流 量数据划分为训练数据和 测试数据； S2、 构建基于注意力机制的深度状态空间模型， 所述深度状态空间模型包括卡尔曼滤 波， 所述卡尔曼滤波分别采用线性卡尔曼滤波和扩展卡尔曼滤波， 提取网络流量数据的高 时变动态； S3、 训练数据输入到深度状态空间模型中， 基于TensorFlow框架， 采用端到端的方式进 行迭代训练， 判断深度状态空间模型 是否收敛， 若是则转至步骤S4； S4、 将测试数据输入已训练好的深度状态空间模型， 根据预设的评价指标对深度状态 空间模型的性能进行评估。 2.根据权利要求1所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述步骤S1 中采用最大 ‑最小归一化方法对 数值型数据进 行归一化处理， 并对 元数据进 行独热编码， 所述元 数据包括 假期和星期数。 3.根据权利要求1所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述基于注意力机制的深度状态空间模型的公式如下 所示： 其中， 为网络流量的预测值， T为当前时刻， Xt表示历史时刻的流量矩阵， 表示 t时刻维度为de的外部特征向量， h表示预测区间， L表示用于流量预测的近期历史数据的长 度， g0表示深度状态空间模型的公式化表达 。 4.根据权利要求3所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述深度状态空间模型还 包括空间特 征提取器、 外 部特征提取器和自回归 模块。 5.根据权利要求4所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述空间特 征提取器是由卷积神经网络和注意力机制模块组成的， 具体公式如下 所示： Ocnn＝gcnn(X1,X2,...,XT) 其中， dc表示 的维度， gcnn(·)表示“卷积+正则化+激活 函数”的两次组合， 具体采用层标准 化和Relu激活函数。 6.根据权利要求5所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述空间特 征提取器的注意力机制模块的具体公式如下 所示： Q＝Ocnn×WQ K＝Ocnn×WK V＝Ocnn×WV 其中， Q为注意力权重矩阵， K为注意力键矩阵， V为注意力值矩阵， WQ、 WK和WV为相应矩阵 的权重， d表示矩阵的维度， 所述注意力机制模块的输出值如下 所示： 其中， 输出值 的维度为da。权　利　要　求　书 1/3 页 2 CN 114372561 A 27.根据权利要求6所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述基于注意力机制的卡尔曼滤波模块包括2个全连接层， 所述全连接层计算观测值和 观测向量， 具体公式如下 所示： 其中， zt为观测值， lt为观测向量， dk表示zt和lt的维度， 分别表示全连接层的学习参数。 8.根据权利要求1所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述卡尔曼滤波的类型包括线性卡尔曼滤波和扩展卡尔曼滤波， 所述卡尔曼滤波计算 网络流量数据的状态估计的过程包括： S201、 计算当前时刻的初步估计 状态； S202、 对初步估计 状态进行 更新， 得到当前时刻的最优 估计状态； S203、 根据当前时刻的最优 估计状态计算 卡尔曼滤波结构的输出值。 9.根据权利要求8所述的一种基于深度状态空间模型的网络流量预测方法， 其特征在 于， 所述线性 卡尔曼滤波结构计算初步估计 状态的公式如下 所示： Pt|t‑1＝FPt‑1FT+U 其中， F为通过神经网络学习得到的转移矩阵， 表示t‑1时刻的最优状态估计， U 为卡尔曼滤波的系统噪音的协方差矩阵， U＝dia g( λ )， λ表示U的特 征值向量； 线性卡尔曼滤波计算 最优估计状态的公式如下 所示： Kt＝Pt|t‑1HT[HPt|t‑1HT+Rt]‑1 Pt＝(I‑KtH)Pt|t‑1 其中， Kt表示t时刻的卡尔曼增 益， I表示单位矩阵， 测 量矩阵H为单位矩阵， Pt为估计状 态协方差矩阵； 所述扩展卡尔曼 滤波计算初步估计 状态的公式如下 所示： 其中， f(·)是非线性状态方程， Jf(·)是f(·)忽略高阶项的雅可比矩阵； 扩展卡尔曼 滤波计算 最优估计状态的公式如下 所示： 权　利　要　求　书 2/3 页 3 CN 114372561 A 3