(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111539166.7 (22)申请日 2021.12.15 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 王则昊　樊谨　俞晓锋　汪炜杰　 孙丹枫　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 朱月芬 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) (54)发明名称 基于多元时序数据分析的高精度长期时间 序列预测方法 (57)摘要 本发明公开了一种基于多元时序数据分析 的高精度长期时间序列预测方法， 使用离散网络 用于分层平行提取多元时间序列的全局特征和 局部特征， 在提高多元时间序列预测精度的同时 降低了计算复杂 度、 减少了模型规模并且增加了 模型的预测长度。 本发明采用分层 平行提取多元 时间序列的全局特征和局部特征机制， 提升了预 测精度， 降低了模型的内存使用量， 利用局部特 征提高对多元时间序列的局部细微波动的拟合 能力， 并且增加了模型的预测长度， 大大提升了 模型在多元时间序列预测上的效果。 权利要求书3页 说明书7页 附图4页 CN 114239718 A 2022.03.25 CN 114239718 A 1.基于多元时序数据分析的高精度长期时间序列预测方法， 其特 征在于， 步骤如下： 步骤1： 数据预处 理， 获得训练数据集和验证数据集； 步骤2： 借助于步骤1得到的训练数据集， 每次随机选取32组训练数据， 输入到离散框架 模型中， 每组数据中的历史序列和起始序列分别输入到离散框架模型中的真实编 码器和预 测编码器中， 两个编码器通过离 散网络对输入序列提取全局特 征和局部特征； 步骤3： 将真实编码器输出的全局特征和局部特征进行维度变换， 将变换后的特征与预 测编码器输出的特 征进行拼接， 作为 最终的全局特 征和局部特征； 步骤4： 将最终的全局特征和局部特征输入至解码器中， 通过离散网络对步骤3最终得 到的全局特 征与各层局部特 征进行重构， 从而得到最终的生成预测序列； 步骤5： 计算步骤4得到最终的生成预测序列与预测序列之间的均方误差MSE和平均绝 对误差MAE， 然后通过Adam优化器进行反向传播， 更新网络参数； 最终得到训练好的离散框 架模型； 步骤6： 通过验证数据集 集对离散框架模型进行测试； 将步骤1得到的验证数据集输入至训练好的离散框架模型中， 最终得到基于验证数据 集生成的预测序列； 步骤7： 计算基于验证数据集生成的预测序列与真实预测序列之间的均方误差MSE， 求 得所有组数据的均方误差 MSE后求均值， 得到基于验证数据集的MSE误差； 步骤8： 重复步骤2至步骤7， 直至步骤7得到的均方误差MSE不再减小， 说明模型表现无 法再变好， 则网络参数 更新完毕， 模型 结束训练； 步骤9： 将预测任务所给的输入序列输入到步骤8最终得到的训练好的模型中， 进行序 列预测， 输出最终得到的预测序列， 完成预测。 2.根据权利要求1所述的基于多元时序数据分析的高精度长期时间序列预测方法， 其 特征在于， 步骤1具体方法如下： 选取合适的公共时间序列数据集， 对其进行分组与分割以适应模型对数据格式的要 求； 首先根据需求设定每组数据中的历史序列长度、 预测序列长度和起始序列长度， 这三个 长度分别对应每组数据中的三个部 分： 历史序列、 预测序列和起始序列； 采用滑窗机制进 行 分组， 窗口长度为历史序列长度与预测序列长度之和， 每次窗口移动一位， 即相 邻两组数据 之间只有一位上的不同； 在完成数据分组之后， 截 取70％组数据作为训练数据集， 30％组数 据作为验证数据集。 3.根据权利要求2所述的基于多元时序数据分析的高精度长期时间序列预测方法， 其 特征在于， 在长度上， 起始序列长度小于等于历史序列长度， 在数值上， 起始序列与历史序 列的后部分相同； 历史序列与预测序列在位置上是前后相 接的， 每组数据的长度为历史序 列长度与预测序列长度之和。 4.根据权利要求1所述的基于多元时序数据分析的高精度长期时间序列预测方法， 其 特征在于， 步骤2所述的离散框架Sepformer模型由真实编码器True  Encoder、 预测编码器 Pred Encoder和一个解码器Decoder构成； 真实编码器需要输入每组数据中的历史序列， 从 中提取序列的历史特征； 预测编码器需要输入每组数据中的起始序列， 使用起始序列来预 测后边预测序列长度的序列； 每组数据中的预测序列作为正确的结果与模 型最终输出的生 成预测序列进行比较， 计算 二者之间的误差 。权　利　要　求　书 1/3 页 2 CN 114239718 A 25.根据权利要求4所述的基于多元时序数据分析的高精度长期时间序列预测方法， 其 特征在于， 真实编码器True  Encoder和预测编码器Pred  Encoder的核心模块都是离散网 络； 离散网络采用波形提取模块和离散注意力 机制模块层层提取全局特征和局部特征； 波 形提取模块会对输入序列进行分解， 通过滑 窗机制遍历整个输入序列求得窗口内均值， 得 到输入序列的全局趋势， 使用输入序列减去得到的全局趋势， 得到输入序列的局部波动； 波 形提取模块(WE)整体公式如下 所示： 其中 和 分别表示波形的全局趋势和局部波动， 用于作为输入， 通过离散注意力 模块提取全局特征和局 部特征； 为第l层WE的输入序列； 为连接符号， 用于连接不同 的分块； AvgPool函数为均值池化函数， 其设定一个滑动窗口， 每次滑动一个单元， 然后对窗 口内的所有元素求均值， 将所得数值赋值给当前单元； 将进行分块， 然后输入AvgPool中， 表示第i个分块； 离散注意力 机制模块用于进行特征提取； 离散注意力 机制模块先将输入序列分割成长 度相同的块， 然后通过共享注 意力机制模块提取特征， 接着通过前馈网络进行维度变换， 按 比例缩短每 个块的长度， 最终拼接后输出； 离 散注意力机制的计算公式如下 所示： 其中， 为第l层离散注意力模块(SA)的输入序列； B表示输入序列得到的分块 (Block)； 分别表示Q、 K、 V在第l层第i个分块上的可学习权重矩阵； Vil和 分别表示第l层Q、 K、 V和B的第i个分块； Q、 K和V分别表示分块经过线性变 换后得到的问题矩阵(query)、 键值矩阵(key)和数值矩阵(value)； 其中注意力机制定义 为： 其中dmodel表示特征维度； 离散网络整体函数表达式如下 所示：权　利　要　求　书 2/3 页 3 CN 114239718 A 3