(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111387699.8 (22)申请日 2021.11.22 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 杨珉　张谧　游小钰　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 代理人 陆飞　陆尤 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/10(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种提升时间序列预测系统预测时间序列 效果的方法 (57)摘要 本发明属于人工智能时间序列预测技术领 域， 具体为一种提升时间序列预测系统预测时间 序列效果的方法。 本发明基于时间序列预测损失 上的理论分析， 设计新的时间序列预测算法， 该 算法建模历史数据模式与未来数据模式上的差 异， 提出两步走的训练方式， 一方面保证模型对 历史数据的记忆不会 轻易消失， 另一方面保证在 未来数据上有较好的预测效果。 理论分析与实验 验证表明， 在时间序列预测任务中， 本发明预测 方法相比于其他方法， 可以有效缓解由于数据随 时间的变化 即概念漂移而导致的模 型老化问题； 可以进一步提升模型的预测准确率。 本发明能够 广泛应用于各类基于实数值的时间序列预测任 务， 提升任务在未来数据点上的预测准确度。 权利要求书3页 说明书11页 附图2页 CN 114091752 A 2022.02.25 CN 114091752 A 1.一种提升时间序列预测系统预测时间序列效果的方法， 是基于概念漂移建模技术 的； 其中， 所述时间序列预测系统包括： 若干个架构相同的时间序列预测模型， 一个用于时 间序列数据相似度评估的时间序列分类模型， 以及若干条长度相同的时间序列数据； 这里， 所述时间序列数据是一组按照发生时间先后顺序进行排列的数据点序列， 其中每个数据点 表示为一个实数； 该时间序列预测系统预测的基本流程为： 时间序列预测模型以一组长度 固定的时间序列作为输入， 输出接下来一个时间点或几个时间点的数据点预测值； 其中， 作 为输入的固定长度时间序列称为过去 数据； 在接下来一个时间点或几个时间点的真实值称 为未来数据； 时间序列预测系统基于过去 数据输出的接下来一个时间或几个时间点的数据 点称为预测结果； 时间序列预测系统的目标为使得预测结果与未来数据 的差距尽可能地 小； 其中， 所述若干个不同的时间序列 预测模型用于属于不同类的时间序列的概念漂移建 模以及未来数据预测； 所述时间序列分类模型为一个循环神经网络模型， 该循环神经网络 的最后一个时间节点的输出用于计算某条时间序列属于某一个类的概率， 用于对时间序列 预测系统中所有的时间序列进行分类； 所述若干条长度相同的时间序列用于分类， 然后在 同一个类的时间序列数据上使用时间序列预测模型拟合历史数据并建模概念漂移； 利用基 于REINFORCE规则的端到端训练框架学习所有时间序列预测模型和时间序列分类模型； 所述方法具体包括： (1)首先， 作为时间序列模型输入的过去数据与未来数据之间存在差异， 定义这种差异 为概念漂移； 将每条时间序列的过去数据划分为历史数据和新数据； 其中历史数据和新数 据的总长度和过去数据的总长度相同； 并将 每条时间序列数据的过去 数据输入给时间序列 分类模型， 得到该时间序列的类标签； (2)然后， 标签属于同一类的时间序列数据共享同一个时间序列预测模型， 并用该时间 序列预测模型在属于该类的所有历史数据上进 行数据拟合， 并通过拟合误差计算得到各个 中间时间序列预测模型参数； 这里， 拟合 误差也为历史数据损失函数； (3)使用该中间参数对相应类 中的时间序列数据的新数据进行拟合， 计算拟合误差， 将 其记为新数据损失函数； 若拟合 误差较大， 则说明历史数据和新数据之间发生了概念漂移； (4)使用历史数据损失函数和新数据损失函数共同更新相应的时间序列预测模型参 数； (5)最后， 用每条时间序列的历史数据损失函数和新数据损失函数的类概率加权总和 来更新时间序列预测模型； 对时间序列预测模型和分类模型的训练是一个端到端的训练过 程， 即该过程无需分阶段进行； 在所有时间序列预测模型和分类模型都收敛后， 系统中的每 一个条时间序列可使用相应的时间序列预测模型进行 预测。 2.根据权利要求1所述的提升时间序列预测系统预测时间序列效果的方法， 其特征在 于， 鉴于分类模型和预测模 型在训练之后才可以使用， 于是所述方法的具体操作步骤分为： 系统训练步骤和系统测试步骤； 其中， 系统训练步骤为学习时间序列预测系统中所有参数； 系统测试步骤为具体使用时间序列预测系统来输出持续输出 未来数据； (一)系统训练： 步骤一、 划分训练数据集： 将训练集中的时间序列数据沿时间轴按照历史数据和新数 据进行划分；权　利　要　求　书 1/3 页 2 CN 114091752 A 2设时间序列预测系统中共有N条时间序列， 对于任意一条时间序列数据(x1， x2， ...， xt)， 其中， t＞T， 选定参数T与K， 其中， 序列的前T个数据构成的子序列为历史数据， T+1到T+ K个数据构成的子序列为新数据， 记为(xT+1， x2， ...， xT+K)； 选定所有时间序列数据的类别总 数为C； 步骤二、 初始化模型： 在系统训练开始之前， 初始化预测模型与分类模型： (2.1)初始化预测模型： 选定C个预测模型， 每个时间序列预测模型定义为 其中， c∈ {1， ...， C}， φc表示第c个预测模型的待求解参数； 在每个时间点t， 该模型的输入为 输出为 其中， 该输出表示模型基于t个时间点对第t+1时间点数 据的预测； 使用高斯随机值 来初始化φc中的所有 待求解参数； (2.2)初始化分类模型： 选定的时间序列分类模型由两个部分组成： 循环神经网络模型 和单层全连接网络； 其中， 所述循环神经网络模 型， 其计算单元为以Relu函数为激活函数的 多层全连接神经网络； 在每个时间点t， 该循环神经网络的输入层维度为 其输出维 度为向量 该输出向量表示循环神经网络对 于前t个时间点 数据信息的压缩； 所述以 Relu函数为激活函数的单层全连接神经网络， 其输入为循环神经网络在第T个时间点的输 出向量 输出向量维度 该向量的每一维数值表示 当前时间序列属于 该维代 表的类c的概率； 由这两个模块组成的时间分类模型记为gθ， 其中θ为以上两个模块中的所 有待求解参数， 其最终输出记为： gθ(x1： T)； 使用高斯随机值来初始化θ中的所有待求解参 数； 步骤三、 拟合历史数据： (3.1)获取每条时间序列的分类信息： 将训练数据集中的每 条时间序列的历史数据(x1， x2， ...， xT)输入到时间序列分类模型gθ中， 获得分类模型的输出gθ(x1： T)， 并取概率值最大 的维度c作为该时间序列的类别， 即， c＝argmax1， ...， ChC， (3.2)拟合每条时间序列历史数据： 根据(3.1)中得到的每条时间序列类别c， 选择第c 个类别对应的预测模型φc为该条时间序列的预测模型， 将每条时间序列的历史数据(x1， x2， ...， xT)输入到该 预测模型中， 得到预测结果(o1， o2， ...， oT)； 步骤四、 识别是否发生概念漂移， 具体使用新旧模型参数在新数据上的损 失函数差距 来识别是否可能发生了概念漂移： (4.1)获取中间模型参数： 根据步骤三拟合得到的历史数据， 计算所有训练数据集中时 间序列的历史数据拟合 误差， 也称为历史数据损失函数， 记为 其中， yt＝xt+1； 根据拟合损失函数 使用梯度下降方法更新所有的预测模型φc， 记为： 其中， α 为更新 参数时学习率， 为人工提前设定； 定义φ ′c为历史拟合模型； (4.2)基于模型中间参数在新数据上的拟合效果 来识别是否发生了概念漂移： 基于概念漂移 的定义， 概念漂移可以通过模型在新数据上的拟合效果来反映； 如果在权　利　要　求　书 2/3 页 3 CN 114091752 A 3