(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111544904.7 (22)申请日 2021.12.16 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 姚乐　葛志强　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 贾玉霞 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于动态特征提取与局部加权深度学习的 软测量建模方法 (57)摘要 本发明公开了一种基于动态特征提取与局 部加权深度学习的软测量建模 方法， 该方法首先 基于具有注意力机制的长短时记忆编码解码器 构建深度动态特征提取网络， 将时间序列 样本映 射为一组深层动态特征， 然后将其与原始输入特 征合并， 构建局部加权自编码回归网络， 对工业 过程关键质量指标进行软测量预报 。 相比目前的 其它方法， 本发 明可以有效提取工业数据中蕴含 的非线性动态特征， 大大提升工业过程软测量模 型的预报性能， 减小预报误差， 更加精准地反映 工业生产状况。 权利要求书3页 说明书8页 附图5页 CN 114239397 A 2022.03.25 CN 114239397 A 1.一种基于动态特征提取与局部加权深度学习的软测量建模方法， 其特征在于， 包括 以下步骤： (1)利用工业控制系统收集建模用的样本集， 包含有标签样本， 和 无标签样本 其中n1＝1,...,Nl， n2＝1,...,Nu， l代表有标签数据集， Nl为有标签 样本个数， u代表无标签数据集， Nu为无标签样本个数， τ为变量维度， R为实数集， R1×τ表示X 满足1×τ 的二维分布； (2)将步骤(1)收集的样本集序列化 为训练集 其中T为序列长度； (3)搭建动态特征提取网络， 该网络包括无监督动态特征提取网络和基于动态特征矩 阵的多层感知器回归网络， 所述无监督动态特征提取网络由带有注 意力机制的LSTM编码解 码器构成； (4)基于训练集训练动态特征提取网络， 获得动态特征Vi,i＝1,...,Nl+Nu， 并将其与原 始输入特 征合并为X'i,i＝1,...,Nl+Nu； (5)将在线获取的待预测样本输入变量序列化为 并传输至动态特征提 取网络以获取动态特 征向量Vtn， 并将其与原 始输入特 征合并为Xt'n； (6)计算Xt'n与X'i中每个特征样本的欧氏距离， 并转 化为(0,1)范围的权 重值； (7)基于权重值和X'i,i＝1,...,Nl+Nu构建局部加权自编码回归网络； (8)根据欧式距离从X'i中选择NL个有标签样本和NU个无标签样本， 作为训练集， 训练局 部加权自编码回归网络， 并将Xt'n输入训练后的局部加权自编码回归网络， 获得输出预测 值 2.根据权利要求1所述基于动态特征提取与局部加权深度学习的软测量建模方法， 其 特征在于， 所述步骤(2)具体为： 对步骤(1)收集的有 标签样本和无标签样 本进行序列化； 假 设长度为T的窗口从第T个样 本开始， 沿时间轴划过原始数据集， 将 每个时间窗内的T个样本 形成序列化样本， 由此可得序列化的样本集 ν＝T,T+1,...,N； 当ν 时刻包含输出数据Yν， 则将Yν并入该序列化样本； 再将序列化的样 本集按照有 无输出Yν划分 为有标签集 和无标签集 其中t＝1,. ..,T。 3.根据权利要求1所述基于动态特征提取与局部加权深度学习的软测量建模方法， 其 特征在于， 所述 步骤(3)具体为： 无 监 督 动 态 特 征 提 取 网 络 中 ，L S T M 编 码 器 将 序 列 样 本 的 输 入 部 分 映射至隐层神经元的状态 进而利用注 意力机制将T个时刻的隐层神经元状态以加权求和的形式集成为隐层动态特征矩阵 再通过LSTM解码器将动态特征矩阵V映射至与输入节点对称的输出节点， 其 输出状态 被称为输入序列的重构 利用有标签部分的动态特征矩阵 Vli,i＝1,...,Nl与输出标签 构造基于动态特征矩阵的多层感知器回归网络， 获得输出的 预测值 基于无监督动态特征提取网络和多层感知器回归网络， 定义动态特征提取网络权　利　要　求　书 1/3 页 2 CN 114239397 A 2在训练时需要优化的损失函数： 其中 和 是 和 的重构结果， Φ是动态特征提取网络的参数， λ1, λ2, λ3, λ4均 为训练模型时的平衡参数； 在训练动态特征提取网络时， 采用Adam优化器对损失函数进行 优化， 设定模型训练学习率ρ1， 训练批次数据大小Bs， 训练周期数 ep1； 所述输入部分X包含有标签的输入 和无标签的输入 m代表隐层神 经元的个数； 其中， 利用注意力机制形成隐层动态特 征矩阵V的步骤如下： (a)利用一个多层感知器将LSTM隐层状态ht映射至向量κt： κt＝tanh(ht·Wα+bα)       (2) 其中， tanh( ·)表示激活函数； (b)计算权 重向量αt,t＝1,...,T： 其中κα， Wα和bα均为动态特 征提取网络训练时需要求 解的参数， 代表哈达玛积。 (c)利用权 重向量将LSTM隐层状态集成为动态特 征矩阵： 。 4.根据权利要求1所述基于动态特征提取与局部加权深度学习的软测量建模方法， 其 特征在于， 所述步骤(4)具体为： 将动态特征提取网络训练完成后获得的动态特征 与原始特征的输入进行合并： X'i＝[Xi,Vi],i＝1,...,Nl+Nu      (5) 。 5.根据权利要求1所述基于动态特征提取与局部加权深度学习的软测量建模方法， 其 特征在于， 所述步骤(5)具体为： 将在线获取的待预测样本输入变量序列化为 然后将Xtn传送至训练后的动 态特征提取 网络， 获得相应的动 态特征向量Vtn， 并与其输 入特征合并： Xt'n＝[Xtn,Vtn]。       (6) 。 6.根据权利要求1所述基于动态特征提取与局部加权深度学习的软测量建模方法， 其 特征在于， 所述 步骤(6)具体为：权　利　要　求　书 2/3 页 3 CN 114239397 A 3