(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211138060.0 (22)申请日 2022.09.19 (71)申请人 常州英集动力科技有限公司 地址 213002 江苏省常州市新北区华 山路8 号-5号楼 (72)发明人 穆佩红　金鹤峰　赵琼　 (74)专利代理 机构 郑州博派知识产权代理事务 所(特殊普通 合伙) 41137 专利代理师 荣永辉 (51)Int.Cl. G06Q 10/00(2012.01) G06Q 50/06(2012.01) G06F 16/332(2019.01) G06F 16/36(2019.01) G06F 40/295(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 7/00(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于人工智能的供热系统故障辅助决 策方法及系统 (57)摘要 本发明公开了一种基于人工智能的供热系 统故障辅助决策方法， 包括： 通过分别构建供热 故障诊断模 型和供热故障知识图谱， 通过获取供 热系统故障相关数据进行故障诊断和通过输入 故障特征以问答形式进行故障判断后， 获得供热 故障类型、 故障表现、 故障成因分析和故障处理 措施， 向供热系统提供 故障辅助决策； 其中， 依据 供热系统故障诊断不同场景， 分别训练基于监督 学习和基于深度强化学习的供热系统故障诊断 模型； 基于获取的供热系统多元数据， 分别进行 实体识别、 知识抽取和知识融合处理后建立供热 系统故障知识图谱； 将供热系统当前的故障特征 以问答形式输入至所述供热故障知识图谱模型 中进行故障特征匹配查询后， 获得故障判断结 果。 权利要求书4页 说明书10页 附图2页 CN 115511118 A 2022.12.23 CN 115511118 A 1.一种基于人工智能的供热系统故障辅助决策方法， 其特征在于， 所述供热系统故障 辅助决策方法包括： 分别构建供热故障诊断模型和供热故障知识图谱， 通过获取供热系统 故障相关数据进 行故障诊断和通过输入故障特征以问答形式进行故障判断后， 获得供热故 障类型、 故障表现、 故障成因分析和故障处 理措施， 向供 热系统提供故障辅助决策； 所述构建供 热故障诊断模型和进行故障诊断： 依据供热系统故障诊断不同场景， 分别训练基于监督学习和基于深度强化学习的供热 系统故障诊断模型； 将供热系统故障相关数据输入至供热系统故障诊断模型中获得供热系统故障诊断结 果； 所述构建供 热故障知识图谱和进行故障判断： 获取供热系统热源、 热网和热用户的多元 数据； 基于获取的供热系统多元数据， 分别进行实体识别、 知识抽取和知识融合处理后建立 供热系统故障知识图谱； 将供热系统当前的故障特征以问答形式输入至所述供热故障知识图谱模型中进行故 障特征匹配查询后， 获得故障判断结果。 2.根据权利要求1所述的供热系统故障辅助决策方法， 其特征在于， 所述依据 供热系统 故障诊断不同场景， 分别训练基于监督学习和基于深度强化学习的供热系统故障诊断模 型， 包括： 将供热系统故障诊断场景划分为有标签数据达到预设数量的第 一场景、 有标签数据量 未达到预设数量且无 标签数据量达 到预设数量的第二场景； 在第一场景下， 对有标签数据进行预处理和特征提取后， 进行基于监督学习的供热系 统故障诊断模型训练； 在第二场景下， 对有标签数据和无标签数据进行预处理、 标签赋予和特征提取后， 将供 热系统故障诊断问题建模为马尔科夫决策过程， 并进 行基于深度强化学习的供热系统故障 诊断模型训练。 3.根据权利要求2所述的供热系统故障辅助决策方法， 其特征在于， 所述在第一场景 下， 对有标签数据进 行预处理、 特征提取后， 进 行基于监督学习的供热系统故障诊断模型训 练， 包括： 在第一场景下， 对有标签数据进行缺失值填充、 异常值删除、 数据标准化处理后， 采用 特征提取技 术对数据进行 特征提取； 将特征提取后的数据输入至监督学习 模型中进行训练获得供热系统故障诊断模型； 所 述监督学习模型至少包括朴素贝叶斯 算法、 支持向量机算法和决策树 算法。 4.根据权利要求2所述的供热系统故障辅助决策方法， 其特征在于， 所述在第二场景 下， 对有标签数据和无标签数据进行预 处理、 标签赋予和特征提取后， 将供热系统故障诊断 问题建模为马尔科夫决策过程， 并进行基于深度强化学习的供热系统故障诊断模型训练， 包括： 在第二场景下， 对有标签数据和无标签数据进行缺失值填充、 异常值删除和数据标准 化处理； 计算无标签数据 特征和标签数据特征之间的欧式距离， 并根据欧式距离从小到大进行权　利　要　求　书 1/4 页 2 CN 115511118 A 2排序， 筛选出距离最小的前M个无标签数据进行伪标签赋值； 所述伪标签数据是每个无标签 数据对应的距离最小的标签数据的标签； 采用K‑means聚类方法对所有数据信息进行特征聚类分析， 对剩余未赋标签的数据赋 予聚类的伪标签； 根据标签数据和伪标签数据对特征提取模型进行不断训练， 获得最优特征提取模型， 实现特征提取； 将供热系统故障诊断 问题建模为马尔科 夫决策过程； 训练深度Q网络模型： 建立深度Q网络模型中的神经网络结构用于拟合Q值， Q值为评价 每次动作质量的一个数值； 根据 环境中的状态sk决策出动作ai， 然后环境根据动作ai返回对 应故障诊 断类型的数据状态空间中某个状态sk′和奖励值r， 回放记忆单元D将每次迭代得 到的转移样 本(sk,ai,r,sk′)储存到回放记忆单元D中， 作为训练数据， 在训练时随机抽取部 分样本输入到深度Q网络和目标网络， 采用随机梯度下降法来更新权重和Q函数值， 通过与 环境间不断交 互学习以最大化 Q函数值， 获得最优策略以实现故障诊断。 5.根据权利要求2所述的供热系统故障辅助决策方法， 其特征在于， 所述将供热系统故 障诊断问题建模为马尔科 夫决策过程， 包括： 将故障诊断类型映射到动作空间集A＝{a1＝0,a2＝1,...,ai＝n‑1}； n为故障类型 数； 某故障类型的数据状态空间集 sk为当前故障数据状态空间中的某 个状态； 奖励函数 每一次迭代， 根据环境返回的数据状态做出某个动作， 当实际决策出的动作所对应的故障诊断信息与标记故障诊断信息一致时， 设置奖励值r， 否 则奖励值 为0； 所述卷积神经网络在输出层得到故障数据状态下每 类动作Q值， 表示为： Q(s,a； θ )≈ Q(s,a)； 其中， Q(s,a； θ )为卷积神经网络的Q 值； θ 为卷积神经网络的权 重参数； 所述采用随机梯度下降法更新 Q函数值时使用的迭代公式， 表示 为： 其中， Q(st,at； θi)为深度Q网络； 为目标网络； 所述深度Q网络和目标网络结 构参数完全相同； γ为 折扣率； δ 为学习率； 所述采用随机梯度下降法更新权重： 对损 失函数执行梯度下降算法， 通过最小化损 失 函数更新卷积神经网络参数θ， 回放记忆单元D表示为： D＝{e1,e2,...,en}； 与环境交互过程中每个时间节点产生的经 验数据表示 为： et＝(st,at,rt,st+1)。 6.根据权利要求1所述的供热系统故障辅助决策方法， 其特征在于， 所述获取供热系统 热源、 热网和热用户的多元 数据， 包括： 获取供热系统热源、 热网和热用户的基本数据和故障数据； 所述基本数据至少包括热权　利　要　求　书 2/4 页 3 CN 115511118 A 3