(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210924149.3 (22)申请日 2022.08.03 (65)同一申请的已公布的文献号 申请公布号 CN 115017337 A (43)申请公布日 2022.09.06 (73)专利权人 中国电子科技 集团公司第五十四 研究所 地址 050081 河北省石家庄市桥西区中山 西路589号航天信息应用技术重点实 验室 (72)发明人 孟楠　刘敬一　姚晨　陈金勇　 朱进　郭琦　 (74)专利代理 机构 河北东尚律师事务所 13124 专利代理师 王文庆　曲佳颖 (51)Int.Cl. G06F 16/36(2019.01)G06F 40/194(2020.01) G06F 40/205(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114492417 A,202 2.05.13 CN 114724189 A,202 2.07.08 CN 114373554 A,202 2.04.19 CN 112884021 A,2021.0 6.01 WO 20181876 08 A1,2018.10.1 1 Bolei Zhou et al. .Interpreti ng Deep Visual Representati ons via Netw ork Dissection. 《IEEE TRANSACTIONS ON PAT TERN ANALYSIS AND MAC HINE INTELLIGENCE》 .2019, 第41卷(第9期),第2131-2145页. 审查员 石佼 (54)发明名称 一种面向深度学习模型的隐语义 解释方法 (57)摘要 本发明属于深度学习可解释性领域， 特别涉 及一种面向深度学习模型的隐语义解释方法。 本 发明通过解析描述目标任务领域中的多源数据， 抽取其中蕴含的人类认知语义， 实现多源数据的 语义构建。 在领域相关知识的基础上， 进行典型 任务数据的语义标签构建， 并在此基础上对深度 学习模型内部神经元进行语义解释， 即模型的隐 语义解释， 完成 “黑盒”模型的理解， 提高模型结 果的可信度， 同时提升人对可解释结果的直观认 知。 权利要求书1页 说明书4页 附图1页 CN 115017337 B 2022.11.01 CN 115017337 B 1.一种面向深度学习模型的隐语义 解释方法， 其特 征在于， 包 含如下步骤： 步骤1， 在领域相关知识的基础上， 抽取多源任务数据集中蕴含的人类认知语义， 然后 对多源任务数据集中每个数据的要素进行像素级语义标签构建， 得到像素级语义解释数据 集合； 其中多源 任务数据集包括图像、 文本和点 位数据； 步骤2， 提取待解释深度学习模型某一 隐藏层的尺寸及像素级语义解释数据集合的尺 寸， 并使隐藏层尺寸与像素级语义解释数据集合尺寸保持一致， 然后计算单个隐藏层和像 素级语义 解释数据集 合的契合度， 得到待解释 深度学习模型某一隐藏层潜在的语义表征； 步骤3， 将隐藏层中真正表示语义的神经元分解出来， 得到解耦神经元的编码及对应语 义， 完成深度学习模型的隐语义 解释。 2.根据权利要求1所述的一种面向深度 学习模型的隐语义解释方法， 其特征在于， 步骤 1中抽取多源 任务数据集中蕴含的人类认知语义， 具体为： 将多源任务数据以要素语义为核心， 对数据的主体、 任务类型、 部件和时空属性进行语 义认知。 3.根据权利要求1所述的一种面向深度 学习模型的隐语义解释方法， 其特征在于， 步骤 1中， 多源任务数据集包括复杂分析场景中目标识别任务数据、 目标轨迹预测任务数据和文 本解析任务数据。 4.根据权利要求1所述的一种面向深度 学习模型的隐语义解释方法， 其特征在于， 步骤 2具体包括如下步骤： 步骤201， 将数据输入到待解释深度学习模型， 获取某个隐藏层在所有数据上的隐藏层 特征， 提取隐藏层特征尺寸和像素级语义解释数据集合尺寸， 对隐藏层特征或像素级语义 解释数据集合进 行上采样或下采样， 使隐藏层特征和像素级语义解释数据集合尺寸保持一 致； 步骤202， 利用相似度计算函数计算某个隐藏层在单个数据下的隐藏层特征和像素级 语义解释数据集合的契合度， 选择契合度大于 设定阈值的语义作为单个数据下隐藏层特征 的备选语义， 最终统计所有数据下隐藏层特征对应的备选语义集中出现次数最多的语义， 定义为隐藏层所代 表的语义， 得到待解释 深度学习模型某一隐藏层潜在的语义表征。 5.根据权利要求1所述的一种面向深度 学习模型的隐语义解释方法， 其特征在于， 步骤 3具体包括如下 过程： 利用生成对抗网络将隐藏层二值化表示为空间掩膜， 其中掩膜中值为1的位置所对应 的神经元被激活， 并将空间掩膜与隐藏层点乘， 得到只包含部 分神经元的隐藏层， 定义为与 步骤2得到的隐藏层具有相同语义表征的解耦神经元； 将解耦神经元位置进行向量化编 码， 然后将解耦神经 元位置编码与语义进行映射， 完成解耦神经 元与语义对应关系的构建。权　利　要　求　书 1/1 页 2 CN 115017337 B 2一种面向深度学习模型的隐语 义解释方法 技术领域 [0001]本发明属于深度学习可解释性领域， 特别涉及一种面向深度学习模型的隐语义解 释方法。 背景技术 [0002]随着深度学习模型的发展， 在日常生活的各种任务中扮演着越来越重要的角色， 模型的可解释性成为了决定用户是否能信任模型 的关键因素， 尤其是模型对人类的健康、 财产安全等重要任务给出预测和决策结果时。 如何对深度学习模型进行解释， 成为当前研 究的重点。 [0003]现在关于深度学习可解释性的研究方法大概分为两类主流的研究方法， 第一类是 对模型内部包含的参数、 神经元或卷积核进行可视化， 通过良好的可视化帮助人类理解深 度网络模 型的内部结构； 第二类构建可解释模型进 行深度学习模型的解释， 比如线性模型、 决策树模型通过将深层的神经网络模型迁移到人类可理解的可解释模型中， 从而解构不可 解释的模型。 第一类方法大多是最直观的解释性方法， 但是可视化神经网络得到的结果有 时也会造成人类的难以理解， 并且缺少对这种解释方法的评价标准。 第二类方法并未对模 型内部进 行解释， 而 是建立模型输入输出的关系， 完成模型的理解。 但是现有方法很少从人 类对任务分析任务的认知语义角度出发， 构建模型神经元与人类语义关系的映射， 故而本 发明从语义角度出发， 解决深度神经网络不可解释的问题。 发明内容 [0004]本发明的目的在于提供一种面向深度学习模型的隐语义解释方法， 针对多源数 据， 引入隐语义的概念， 建立网络神经元与人类语义的映射关系， 完成 “黑盒”模型的理解， 提高模型 结果的可信度， 同时提升人对可解释结果的直观 认知。 [0005]本发明采用的技 术方案为： [0006]一种面向深度学习模型的隐语义 解释方法， 包 含如下步骤： [0007]步骤1， 在领域相关知识的基础上， 抽 取目标任务数据集中蕴含的人类认知语义， 然后对多源任务数据集中每个数据的要素进 行像素级语义标签构建， 得到像素级语义解释 数据集合； 其中多源 任务数据集包括图像、 文本和点 位数据； [0008]步骤2， 提取待解释深度学习模型某一隐藏层的尺寸及像素级语义解释数据集合 的尺寸， 并使隐藏层尺寸与像素级语义解释数据集合尺寸保持一致， 然后计算单个隐藏层 和像素级语义解释数据集合的契合度， 得到待解释深度学习模型某一隐藏层潜在的语义表 征； [0009]步骤3， 将隐藏层中真正表示语义的神经元分解出来， 得到解耦神经元的编码及对 应语义， 完成深度学习模型的隐语义 解释。 [0010]进一步的， 步骤1中抽取多源 任务数据集中蕴含的人类认知语义， 具体为： [0011]将多源任务数据以要素语义为核心， 对数据的主体、 任务类型、 部件和时空属性进说　明　书 1/4 页 3 CN 115017337 B 3