(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111396853.8 (22)申请日 2021.11.23 (71)申请人 大连海事大学 地址 116026 辽宁省大连市高新园区凌海 路1号 (72)发明人 张益嘉　李兴旺　李晓博　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 代理人 陈丽　李洪福 (51)Int.Cl. G16H 10/60(2018.01) G06Q 10/04(2012.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06F 40/30(2020.01) (54)发明名称 基于联合学习和去噪机制的ICD代码预测方 法及系统 (57)摘要 本发明公开了一种基于联合学习和去噪机 制的ICD代码预测方法及系统， 涉及自然语言处 理技术领域， 使用clinicalBERT预训练， 设计了 基于提示的微调方法， 提升冗长句子的表征效 果， 加快预训练的速度； 使用双路注意力机制处 理电子病历和医疗代码的文档， 同时兼顾两部分 数据， 有效处理不平衡分类问题； 将不同的注意 力矩阵馈送到联合学习模块， 引入两个权重系 数， 来自适应的确定这两个系数， 通过这两个系 数构建特定于ICD的注意力矩阵； 设计了新型的 去噪损失函数， 引入损失阈值， 计算样本损失， 并 进行排序， 从超过阈值的样本开始截断， 丢弃迭 代过程中超 过动态阈值的样本， 最终识别和清洗 嘈杂的样本， 提高分类 器的训练质量。 权利要求书3页 说明书10页 附图3页 CN 114023412 A 2022.02.08 CN 114023412 A 1.一种基于联合学习和去噪机制的ICD代码预测方法， 其特 征在于， 包括： 获取电子病历数据集和ICD代码描述文件， 并对所述电子病历数据集和ICD代码描述文 件进行预处理； 建立基于深度学习网络的ICD代码预测模型， 并利用预处理后的所述电子病历数据集 和所述ICD代码描述文件对所述ICD代码预测模型进行训练； 所述ICD代码预测模型以 电子 病历和ICD代码描述文件作为输入， 使用基于双路注 意力机制循环神经网络捕捉ICD代码描 述文件和电子病历文本中的数据和特征的内部相关性， 得到标签注意力矩阵和交叉注意力 矩阵； 将标签注意力矩阵和交叉注意力矩阵馈送到联合学习模型中， 得到标签注意力矩阵 的权重和交叉注意力矩阵的权重； 基于标签注意力矩阵的权重和交叉注意力矩阵的权重对 所述标签注 意力矩阵和所述交叉注 意力矩阵进 行重构， 得到ICD代码的注意力矩阵； 对所述 ICD代码的注意力矩阵进 行去噪， 再将去噪之后的结果输入到全连接神经网络中， 最 终输出 电子病历的ICD代码； 获取待预测电子病历， 将所述待预测电子病历输入训练好的所述ICD代码预测模型中， 得到与所述待预测电子病例匹配的ICD代码。 2.根据权利要求1所述的一种基于联合学习和去噪机制的ICD代码预测方法， 其特征在 于， 所述对所述电子病历数据集和ICD代码描述文件进行 预处理， 包括： 将获取的 电子病历数据集划分为训练集、 验证集和测试集， 测试集中的数据不存在于 训练集和验证集； 将ICD代码描述按照类别分为19类； 将电子病历和ICD代码描述文件的原始语料转化为深度学习网络能够接受的输入， 删 除电子病历中的停用词， 构建电子病历和ICD代码描述的词库文件。 3.根据权利要求2所述的一种基于联合学习和去噪机制的ICD代码预测方法， 其特征在 于， 在使用基于双路注意力机制循环神经网络捕捉ICD代码描述文件和电子病历文本中的 数据和特 征的内部相关性之前， 还 包括： 将预处理之后的电子病历输入到clinical  BERT预训练模型， 插入分隔符， 学习连续的 提示， 构造基于提示的微调方法， 以提取整个电子病历文本的特征， 输出电子病历词向量文 件， 固定模 型初始参数； 采用词嵌入方式处理预 处理之后的ICD代码描述文件， 输出ICD代码 词向量文件。 4.根据权利要求3所述的一种基于联合学习和去噪机制的ICD代码预测方法， 其特征在 于， 得到电子病历词向量文件和ICD代码词向量文件之后， 在使用基于双路注 意力机制循环 神经网络捕捉ICD代码描述文件和电子病历文本中的数据和特征 的内部相关性之前， 还包 括： 将所述电子病历词向量文件和所述ICD代码词向量文件输入残差神经网络中提取特 征； 将提取出的特征输入图长短期记 忆网络， 学习电子病历的上 下文信息， 输出 特征向量。 5.根据权利要求1所述的一种基于联合学习和去噪机制的ICD代码预测方法， 其特征在 于， 对所述ICD代码的注意力矩阵进行去噪， 包括： 设置截断损失函数， 将训练样本的损失进 行排序， 确定损失 高于阈值的样本， 将该部 分样本归类为噪声， 并在损失函数的指导下完成 动态丢弃， 实现模型的去噪。 6.根据权利要求5所述的一种基于联合学习和去噪机制的ICD代码预测方法， 其特征在权　利　要　求　书 1/3 页 2 CN 114023412 A 2于， 所述截断损失函数如下： 其中， y代 表真实值， 代表预测值， ε代 表阈值损失， BCloss代表二元交叉熵损失函数。 7.一种基于联合学习和去噪机制的ICD代码预测系统， 其特 征在于， 包括： 数据预处理模块， 用于获取电子病历数据集和ICD代码描述文件， 并对所述电子病历数 据集和ICD代码描述文件进行 预处理； 模型建立及训练模块， 用于建立基于深度学习网络的ICD代码预测模型， 用于利用预处 理后的所述电子病历数据集和ICD代码描述文件 对所述ICD代码预测模型进行训练； 模型预测模块， 用于利用训练好的所述ICD代码预测模型进行待预测电子病历的ICD代 码预测， 得到与待预测电子病例匹配的ICD代码； 其中， 所述模型建立及训练模块具体包括： 双路注意力机制子模块， 用于使用基于双路注意力机制循环神经网络捕捉ICD代码描 述文件和电子病历文本中的数据和特征的内部相关性， 得到标签注意力矩阵和交叉注意力 矩阵； 联合学习子模块， 用于将所述双路注意力 机制子模块得到的标签注意力矩阵和交叉注 意力矩阵馈送到联合学习模型中， 得到标签注意力矩阵的权重和交叉注意力矩阵的权重； 基于标签注意力矩阵的权重和交叉注意力矩阵的权重对所述标签注意力矩阵和交叉注意 力矩阵进行重构， 得到ICD代码的注意力矩阵； 去噪子模块， 用于对所述联合学习子模块得到的ICD代码的注意力矩阵进行去噪； 预测子模块， 用于将所述去噪子模块去噪之后的结果输入到全连接神经网络中， 最终 输出电子病历的ICD代码。 8.根据权利要求7所述的一种基于联合学习和去噪机制的ICD代码预测系统， 其特征在 于， 数据预处 理模块， 包括： 数据集划分子模块， 用于将 获取的电子病历数据集划分为训练集、 验证集和测试集， 测 试集中的数据不存在于训练集和验证集； 将ICD代码描述按照类别分为19类； 数据处理子模块， 用于将电子病历和ICD代码描述文件的原始语料转化为深度学习网 络能够接受的输入， 删除电子病历中的停用词， 构建模型 特定于数据集的词库文件。 9.根据权利要求8所述的一种基于联合学习和去噪机制的ICD代码预测系统， 其特征在 于， 模型建立及训练模块还 包括： 预训练子模块， 用于将预处理之后的电子病历输入到clinical  BERT预训练模型， 插入 分隔符， 学习 连续的提示， 构造基于提示的微调 方法， 以提取整个电子病历文本的特征， 输 出电子病历词向量文件， 固定模型初始 参数； 采用词嵌入方式处理预 处理之后的ICD代码描 述文件， 输出ICD代码词向量文件； 数据集成子模块， 用于将所述电子病历词向量文件和所述ICD代码词向量文件输入残 差神经网络中提取特征； 再将模块提取出 的特征输入图长短期记忆网络， 学习电子病历的 上下文信息， 输出 特征向量。 10.一种计算机可读存储介质， 所述计算机可读存储介质内存储有计算机指令集， 计算权　利　要　求　书 2/3 页 3 CN 114023412 A 3