(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211043573.3 (22)申请日 2022.08.19 (71)申请人 浙江远图技 术股份有限公司 地址 310030 浙江省杭州市三墩镇西园三 路10号1幢4楼西边 (72)发明人 吴俊宏　 (51)Int.Cl. G16H 40/20(2018.01) G16H 40/67(2018.01) G16H 10/60(2018.01) G06F 16/335(2019.01) G06F 16/9535(2019.01) G06F 16/958(2019.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于BGRU-Attention-CRF的Bio-NER智 慧医疗分诊系统 (57)摘要 本申请公开了一种基于BGRU ‑Attention ‑ CRF的Bio ‑NER智慧医疗分诊系统， 涉及智慧 医疗 技术领域， 包括一种智慧医疗分诊系统和一种基 于BGRU‑Attention ‑CRF算法； 智慧医疗分诊系统 包括用户模块和远程服务模块； 还包括以下步 骤： 步骤2 01： 在云端数据库储存收集过往病人的 主诉信息和电子病历， 进行数据预处理后， 人工 标注医疗命名识别类型作为原始训练集； 步骤 202： 对数据进行预处理， 将原始训练数据按照比 例分为训练集、 验证集、 测试集； 步骤203： 构建 BGRU‑Attention ‑CRF神经网络， 用于命名实体识 别； 步骤204： 将命名实体传入科室匹配模块， 与 过往病人的主诉信息和电子病历中的关键词进 行文本相似度计算， 得到推荐科室。 本申请便于 解决现有智慧医疗分诊系统识别率准确率低等 缺陷， 有效缓解医疗资源不足的情况。 权利要求书2页 说明书9页 附图2页 CN 115458135 A 2022.12.09 CN 115458135 A 1.一种基于BGRU ‑Attention ‑CRF的Bio ‑NER智慧医疗分诊系统， 包括一种智慧医疗分 诊系统和一种基于BGRU ‑Attention‑CRF算法， 智慧医疗分诊系统通过云服 务器建立； 所述智慧医疗分诊系统包括用户模块(1)和远程服务模块(2)， 所述远程服务模块(2) 包括文本预处理模块( 21)， 特征识别模块( 22)， 数据库单元模块( 23)以及科室匹配模块 (24)， 所述基于BGRU ‑Attention‑CRF算法位于特 征识别模块(2 2)中； 还包括以下步骤： 步骤201： 在云端数据库储存收集过往病人的主诉信息和电子病历， 进行数据预处理 后， 人工标注医疗 命名识别类型作为原 始训练集； 步骤202： 对数据进行 预处理， 将原始训练数据按照比例分为训练集、 验证集、 测试集； 步骤203： 构建BGRU ‑Attention ‑CRF神经网络， 用于命名实体识别， 利用测试集和验证 集对神经网络进行训练； 步骤204： 将命名实体传入科室匹配模块(24)， 与过往病人的主诉信息和电子病历中的 关键词进行文本相似度计算， 得到推荐科室。 2.根据权利要求1所述的一种基于BGRU ‑Attention ‑CRF的Bio‑NER智慧医疗分诊系统， 其特征在于： 所述用户模块(1)为ANDROID应用程序。 3.根据权利要求1所述的一种基于BGRU ‑Attention ‑CRF的Bio‑NER智慧医疗分诊系统， 其特征在于： 所述步骤203中， BGRU神经网络结构采用递归神经网络， 属于RNN、 LSTM的变体； BGRU网络是一种基于学习时间序列数据关系的循环结构， 和采用一层 双向GRU网络 。 4.根据权利要求1所述的一种基于BGRU ‑Attention ‑CRF的Bio‑NER智慧医疗分诊系统， 其特征在于： 所述步骤203中， GRU的输入序列为{ xt|x1， x2， ...， xn}， 隐藏层序列中间状态为 最终状态为{ht|h1， h2， ...， hn}； GRU网络重置门401rt、 更新门402zt， 输出序 列的计算式子如下： zt＝σg(Wzxt+Uzht‑1+bz) rt＝σg(Wrxt+Urht‑1+br) 式中， xt为输入序列， rt为重置门、 zt为更新门， ‘⊙’为Hadamard点积， 为t时刻隐藏层 的中间状态， ht为t时刻隐藏层的最终状态， ht‑1为t‑1时刻隐藏层的最终状态， bz， br， bh表示 偏置项， Wz， Wr， Wh， Wo， Uz， Ur， Uh表示可训练矩阵， σg为sigmoid函数。 5.根据权利要求1所述的一种基于BGRU ‑Attention ‑CRF的Bio‑NER智慧医疗分诊系统， 其特征在于： 所述步骤203中， 在BGRU网络单元之后增加的dropout层； 在dropout层后增加 Multi‑Head Attention， 多头注意力机制不仅 可以更好地使得特征 向量之间更好地融合， 而且可以让模型关注不同子空间的信息； 相当于对同一个特征 空间采用不同的滤波器从而 得到不同信息， 输出序列的计算式子如下： Q＝WQH K＝WKH V＝WVH headi＝Attention(Qi， Ki， Vi)权　利　要　求　书 1/2 页 2 CN 115458135 A 2MultiHead(Q， K， V)＝Co ncat(head1， head2， ...， headn)WO 其中， dk为Q、 K特征向量的维度， dk＝8， Q、 K、 V均为dropout 层输出的矩阵。 6.根据权利要求1所述的一种基于BGRU ‑Attention ‑CRF的Bio‑NER智慧医疗分诊系统， 其特征在于： 所述步骤203中， 采用线性条件随机场和维特比进行编码， 得到最终的命名实 体， CRF适用于序列标注问题， CRF的优点在于不仅可以考虑相 邻标注之 间的关系， 而且通过 维特比解码可以求出当前输入下相对最优的序列标注； 和使用 代表输入 序列， 代表预测的标注， 代表序列 所有可能的标注 的集合， 则当 已知输入序列 的前提下， 的标注序列为 的条件概 率公式为， 其中， tk(yi‑1， yi， x， i)是转移矩阵的特征， 来自BGRU ‑Attention， λk是转移矩阵系数； sl (yi， x， i)是发射矩阵的特 征， 来自神经网络的参数 更新， μl是发射矩阵系数。 7.根据权利要求1所述的一种基于BGRU ‑Attention ‑CRF的Bio‑NER智慧医疗分诊系统， 其特征在于： 所述步骤203中， 在训练过程中， 目标函数是使得 尽量大， 损失函数采用 对数模型， 将损失函数转 化为对数线性模型， 损失函数如下式所示， 优化器选取S DG优化器， 8.根据权利要求1所述的一种基于BGRU ‑Attention ‑CRF的Bio‑NER智慧医疗分诊系统， 其特征在于： 所述步骤203中， Viterbi是一种动态规划算法， 可以找到一条相对最优路径， 即最可能的标注(命名实体)， 所 得相对最优 命名实体 如下式所示， 权　利　要　求　书 2/2 页 3 CN 115458135 A 3