(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210315494.7 (22)申请日 2022.03.28 (71)申请人 浙江科技学院 地址 310023 浙江省杭州市西湖区留和路 318号 (72)发明人 黄杰　罗之宇　张蕾　万健　 史斌彬　张丽娟　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06F 16/35(2019.01) G06K 9/62(2022.01) G06F 16/33(2019.01) G06F 40/295(2020.01)G06F 16/36(2019.01) G06N 5/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于交谈注意力机制的中文医学文本实体 关系联合抽取方法 (57)摘要 本发明公开了一种基于交谈注意力机制的 中文医学文本实体 关系联合抽取方法。 本发明通 过提出了CLN层和位置信息的进行特征融合的想 法， 以及引入Talking  head attention机制， 将 各个关系之间做了一个交谈式交互。 加强了实体 类型与关系类型之间的联系， 大大提高了模型的 准确性。 权利要求书2页 说明书9页 附图2页 CN 114756679 A 2022.07.15 CN 114756679 A 1.一种基于交谈注意力机制的中文医学文本实体关系联合抽取方法， 其特征在于包括 如下步骤： 步骤1、 将句子 输入RoBERTa层， 充分提取句子特 征和挖掘词与词之间的关联： 将句子输入RoBERTa层， 充分提取句子特征和挖掘词与词之间的关联； 抽取头实体和尾 实体放在同一步进 行， 同时预测实体之 间的关系类别； 通过指 针标注， 将 每一个输入的初始 (start)和结束(end)进行标注， 将多片段 问题转化为N个2分类， N为序列长度； 将进行实体 抽取后的序列矩阵进行CL N层和THA层的处 理完成三元组的提取； 步骤2、 提取输入句子的实体， 按照层叠式指针网络， 用两个级联模块提取三元组， 这两 个模块对应括实体提取和对应关系提取两个内容； 对于每一个输入的句 子进行实体提取， 包括头实体和尾实体； 被提取的实体也就是头实体被输入到下一个模块， 遍历所有的关系， 计算是否存在一个能够匹配头实体和尾实体的关系； 步骤3、 遍历所有不同的对象输入后续模块， 抽取三元组。 2.如权利要求1所述的一种基于交谈注意力 机制的中文医学文本实体关系联合抽取方 法， 其特征在于： 步骤1中RoBERT a层基于Transformer算法的双向编码表征算法， 进行特征 提取和句子建模； 对输入的句子进行切片和注释， 将句子进行分布式表示： X＝{X1， X2，…， Xt，…， Xn}#(1) Xt＝ET+ES+EP#(2) 每一个片段中包含着字向量、 文本向量以及位置向量； 式中ET代表的是字向量 (Etoken ‑Embedding)， Es代表的是文本向量(Eseg ‑Embedding)， Ep代表的是位置向量 (Epos‑Embedding)。 3.如权利要求1或2所述的一种基于交谈注意力机制的中文医学文本实体关系联合抽 取方法， 其特征在于： 步骤2 中每一个输入句子通过12层的RoBERTa编码器来得到编码向量 h， 用来提取输入句子中的全部实体， 包括头实体以及尾实体； 通过初始 化一个指针网络， 为 每一个标记点分配一个0/1二进制标记； 0/1二进制标记表示识别出来的实体的初始 (start)和结束(end)位置， 被标记的实体会被作为对象输入到下一级的模块中； 式中sstart和send表示的是输出 的结果， 是对所有位置的起始位置和终止位置的概率的 集合； 若该位置概率超过设定的阈值， 将其标记为1， 若没有， 则标记为0； 是代 表着在全连接层中的权重， 经过每一次输入都会更新新的权重； 是表示偏置向 量， σ 是作为激活函数sigmo id函数； 在输入句子x中的所有的对象的表示， 通过 下列似然函数进行优化； 式中， L为句子 的长度； 在输出的初始(start)和结束(end)序列 中， 实体的起始位置被 标记为1， 其R1为1， 其R2为0； 实体的结束位置被标记为1， 其R1为0， 其R2为1； 参数 权　利　要　求　书 1/2 页 2 CN 114756679 A 24.如权利要求1或2所述的一种基于交谈注意力机制的中文医学文本实体关系联合抽 取方法， 其特征在于步骤3中以固定长度的向量作为条件的文本生成的场景， 把条件融合到 标准化层的β 和γ中； 具体实现公式如下： 式中avg是h 的平均值， std是h的标准差； β和γ是两个动态矩阵， 根据输入句子中的对 象的变化而不断迭代； 在进入THA层前， 对CLN层的输出结果与之前的实体提取时的Epos‑Embedding进行了拼接结 合； 新得到的混合注意力公式如下 所示： 式中， 用不同Query、 Key、 Value权重矩阵， 每个矩阵都是随机初始化生成的； 然后通过 训练， 将词嵌入投影到不同的空间中； 代表着第i次特征计算结果， J表示将所有的 head计算结果Ji拼接在一起； Ji代表着每 一个特征经过两次对话把所有的特征进行了关联； Oi代表输出后的对话特 征注意力的结果； 式中rstart和rend表示的是输出的结果， 是对所有位置的起始位置和终止位置的概率 的集合； 是代表着在全连接层中的权 重， 经过每一次输入都会更新 新的权重； 是表示偏置向量， σ 是作为激活函数sigmo id函数； 在输入句子x中的所有对象所对应的关系表示， 通过 下列似然函数进行优化： 式中， L为句子 的长度； 在输出的start或end序列中， 对应关系的尾实体起始位置被标 记为1， 其I1为1， 其I2为0； 对应关系的尾实体的结束位置被标记为1， 其I1为0， 其I2为1； 参数 对于训练集D， 对每一个句子xi的实体和关系的似然函数进行求和； 采用Adam损失函数 方法， 最大化K值来训练模 型； 优化器开始的学习率设置为较大的值， 然后根据次数的增多， 动态的减小学习率， 以实现效率和效果的兼得； 式中， Ti表示输入句子中的所有对象， Tr表示 头实体对应的所有关系； 权　利　要　求　书 2/2 页 3 CN 114756679 A 3