(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221046175 6.0 (22)申请日 2022.04.28 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 田锋　蒋诗瑶　杨子晨　郑庆华　 安文斌　张晓平　蔡明祥　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 崔方方 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多注意力融合的评教文本细粒度 建议挖掘方法 (57)摘要 本发明公开了一种基于多注意力融合的评 教文本细粒度建议挖掘方法， 属于多任务预测领 域。 本发明将评教文本细粒度建议挖掘定义为从 文本中挖掘建议动作词、 建议实体词和对应的高 层教学评价指标， 在挖掘建议词组的过程中， 通 过设计建议增强组件、 词信息增强组件和句法上 下文增强组件， 有效地克服了序列标注模型易受 噪声影响、 难整合词组信息和易忽略句法依赖关 系的难题； 同时借助多任务框架提取建议词组的 高层教学评价指标。 权利要求书4页 说明书11页 附图1页 CN 114756681 A 2022.07.15 CN 114756681 A 1.一种基于多注意力融合的评教文本细粒度建议挖掘方法， 其特征在于， 包括以下步 骤： (1)将标注的评教文本数据集 随机分割为训练集、 验证集和测试集， 对评教文本进行 预处理， 生成文本的字符向量xi和词向量 wi； 其中， si表示评教文 本的字符序列， 表示序列的标注标签， 表示其高层教学评 价指 标分类标签； (2)采用多注意力融合模型， 将所述字符向量xi输入到所述多注意力融合模型中， 首先 经过BiLSTM网络、 再分别 经过建议增强组件、 词信息增强组件、 句法上下文增强组件， 最后 经过融合层， 获得融合了上下文语义信息和各组件增强的字符嵌入表示R， R＝{r1， r2， ...， rn}； (3)将所述字符嵌入表示R＝{r1， r2， ...， rn}输入到CRF模块， 得到最大概率标签序列， 从而获得评教文本的建议动作词 与建议实体词， 同时将BiLSTM网络输出的字 符表示向量输 入到全连接层和softmax层， 对每个字 符都进行高层教学评价指标分类， 从而获得建议词组 的高层教学评价指标类别； (4)得到最大概率标签序列和高层教学评价指标类别后， 通过损失函数计算预测结果 与真实值之间的差异， 通过反向传播优化模型参数； (5)将待挖掘的文本进行预处理， 得到文本的字符向量和词向量， 之后输入到多注意力 融合模型中获得文本的字符嵌入表示R， 然后将R输入到CRF模块获得标签序列， 同时将 BiLSTM网络输出的字符表示向量输入到全连接层和softmax层， 得到建议词组的高层指标 类别。 2.根据权利要求1所述的基于多注意力融合的评教文本细粒度建议挖掘方法， 其特征 在于， 步骤1)中评教文本预处 理的具体操作为： 将长度为n的文本s＝{c1， c2， ...cn}去掉停用词和符号， 进行分词， 输出文本对应的m个 分词l＝{l1， l2， ...， lm}； 将所有文本的最大长度n作为固定序列长度， 当字符序列长度小于n时， 用pad字符填 充； 选取文本包含最多词组数m为固定输入词序列长度， 当词序列长度小于m时， 用pad字符 填充； 从Word2vec模型得到预训练的字符嵌入矩阵， 经过查找嵌入向量， 将字符表示为字符 向量xi： xi＝ec(ci) (1) 其中， ec是预训练的字符嵌入矩阵， ci是文本的第i个字符； 利用Word2vec模型 得到预训练的词嵌入矩阵， 生成词向量 wi： wi＝el(li) (2) 其中， el是预训练的词嵌入矩阵， li是文本的第i个词。 3.根据权利要求1所述的基于多注意力融合的评教文本细粒度建议挖掘方法， 其特征 在于， 步骤(2)中的字符嵌入表示R 获得的具体操作为： (201)将字符向量矩阵{x1， x2， ...， xn}输入到BiLSTM网络， 获得文本的上下文表示H＝ {h1， h2， ...， hn}：权　利　要　求　书 1/4 页 2 CN 114756681 A 2其中， 和 分别表示文本第i个位置的字符经过正向和反向LSTM的隐含层表示， 表 示拼接运算， hi表示BiLSTM网络 输出的第i个字符表示； (202)将字符向量{x1， x2， ...， xn}输入建议增强组件中进行卷积、 池化和注意力机制， 字符向量矩阵{x1， x2， ...， xn}进入输入层后， 经卷积抽取文本信息， 在输入字 符向量矩阵上 进行一维滑动， 对第i个字符及其周围字符进行 卷积， 卷积计算公式为： cci＝σ(Wxi： i+h‑1+b) (7) 其中， h∈{2， 3， 4}， 表示按行拼接； 基于高度h对文本进行 卷积的结果 为cc＝{cc1， cc2， ...， ccn‑h+1}； 经过卷积操作后的向量输入池化层， 选取每类卷积向量中的最大值进行拼接， 作为卷 积神经网络的输出C， 将C广播到与BiLSTM输出的上下文表示H＝{h1， h2， ...， hn}的列数相 同； 随后进行注意力机制， 得到建议增强的字符表示G： 其中， W1、 W2和 是可训练参数； 构建词信息增强图和句法上下文增强图， 两个图的初始输入节点相同， 包括带有属性 的字符节点和词汇 节点： 其中， Node1表示初始输入节点集合， 由BiLSTM网络输出的字符表示{h1， h2， ...， hn}和文 本词表示{w1， w2， ...， wm}拼接得到； 两个图的边缘构建通过建立邻接矩阵实现， 词信息增强组件中字 ‑词交互图邻接矩阵 为A1， 句法上下文增强组件中字 ‑词交互图邻接矩阵为A2； 使用L层图注意网络GAT对两个图建模， 第l层的输入为字符与词组组成的节点特征 和邻接矩阵A∈R(m+n)*(m+n)， 其中， dl是节点特征的维 度， 第l层的输出是更新后的节点特征 具有K头注意力 机制的GAT生成第l+1层节点特 征的运算公式为： 权　利　要　求　书 2/4 页 3 CN 114756681 A 3