(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210369952.5 (22)申请日 2022.04.08 (71)申请人 清华大学深圳国际研究生院 地址 518055 广东省深圳市南 山区西丽 街 道深圳大 学城清华校区A栋二楼 (72)发明人 郑海涛　李明超　刘浩壮　江勇　 夏树涛　肖喜　 (74)专利代理 机构 深圳新创友知识产权代理有 限公司 4 4223 专利代理师 徐罗艳 (51)Int.Cl. G06F 40/205(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的选择题干扰项自动化 生成方法及模型 (57)摘要 本发明公开了一种基于深度学习的选择题 干扰项自动化生成方法及模型， 模型包括： 答案 编码器， 用于对选择题的答案进行编码， 以获得 答案表示向量； 文章编码器， 用于对文章和问题 进行联合编码， 以获得文章表示向量； 上下文推 理注意力机制模块， 连接于答案编码器和文章编 码器， 用于合并文章上下文向量和答案上下文向 量， 以进行上下文推理， 生成编码器最终上下文 向量； 文章上下文向量是由文 章表示向量经文章 注意力机制而获得， 答案上下文向量是由答案表 示向量经答案注意力机制而获得； 干扰项解码 器， 连接于答案编码器以利用答案编码器的输出 进行解码器初始化， 以及连接于上下文推理注意 力机制模块 以对所述编码器最终上下文向量进 行解码， 生成干 扰项。 权利要求书2页 说明书7页 附图2页 CN 114861627 A 2022.08.05 CN 114861627 A 1.一种基于深度学习的选择题干扰项自动 化生成模型， 用于为 阅读理解的选择题生成 干扰项， 其特 征在于， 包括： 答案编码器， 用于对选择题的答案进行编码， 以获得答案表示向量； 文章编码器， 用于对文章和问题进行 联合编码， 以获得文章表示向量； 上下文推理注意力机制模块， 连接于所述答案编码器和所述文章编码器， 用于合并文 章上下文向量和答案上下文向量， 以进行上下文推理， 生成编码器最终上下文向量； 其中， 所述文章上下文向量是由所述文章表示向量经文章注意力机制而获得， 所述答案上下文向 量是由所述 答案表示向量经答案注意力机制而获得； 干扰项解码器， 连接于所述答案编码器以利用所述答案编码器的输出进行解码器初始 化， 以及， 连接于所述上下文推理注意力机制模块以对所述编码器最终上下文向量进行解 码， 生成干扰项。 2.如权利要求1所述的基于深度 学习的选择题干扰项自动化生成模型， 其特征在于， 所 述文章编码器对文章和问题进行 联合编码， 包括： 利用词向量 查找表将文章文本转换为文章词嵌入向量； 提取问题文本中的关键词， 进行关键词标记， 并生成问题关键词标记向量； 将所述问题关键词标记向量与所述文章词嵌入向量进行拼接， 并对拼接获得的向量利 用双向LSTM网络进行编码。 3.如权利要求2所述的基于深度 学习的选择题干扰项自动化生成模型， 其特征在于， 还 包括： 利用门控自注意力机制对所述文章词嵌入向量进行信息聚合。 4.如权利要求2所述的基于深度 学习的选择题干扰项自动化生成模型， 其特征在于， 问 题文本中的关键词是同时出现在问题和文章中的单词。 5.如权利要求1所述的基于深度 学习的选择题干扰项自动化生成模型， 其特征在于， 所 述答案编码器对选择题的答案进行编码， 包括： 先利用词向量查找表将答案文本转换为答案词嵌入向量， 然后使用双向LSTM网络对所 述答案词嵌入向量进行编码， 以获得 所述答案表示向量。 6.如权利要求1所述的基于深度 学习的选择题干扰项自动化生成模型， 其特征在于， 所 述上下文推理注意力机制模块包括： 连接于所述答案编 码器输出端的答案注意力机制模块 和连接于所述文章编码器输出端的文章注意力机制模块； 所述答案注意力机制模块的输出和所述文章注意力机制模块的输出通过门控进行融 合， 以进行 所述上下文推理。 7.如权利要求6所述的基于深度 学习的选择题干扰项自动化生成模型， 其特征在于， 还 包括： 在所述文章注意力机制模块的输出端使用复制 机制， 通过注意力得分来确定生成的 单词是从生成词表中选择还是从原文词表中选择。 8.如权利要求7所述的基于深度 学习的选择题干扰项自动化生成模型， 其特征在于， 还 包括： 最终概率分布计算模块， 用于根据干扰项解码器生成单词的生成得分和复制 机制的 复制得分计算在单词表中所有 单词上的概率分布， 之后取最大概率值的单词作为生成的单 词。 9.一种基于深度学习的选择题干扰项自动 化生成方法， 用于为 阅读理解的选择题生成 干扰项， 其特征在于， 利用权利要求 1‑8任一项所述的基于深度学习的选择题干扰项自动化权　利　要　求　书 1/2 页 2 CN 114861627 A 2生成模型来实现； 该 方法包括： 训练阶段， 训练集有对应好的<文章， 问题， 答案， 干扰项>， 其 中<文章， 问题， 答案>为源 文本， 作为模型的输入； <干扰项>为目标文本， 作为深度学习优化的目标， 使用教师强制策 略进行模型训练； 使用阶段， 利用文章、 问题和答案作为输入文本， 利用训练好的所述模型生成干扰项。 10.如权利要求9所述的基于深度学习的选择题干扰项自动化生成方法， 其特征在于， 在使用阶段， 将输入文本的起始符作为第一个字符输入到解码器中， 使用集束搜索进行解 码， 最终获得干扰项 文本。权　利　要　求　书 2/2 页 3 CN 114861627 A 3