(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210990226.5 (22)申请日 2022.08.18 (71)申请人 贝壳找房 （北京） 科技有限公司 地址 100085 北京市海淀区创业路2号1幢1 层102室 (72)发明人 计云杰　陈亮宇　窦辰晓　马宝昌　 李先刚　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 张驰　宋志强 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 40/30(2020.01) (54)发明名称 机器阅读理解方法、 模型训练方法、 装置及 介质 (57)摘要 本发明实施方式公开了一种机器阅读理解 方法、 模型训练方法、 装置、 电子设备及存储介 质。 训练方法包括： 确定原始问题、 正向问题、 负 向问题以及包含原始问题的答案的文本， 其中正 向问题与原始问题具有相同的答案， 负向问题为 基于文本无法回答的问题； 确定训练样本， 训练 样本包括原始问题与文本的第一拼接结果、 正向 问题与文本的第二拼接结果、 负向问题与文本的 第三拼接结果及原始问题的答案在文本中的位 置； 将训练样本输入预训练语言模型， 以执行预 训练语言模 型的训练过程； 将 完成训练过程的预 训练语言模型， 确定为机器阅读理解模型。 本发 明实施方式提升无答案场景下的机器阅读理解 效果。 权利要求书3页 说明书12页 附图5页 CN 115544224 A 2022.12.30 CN 115544224 A 1.一种机器阅读理解模型的训练方法， 其特 征在于， 包括： 确定原始问题、 正向问题、 负向问题以及包含所述原始问题的答案的文本， 其中所述正 向问题与所述原 始问题具有相同的答案， 所述负向 问题为基于所述文本无法回答的问题； 确定训练样本， 所述训练样本包括所述原始问题与所述文本的第一拼接结果、 所述正 向问题与所述文本的第二拼接结果、 所述负向问题与所述文本的第三拼接结果及所述原始 问题的答案在所述文本中的位置； 将所述训练样本输入预训练语言模型， 以执行所述预训练语言模型的训练过程， 所述 训练过程包括： 将所述位置、 所述第一拼接结果、 所述第二拼接结果和所述第三拼接结果分 别输入所述预训练语言模型， 以由所述预训练语言模型基于所述位置从所述第一拼接结果 的向量表示中确定所述原始问题的答案的第一向量表示， 基于所述位置从所述第二拼接结 果的向量表示中确定所述正向问题的答案的第二向量表示， 以及基于所述位置从所述第三 拼接结果的向量表示中确定所述负向问题的答案的第三向量表示； 确定所述第二向量表示 与所述第一向量表示的第一相似度及所述第三向量表示与所述第一向量表示的第二相似 度； 基于所述第一相似度和所述第二相似度， 确定所述预训练语 言模型的损失函数值； 配置 所述预训练语言模型的模型参数， 以使所述损失函数值低于预设阈值； 将完成所述训练过程的所述预训练语言模型， 确定为机器阅读理解模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述确定正向 问题包括下列中的至少一个： 将所述原 始问题的术语回归回译结果， 确定为所述 正向问题； 将所述原 始问题的翻译精确性测试回译结果， 确定为所述 正向问题。 所述确定负向 问题包括下列中的至少一个： 将包含在所述原始问题中的实体替换为不同义实体的替换结果， 确定为所述负向问 题； 将在所述原 始问题中引入否 定词后的结果， 确定为所述负向 问题。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一相似度和所述第 二相似 度， 确定所述预训练语言模型的损失函数值包括： 所述损失函数值随着第 一相似度的增大而减小， 所述损失函数值随着第 二相似度的增 大而增大。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 确定所述损失函数值 LspanCL， 其中 其中： log是以自然常数e为底的对数函数； exp是以自然常数e为底的指数函数； 是从所述原始问题的答案的起始位置i处的向量 到所述原始问题的答 案的结束位置j处的向量 的拼接向量； 是从所述正向问题的答案的起始 位置i处的向量 到所述正向问题的答案的结束位置j处的向量 的拼接向量；权　利　要　求　书 1/3 页 2 CN 115544224 A 2是从所述负向问题的答案的起始位置i处的向量 到所述负向问题的答 案的结束位置j处的向量 的拼接向量； τ 是 预定的缩放因子； 是求相似度函数。 5.一种机器阅读理解方法， 其特 征在于， 包括： 接收测试问题和 测试文本； 将所述测试问题和测试文本输入所述机器阅读理解模型， 其中所述机器阅读理解模型 是根据权利要求1 ‑4中任一项的机器阅读理解模型的训练方法所训练得到的； 从所述机器阅读理解模型接收所述测试问题的答案， 其中所述测试问题的答案是基于 所述测试文本确定的。 6.一种机器阅读理解模型的训练装置， 其特 征在于， 包括： 第一确定模块， 用于确定原始问题、 正向问题、 负向问题以及包含所述原始问题的答案 的文本， 其中所述正向问题与所述原始问题具有相同的答案， 所述负向问题为基于所述文 本无法回答的问题； 第二确定模块， 用于确定训练样本， 所述训练样本包括所述原始问题与所述文本的第 一拼接结果、 所述正向问题与所述文本的第二拼接结果、 所述负向问题与所述文本的第三 拼接结果及所述原 始问题的答案在所述文本中的位置； 训练模块， 用于将所述训练样本输入预训练语言模型， 以执行所述预训练语言模型的 训练过程， 所述训练过程包括： 将所述位置、 所述第一拼接结果、 所述第二拼接结果和所述 第三拼接结果分别输入所述预训练语言模型， 以由所述预训练语言模型基于所述位置从所 述第一拼接结果的向量表示中确定所述原始问题的答案的第一向量表示， 基于所述位置从 所述第二拼接结果的向量表示中确定所述正向问题的答案的第二向量表示以及基于所述 位置从所述第三拼接结果的向量表示中确定所述负向问题的答案的第三向量表示； 确定所 述第二向量表示与所述第一向量表示的第一相似度及所述第三向量表示与所述第一向量 表示的第二相似度； 基于所述第一相似度和所述第二相似度， 确定所述预训练语言模型 的 损失函数值； 配置所述预训练语言模型的模型参数， 以使所述损失函数值低于预设阈值； 第三确定模块， 用于将完成所述训练过程的所述预训练语言模型， 确定为机器阅读理 解模型。 7.一种机器阅读理解装置， 其特 征在于， 包括： 第一接收模块， 用于 接收测试问题和 测试文本； 输入模块， 用于将所述测试问题和测试文本输入所述机器阅读理解模型， 其中所述机 器阅读理解模型是根据权利要求 1‑4中任一项的机器阅读理解模型的训练方法所训练得到 的； 第二接收模块， 用于从所述机器阅读理解模型接收所述测试问题的答案， 其中所述测 试问题的答案是基于所述测试文本确定的。 8.一种电子设备， 其特 征在于， 该电子设备包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 所述处理器， 用于从所述存储器中读取所述可执行指令， 并执行所述可执行指令以实 现权利要求1 ‑4任一项所述的机器阅读理解模型的训练方法或权利要求5所述的机器阅读权　利　要　求　书 2/3 页 3 CN 115544224 A 3