(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211245822.7 (22)申请日 2022.10.12 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 谢冰　尹越　袭向明　宋伟　 朱世强　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06F 40/58(2020.01) G06F 40/30(2020.01) G06F 40/247(2020.01) G06F 40/205(2020.01)G06F 16/35(2019.01) G06K 9/62(2022.01) (54)发明名称 基于预训练模型的句子复述 生成系统 (57)摘要 本发明公开了基于预训练模型的句子复述 生成系统， 包括复述生成模块、 流利度过滤模块 和语义过滤模块， 复述生成模块用于生成复述， 复述生成模块包括翻译生 成、 模型生成和同义词 替换生成模块， 翻译生成模块通过直译和回译两 种方法生 成复述， 模型生 成模块通过直接训练中 文复述生成模型生成复述和利用英文复述生成 模型间接生成中文复述， 同义词生成模块通过替 换原句中的同义词生成复述， 本发 明充分利用开 源的预训练模 型资源， 利用翻译模 型进行直接翻 译生成复述和回译生成复述， 提高生成 复述的效 率和多样性， 利用预训练的语言模 型将英语复述 生成模型应用到中文复述生 成中， 使用多项措施 确保生成高质量复述。 权利要求书2页 说明书10页 附图7页 CN 115329784 A 2022.11.11 CN 115329784 A 1.一种基于预训练模型的句子复述生成系统， 其特征在于： 包括依次连接的复述生成 模块、 流利度过滤模块和语义过滤模块； 所述的复述生成模块用于生成复述； 所述的流利度 过滤模块用于计算复述的流利度， 过滤得到流利度不低于阈值的复述； 所述的语义过滤模 块用于计算复述与原句的语义相似度， 过 滤得到语义相似度不低于阈值的复述。 2.根据权利要求1所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 复述生成模块包括翻译生成模块、 模型生成模块和同义词替换生成模块； 所述的翻译生成 模块通过直译生成方式和回译生成方式两种方式生成复述， 所述的模型生成模块通过语言 模型生成复述， 所述的同义词替换生成模块 通过替换原句中的同义词生成复述。 3.根据权利要求2所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 的直译生成方式通过将输入句子翻译为中文生成复述， 所述的回译生成方式通过利用多语 言翻译模型将输入的中文句子翻译为外语句子， 再将外语句子翻译为中文生成复述。 4.根据权利要求2所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 的模型生成模块包括直接训练中文复述生成模型来生成复述和利用英文复述生成模型间 接生成中文复述两种方式， 所述利用英文复述生成模型间接生成中文复述的方式是将中文 句子翻译成英文， 输入英文复述生成模型生成英文复述， 再将英文复述翻译成中文生成中 文复述。 5.根据权利要求2所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 的同义词替换生 成模块包括分词子模块、 命名实体识别子模块、 可替换词过滤子模块、 同义 词查找子模块、 同义词过 滤子模块、 同义词替换子模块。 6.根据权利要求5所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 的可替换词过滤子模块将作品名、 其他专名、 标点符号、 人名、 地名、 机构名和时间组成的集 合作为不可替换实体 类型集合， 类型属于该集 合的实体不做同义词替换。 7.根据权利要求5所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 的同义词过滤子模块引入在大规模语料上预训练的掩码 语言模型来过滤同义词， 具体包含 以下步骤： S1： 将句子中的原词替换为与同义词长度相同的掩码， 得到掩码句子； S2： 将掩码句子输入预训练掩码语言模型， 计算掩码位置对应的输出生成同义词对应 字的概率， 用同义词各字生成概 率的几何平均数作为置信度； S3： 设置置信度阈值； S4： 滤除置信度小于阈值的同义词， 得到适用于当前语境的同义词。 8.根据权利要求1所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 的流利度过滤模块利用预训练的掩码语言模型计算流利度， 设置流利度阈值， 过滤得到流 利的复述； 流利度计算方法为逐个掩盖句 子中的每个字， 计算模型输出 的掩码位置生成原 字的概率； 基于得到的生成概率计算困惑度， 再用指数函数将1减去困惑度得到的值映射到 区间[0,1]。 9.根据权利要求1所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所述 的语义过滤模块用Sentence  Bert模型对句子进行编码得到句向量， 通过句向量间的余弦 值判断语义是否相同； 设置余弦值阈值， 当且仅当句向量间的余弦值大于等于阈值时， 认 为 语义相同。权　利　要　求　书 1/2 页 2 CN 115329784 A 210.根据权利要求1所述的一种基于预训练模型的句子复述生成系统， 其特征在于： 所 述的语义过滤模块训练独立的、 与句子生 成无关的Sentence  Bert模型来判断语义， 构造包 含强负样本和弱负样本的数据集训练模型， 并将Sentence  Bert模型训练时三元目标函数 进行改进。权　利　要　求　书 2/2 页 3 CN 115329784 A 3