(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058612.7 (22)申请日 2022.08.30 (71)申请人 灵犀量子 （北京） 医疗科技有限公司 地址 100161 北京市丰台区南四环西路186 号四区5号楼5层09室 (72)发明人 王则远　刘鹏　周旻　任丽军　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 王治东 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) (54)发明名称 一种文献处 理方法及装置 (57)摘要 本发明提供的文 献处理方法及 装置， 将目标 图像文献输入到布局文本提取模 型， 获得布局文 本提取模型输出的目标图像文献的至少一个布 局文本； 将各布局文本输入至文本处理模型， 获 得文本处理模型分别从各布局文本中提取出的 信息类别为目标信息类别的提取文本。 本发明可 以利用布局文本提取模型从目标图像文献中提 取出其所有的布局文本， 利用文本处理模型从各 布局文本中提取出指定信息类别的提取文本， 可 以无需进行人工提取方式， 避免人力和时间等资 源的过多消耗， 提高信息提取效率和准确度， 且 可以针对所有布局文本进行信息提取， 提高信息 提取的全面 性。 权利要求书2页 说明书13页 附图5页 CN 115455143 A 2022.12.09 CN 115455143 A 1.一种文献处 理方法， 其特 征在于， 包括： 将目标图像文献输入到布局文本提取模型， 获得所述布局文本提取模型输出的所述目 标图像文献的至少一个布局文本； 将各所述布局文本输入至文本处理模型， 获得所述文本处理模型分别从各所述布局文 本中提取 出的信息类别为目标信息类别的提取文本 。 2.根据权利要求1所述的文献处理方法， 其特征在于， 所述布局文本提取模型是由预训 练语义理解模型和图像文献布局识别模型进行 联合训练得到的。 3.根据权利要求2所述的文献处理方法， 其特征在于， 所述布局文本提取模型中包括第 一处理层、 第二处理层和 第三处理层； 其中： 所述第一处理层的结构与所述预训练语义理解 模型相对应， 所述第二处理层的结构与所述图像文献布局识别模型相对应； 所述第三处理 层用于基于所述第一处理层的输出数据和所述第二处理层的输出数据， 输出各所述布局文 本。 4.根据权利要求3所述的文献处理方法， 其特征在于， 所述第一处理层的输入包括： 图 像文献文本和文本位置信息， 所述图像文献文本为所述 目标图像文献中的文本， 所述图像 文献文本和所述文本位置信息是所述布局文本提取模型利用光学字符识别OCR技术获得 的； 所述第一处理层的输出包括： 用于体现文本语义理解的文本向量和用于表征文本段落 与图像间映射关系的位置嵌入向量。 5.根据权利要求3所述的文献处理方法， 其特征在于， 所述第二处理层的输入包括： 所 述目标图像文献、 图像文献文本和文本位置信息； 所述第二处理层的输出包括： 字 符级的2D 位置嵌入向量和用于体现图像特 征信息的图像嵌入向量。 6.根据权利要求2所述的文献处理方法， 其特征在于， 所述布局文本提取模型的训练数 据包括： 图像文献、 图像文献文本、 文本位置信息和文本类别标签， 所述文本类别标签为文 本所属的文献布局部分的类别。 7.根据权利要求1所述的文献处理方法， 其特征在于， 所述文本处理模型是通过将文献 布局文本和相应的信息类别为所述目标信息类别的标注文本作为训练数据， 对预训练自然 语言处理模型进行微调而得到的。 8.根据权利要求1所述的文献处理方法， 其特征在于， 在所述获得所述布局文本提取模 型输出的所述目标图像文献的至少一个布局文本之后， 所述文献处 理方法还 包括： 对各所述布局文本进行整合去重处 理， 获得相应的至少一个处 理后文本； 所述将各 所述布局文本 输入至文本处 理模型， 包括： 将各所述处理后文本 输入至所述文本处 理模型； 所述获得所述文本处理模型分别从各所述布局文本中提取出的信息类别为目标信息 类别的提取文本， 包括： 获得所述文本处理模型分别从各所述处理后文本中提取出的信息类别为目标信息类 别的提取文本 。 9.根据权利要求1至7任一所述的文献处理方法， 其特征在于， 所述文献处理方法还包 括： 获得目标文献的目标文本内容； 所述目标文献为所述目标图像文献对应的文献， 所述权　利　要　求　书 1/2 页 2 CN 115455143 A 2目标文本内容包括所述目标文献中至少一个布局部分的文本； 分别确定各 所述提取文本与所述目标文本内容的相似度； 根据各所述提取文本与所述目标文本内容的相似度， 对各所述提取文本进行排序， 输 出排序结果。 10.一种文献处理装置， 其特征在于， 包括： 第一输入单元、 第一获得单元、 第二输入单 元和第二获得 单元； 其中： 所述第一输入单 元， 用于将目标图像文献输入到布局文本提取模型； 所述第一获得单元， 用于获得所述布局文本提取模型输出的所述目标图像文献的至少 一个布局文本； 所述第二输入单 元， 用于将各 所述布局文本 输入至文本处 理模型； 所述第二获得单元， 用于获得所述文本处理模型分别从各所述布局文本 中提取出的信 息类别为目标信息类别的提取文本 。权　利　要　求　书 2/2 页 3 CN 115455143 A 3