(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210137920.2 (22)申请日 2022.02.15 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310051 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 申请人 上海科技大 学 (72)发明人 王新宇　蒋勇　王涛　黄忠强　 谢朋峻　屠可伟　 (74)专利代理 机构 北京合智同创知识产权代理 有限公司 1 1545 专利代理师 李杰　杨雷 (51)Int.Cl. G06F 40/295(2020.01) G06K 9/62(2022.01) G06V 10/74(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型训练和命名实体识别方法、 装置、 电子 设备以及存 储介质 (57)摘要 本发明实施例提供了一种模型训练和命名 实体识别方法、 装置、 电子设备以及存储介质。 所 述模型训练方法包括： 获取目标文本、 以及关联 图片的图片描述文本， 所述关联图片与所述目标 文本匹配； 融合所述目标文本和所述图片描述文 本， 得到融合文本； 基于所述融合文本和所述目 标文本的命名实体标签， 训练命名实体识别模 型。 本发明实施例提高了命名实体识别模型的训 练效果和识别效果。 权利要求书2页 说明书9页 附图3页 CN 114580413 A 2022.06.03 CN 114580413 A 1.一种模型训练方法， 包括： 获取目标文本、 以及关联图片的图片描述文本， 所述关联图片与所述目标文本匹配； 融合所述目标文本和所述图片描述文本， 得到融合文本； 基于所述融合文本和所述目标文本的命名实体标签， 训练命名实体识别模型。 2.根据权利要求1所述的方法， 其中， 所述获取关联图片的图片描述文本， 包括： 将关联图片输入预 先训练的图片描述模型， 得到图片描述文本 。 3.根据权利要求1所述的方法， 其中， 所述融合所述目标文本和所述图片描述文本， 得 到融合文本， 包括： 拼接所述目标文本的维度表示和所述图片描述文本的维度表示， 得到融合文本 。 4.根据权利要求1所述的方法， 其中， 所述命名实体识别模型包括上下文融合层和条件 随机场处 理层， 所述上 下文融合层的输入连接 到所述条件随机场处 理层的输入， 所述基于所述融合文本和所述目标文本的命名实体标签， 训练命名实体识别模型， 包 括： 基于所述融合文本作为所述上下文融合层的输入， 并且基于所述目标文本的命名实体 标签作为所述条件随机场处 理层的输出， 训练命名实体识别模型。 5.根据权利要求4所述的方法， 其中， 所述命名实体识别模型包括维度对齐层， 所述上 下文融合层的输入经由所述 维度对齐层连接到所述条件随机场处理层的输入， 所述 维度对 齐层用于将上 下文融合的特 征从所述融合文本的维度提取为所述目标文本的维度。 6.根据权利要求 4所述的方法， 其中， 所述上 下文融合层为t ransformer编码器。 7.一种命名实体识别方法， 包括： 获取待识别文本、 以及与所述待识别文本匹配的关联图片； 提取所述关联图片的图片描述文本； 融合所述待识别文本与所述图片描述文本， 得到融合文本； 将所述融合文本输入到命名实体识别模型中， 得到所述待识别文本的命名实体信息， 所述命名实体识别模型通过根据权利要求1 ‑6中任一项所述的方法训练得到 。 8.一种命名实体识别方法， 包括： 获取商品介绍文本、 以及与所述商品介绍文本的商品图片； 提取所述商品图片的图片描述文本； 融合所述商品介绍文本与所述图片描述文本， 得到融合文本； 将所述融合文本输入到命名实体识别模型中， 得到所述商品介绍文本的命名实体信 息， 所述命名实体识别模型通过根据权利要求1 ‑6中任一项所述的方法训练得到 。 9.一种模型训练装置， 包括： 获取模块， 获取目标文本、 以及 关联图片的图片描述文本， 所述关联图片与所述目标文 本匹配； 融合模块， 融合所述目标文本和所述图片描述文本， 得到融合文本； 训练模块， 基于所述融合文本和所述目标文本的命名实体标签， 训练命名实体识别模 型。 10.一种命名实体识别装置， 包括： 获取模块， 获取待识别文本、 以及与所述待识别文本匹配的关联图片；权　利　要　求　书 1/2 页 2 CN 114580413 A 2提取模块， 提取 所述关联图片的图片描述文本； 融合模块， 融合所述待识别文本与所述图片描述文本， 得到融合文本； 识别模块， 将所述融合文本输入到命名实体识别模型中， 得到所述待识别文本的命名 实体信息， 所述命名实体识别模型通过根据权利要求1 ‑6中任一项所述的方法训练得到 。 11.一种电子设备， 包括： 处理器、 存储器、 通信 接口和通信总线， 所述处理器、 所述存储 器和所述通信接口通过所述通信总线完成相互间的通信； 所述存储器用于存放至少一可执 行指令， 所述可执行指令使所述处理器执行如权利要求1 ‑8中任一项所述的方法对应的操 作。 12.一种计算机存储介质， 其上存储有计算机程序， 该程序被处理器执行时实现如权利 要求1‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114580413 A 3