(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210375330.3 (22)申请日 2022.04.11 (71)申请人 深圳追一科技有限公司 地址 518057 广东省深圳市南 山区粤海街 道科技园社区科苑路8号讯美科技广 场3号楼23A、 23B (72)发明人 张旭　文博　刘云峰　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 方高明 (51)Int.Cl. G06F 40/30(2020.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 装置、 计算机设备及存储介 质 (57)摘要 本申请涉及模型训练方法、 装置、 计算机设 备、 存储介质和计算机程序产品。 该方法包括： 将 文本样本数据输入第一模型中， 根据得到的第一 样本特征数据确定第一损失； 将文本样本数据输 入第二模型中， 根据得到的第二样 本特征数据和 第一样本特征数据确定第二损失； 将文本样本数 据输入第三模型中， 得到第三样本特征数据， 基 于预设条件， 确定以第一样本特征数据和第三样 本特征数据的相似度得到第三损失， 或以第三样 本特征数据之间的相似度以及第一样本特征数 据和第三样本特征数据之间的相似度得到第三 损失； 根据第一损失、 第二损失和第三损失确定 损失函数， 损失函数用于对第一模型进行训练。 本方案可使第一模型的收敛速度更快， 文本识别 的精确度更高。 权利要求书3页 说明书19页 附图7页 CN 114861671 A 2022.08.05 CN 114861671 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获取文本样本数据； 将所述文本样本数据输入第一模型中， 得到第一样本特征数据， 根据所述第一样本特 征数据确定第一损失； 将所述文本样本数据输入第二模型中， 得到第二样本特征数据， 根据所述第一样本特 征数据和所述第二样本特 征数据确定第二损失； 将所述文本样本数据输入第 三模型中， 得到第 三样本特征数据， 基于预设条件， 确定以 所述第一样本特征数据和所述第三样本特征数据的相似度得到第三损失， 或以所述第三样 本特征数据之间的相似度以及所述第一样本特征数据和所述第三样本特征数据之间的相 似度得到第三损失； 根据所述第一损 失、 所述第二损 失和所述第三损 失确定损 失函数， 所述损 失函数用于 对所述第一模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述文本样本数据包括第一样本、 第二样 本和第三样本， 且所述第二样本与第一样本语义相近， 所述第三样本与第一样本语义相反； 所述将所述文本样本数据输入第一模型中， 得到第一样本特 征数据， 包括： 将所述文本样本数据输入所述第一模型中， 根据所述第一样本得到第一目标特征数 据； 根据所述第二样本， 得到第二目标 特征数据； 根据所述第三样本， 得到第三目标 特征数据； 所述将所述文本样本数据输入第二模型中， 得到第二样本特 征数据， 包括： 将所述文本样本数据输入所述第二模型中， 根据所述第一样本得到第四目标特征数 据； 根据所述第二样本， 得到第五目标 特征数据； 根据所述第三样本， 得到第六目标 特征数据； 所述将所述文本样本数据输入第三模型中， 得到第三样本特 征数据， 包括： 将所述文本样本数据输入所述第三模型中， 根据所述第一样本得到第七目标特征数 据； 根据所述第二样本， 得到第八目标 特征数据； 根据所述第三样本， 得到第九目标 特征数据。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一样本特征数据确定第 一 损失， 包括： 根据所述第一目标 特征数据和所述第二目标 特征数据， 确定第一相似度； 根据所述第一目标 特征数据和所述第三目标 特征数据， 确定第二相似度； 根据所述第一相似度和所述第二相似度， 确定所述第一损失。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 根据所述第一相似度和所述第二相似度， 确定第一熵值； 根据所述第一熵值确定所述第二损失对应的第一权重和所述第三损失对应的第二权 重； 所述根据所述第一损失、 所述第二损失和所述第三损失确定损失函数， 包括：权　利　要　求　书 1/3 页 2 CN 114861671 A 2根据所述第一损失、 所述第 二损失、 所述第一权重、 所述第 三损失及所述第 二权重确定 所述损失函数。 5.根据权利要求3所述的方法， 其特征在于， 所述基于预设条件， 确定以所述第一样本 特征数据和所述第三样本特征数据的相似度得到第三损失， 或以所述第三样本特征数据之 间的相似度以及所述第一样本特征数据和所述第三样本特征数据之间的相似度得到第三 损失， 包括： 根据所述第一相似度和所述第二相似度确定平均熵值； 若所述平均熵值大于预设阈值， 则确定以所述第 一样本特征数据和所述第 三样本特征 数据的相似度得到第三损失； 若所述平均熵值小于或等于预设阈值， 则确定以所述第 三样本特征数据之间的相似度 以及所述第一样本特 征数据和所述第三样本特 征数据之间的相似度得到第三损失。 6.根据权利要求2所述的方法， 其特征在于， 根据 所述第一样本特征数据和所述第 二样 本特征数据确定第二损失， 包括： 根据所述第一目标 特征数据和所述第四目标 特征数据， 确定第三相似度； 根据所述第一目标特征数据和所述第五目标特征数据、 第六目标特征数据， 确定第 四 相似度； 根据所述第三相似度和所述第四相似度， 确定所述第二损失。 7.根据权利要求2所述的方法， 其特征在于， 所述以所述第 一样本特征数据和所述第 三 样本特征数据的相似度得到第三损失， 包括： 根据所述第一目标 特征数据和所述第七目标 特征数据， 确定第五相似度； 根据所述第一目标特征数据和所述第八目标特征数据、 第九目标特征数据， 确定第六 相似度； 根据所述第五相似度和所述第六相似度， 确定所述第三损失。 8.根据权利要求7所述的方法， 其特征在于， 所述以所述第 三样本特征数据之间的相似 度以及所述第一样本特征数据和所述第三样本特征数据之间的相似度得到第三损失， 包 括： 根据本轮得到的第三样本特 征数据和历史第三样本特 征数据， 确定第七相似度； 根据所述第七相似度和所述第五相似度、 第六相似度， 确定所述第三损失。 9.一种模型训练装置， 其特 征在于， 所述装置包括： 样本数据获取模块， 用于获取文本样本数据； 第一损失确定模块， 用于将所述文本样本数据输入第一模型中， 得到第一样本特征数 据， 根据所述第一样本特 征数据确定第一损失； 第二损失确定模块， 用于将所述文本样本数据输入第二模型中， 得到第二样本特征数 据， 根据所述第一样本特 征数据和所述第二样本特 征数据确定第二损失； 第三损失确定模块， 用于将所述文本样本数据输入第三模型中， 得到第三样本特征数 据， 基于预设条件， 确定以所述第一样本特征数据和所述第三样本特征数据的相似度得到 第三损失， 或以所述第三样本特征数据之 间的相似度以及所述第一样本特征数据和所述第 三样本特 征数据之间的相似度得到第三损失； 损失函数确定模块， 用于根据所述第一损 失、 所述第二损 失和所述第三损 失确定损 失权　利　要　求　书 2/3 页 3 CN 114861671 A 3