(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210919693.9 (22)申请日 2022.08.02 (71)申请人 南京莱科智能工程研究院有限公司 地址 210000 江苏省南京市 建邺区贤坤路1 号科创中心 2楼220-64号 (72)发明人 徐鑫　刘文海　李疏　 (74)专利代理 机构 南京磐泰合盛知识产权代理 事务所(普通 合伙) 32521 专利代理师 李冰 (51)Int.Cl. G06F 40/51(2020.01) G06F 16/36(2019.01) (54)发明名称 一种基于知识图谱的领域机器翻译模型评 价方法 (57)摘要 本发明公开了一种基于知识图谱的领域机 器翻译模型评价方法， 包括如下评价步骤： S1、 首 先获取待翻译的知识图谱数据， 识别知识图谱中 的知识图谱框架、 逻辑 关系和文字， S2、 人工翻译 知识图谱中的文字内容， 并复制知识图谱框架、 逻辑关系和 翻译后的文字， 组成翻译后的知 识图 谱， 本发明通过对知识图谱的框架、 逻辑关系和 文字内容的划分， 从而在不同的方面对知识图谱 的翻译效果进行评价， 先对框架和逻辑关系进行 复制， 统计其错误情况并处理， 再对文字内容进 行翻译， 统计其错误情况， 并对错误翻译进行重 新翻译， 能够使机器翻译的评价更加全面， 且能 够在翻译错误时快速了解知识图谱框架和逻辑 关系的影响。 权利要求书2页 说明书4页 附图1页 CN 115293176 A 2022.11.04 CN 115293176 A 1.一种基于知识图谱的领域机器翻译模型评价方法， 其特 征在于： 包括如下评价 步骤： S1、 首先获取待翻译的知识图谱数据， 识别知识图谱中的知识图谱框架、 逻辑关系和文 字； S2、 人工翻译知识图谱中的文字内容， 并复制知识图谱框架、 逻辑关系和翻译后的文 字， 组成翻译后的知识图谱； S3、 将待翻译的知识图谱通过机器翻译模型进行翻译； S4、 将机器翻译结果与人工翻译数据从知识图谱框架、 逻辑关系和文字上进行对比； S5、 对知识图谱框架和逻辑关系翻译错误的位置进行标记， 再分析错误对整体知识图 谱的影响； S6、 统计文字 部分翻译的正确、 近似和错 误情况； S7、 将文字翻译错 误位置前后文字代入重新翻译， 再次统计翻译错 误的情况； S8、 根据统计的错 误数据， 进行综合评价。 2.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S1中， 在识别知识图谱框架中的逻辑关系时， 先由高到低确定文字所属关系层级， 再确定相邻层级 文字的逻辑关系， 以及相同层级 文字的逻辑关系。 3.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S2中， 在翻译知识图谱中的文字内容时， 先对层级最高的文字进行翻译， 然后再对 下一层级的文字进行翻译， 每翻译一个层级代入上一层级进行层级翻译检查， 确定上下层 级文字的翻译符合上 下层级关系。 4.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S3中， 通过机器翻译知识图谱时， 先对文字所在的位置进行记录， 文字翻译后根据 记录的位置将翻译后的文字放置在对应的位置处， 形成完整的知识图谱。 5.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S4中， 对比时， 先对比知识图谱框架、 再对比逻辑关系， 最后对比文字； 逻辑关系的对比在知识图谱正确的前提下进行， 文字的对比在逻辑关系正确的前提下 进行。 6.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S 5中， 知识图谱框架的错误包括分支个数和分支 位置， 逻辑关系的错误包括关系倒 置、 关系矛盾和关系混淆； 所述错误的知识框架和逻辑关系对整体知识图谱的影响通过错误内容占全部内容的 百分比表示。 7.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S6中， 将机器翻译的文字与人工翻译的文字进行对比， 统计机器翻译的正确数量、 近似数量和错 误数量； 所述文字翻译正确为机器翻译与人工翻译完全一 致； 所述文字翻译近似为机器翻译与人工翻译 文字不同但词义相近； 所述文字翻译错 误为机器翻译与人工翻译 文字和词义均不同。 8.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S7中， 重新翻译后， 将翻译结果中错 误数量进行记录， 并计算重新翻译的错 误数量。权　利　要　求　书 1/2 页 2 CN 115293176 A 29.根据权利要求1所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S8中， 分别统计知识图谱框架 错误比例、 逻辑关系错误比例、 文字翻译正确数量、 文 字翻译近似数量、 文字翻译错 误数量和重新翻译错 误百分比。 10.根据权利要求9所述的一种基于知识图谱的领域机器翻译模型评价方法， 其特征在 于， 所述S 8中， 综合评价 通过等级表示： 一级： 知识图谱框架错 误比例和逻辑关系错 误比例和文字翻译错 误数量均为0； 二级： 知识图谱框架错误比例和逻辑关系错误比例均为0， 且文字翻译正确数量大于等 于文字翻译近似数量， 文字翻译错 误数量小于等于1； 三级： 知识图谱框架错误比例和逻辑关系错误比例均小于等于1%， 且文字翻译正确数 量大于等于文字翻译近似数量， 文字翻译错 误数量小于等于 3， 重新翻译错 误数量为0； 四级： 剩余 其他情况。权　利　要　求　书 2/2 页 3 CN 115293176 A 3