(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111371800.0 (22)申请日 2021.11.18 (71)申请人 中科雨辰科技有限公司 地址 100093 北京市海淀区清琴麓 苑170号 楼2层 (72)发明人 傅晓航　刘羽　张正义　林方　 (74)专利代理 机构 北京锺维联合知识产权代理 有限公司 1 1579 代理人 原春香 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/117(2020.01) G06N 20/00(2019.01) (54)发明名称 一种用于标注文本的数据处 理系统 (57)摘要 本发明涉及一种用于标注文本的数据处理 系统， 包括数据库、 处理器和存储有计算机程序 的存储器， 当计算机程序被处理器执行时， 实现 步骤： 获取第一样本文本列表和若干个第二样本 文本列表， 使得多个标注端对应对第一样本文本 列表进行标注， 同时每一标注端分别标注对应的 第二样本文本列表， 得到训练集对 学习模型进行 训练， 用于将所述目标语句列表输入至已训练的 学习模型中， 获取所述目标文本对应的标注文 本， 本发明能够对不同标注人员的准确性和差异 性进行确定， 进行根据标注人员的特性训练模 型， 提高文本标注的准确性和效率。 权利要求书2页 说明书5页 附图1页 CN 114020877 A 2022.02.08 CN 114020877 A 1.一种用于标注文本的数据处理系统， 其特征在于， 所述系统包括： 数据库、 处理器和 存储有计算机程序的存储器， 其中， 所述数据库包括N个样 本文本和M个标注端ID， 当所述计 算机程序被处 理器执行时， 实现以下步骤： S100、 获取第一样本文本列表A＝(A1， A2， A3，……， Am)， Ai是指第i个第一样本文本， i＝ 1……m， m为第一样本文本数量， 和M个第二样本文本列表B＝(B1， B2， B3，……， Bn)， Bj是指第j 个第二样本文本， j＝1 ……n， n为第二样本文本数量； S200、 将A发送 至所有的标注端 ID对应的标注端进行标注， 获取Ai对应的M个第一标注文 本 同时， 将B发送至单一所述标注端ID对应的标注端进行标注， Bj对应的第 二标注文本 以根据所有 构建的第一 标注文本列表作为第一训练集和所有 构建的第二标注 文 本列表作为第二训练集； S300、 将第一训练集输入至预设的学习模型中， 获取所有的标注端ID的第一目标函数T (x)； S400、 将第二训练集输入至预设的学习模型中， 获取每一所述标注端ID的第二目标函 数Ht(x)， t＝1 ……M， 并根据所有Ht(x)， 获取总目标函数H0(x)， 其中， H0(x)符合如下 条件： S500、 根据T(x)和H0(x)插入至所述学习模型， 得到目标学习模型， 以从数据库中获取K 个目标样本文本作为目标训练集输入至所述目标学习模型中进行训练， 得到已训练的目标 学习模型； S600、 获取目标文本且对每一所述目标文本进行预处理， 得到所述目标文本对应的目 标语句列表， 以将所述 目标语句列表输入至已训练的目标学习模型中， 获取所述 目标文本 对应的标注文本 。 2.根据权利要求1所述的用于标注文本的数据处理系统， 其特征在于， 所述数据库中还 包括R个原始文本， 并从数据库中获取待处理文本Z个待处理文本， 构建成待处理文本列 表Q ＝(Q1， Q2， Q3，……， Qz)， 其中， Qg是指第g个待处 理文本。 3.根据权利要求2所述的用于标注文本的数据处理系统， 其特征在于， 在S100步骤之前 还包括如下步骤确定样本文本： S1、 基于Q且每一所述待处理文本进行预处理， 获取所述待处理文本对应的指定语句列 表； S2、 将所有待处理文本作为指定训练集输入至所述学习模型中进行训练， 获取任一待 处理文本对应的语句向量集且当所述待处理文本对应的语句向量集中任一所述语句向量 对应的概 率值＜预设的第一 概率阈值时， 将所述待处 理文本作为样本文本 。 4.根据权利要求3所述的用于标注文本的数据处理系统， 其特征在于， 在S1步骤中， 所 述指定语句列表中指定语句是指将所述待处理文本按照预设规则进行语句划分处理生成 的语句。 5.根据权利要求3所述的用于标注文本的数据处理系统， 其特征在于， 在S2步骤中， 还 包括如下步骤确定语句向量：权　利　要　求　书 1/2 页 2 CN 114020877 A 2获取任一指定语句 对应的字符列表C＝(C1， C2， C3，……， Cp)， Cq是指在所述指定语句中 第q个字符， q＝1 ……p， p为字符数量； 将任一C输入至所述学习模型中， 获取Cq对应的中间函数Eq(x)， 以根据Cq对应的函数Eq (x)， 确定出Cq对应的概 率值Fq； 当Fq≥预设的第二 概率阈值时， 将Cq对应的标记为1； 当Fq＜预设的第二 概率阈值时， 将Cq对应的标记为0； 根据所有Cq对应的标记， 获取指定语句。 6.根据权利要求3所述的用于标注文本的数据处理系统， 其特征在于， 在S2步骤之后， 还包括如下步骤： S3、 当任一指定语句对应的概率值≥所述第一概率阈值时， 获取任一所述待处理文本 对应的概 率值F， F符合如下 条件： 其中， Fq是指在第α个指定语句中第q个字符的概率值， p为第α个指定 语句中字符数量， α ＝1 ……β， β 为任一待处 理文本中指定语句数量； S5、 当F＜预设的第三 概率阈值时， 将F对应的所述待处 理文本作为样本文本 。 7.根据权利要求1所述的用于标注文本的数据处理系统， 其特征在于， 所述第 二样本文 本是指在所有样本中除所述第一样本文本之外的其 他样本文本 。 8.根据权利要求1所述的用于标注文本的数据处理系统， 其特征在于， 不同所述标注端 ID对应的B中所有第二样本文本不相同。 9.根据权利要求1所述的用于标注文本的数据处理系统， 其特征在于， 在S600步骤中， 当所述目标文本对应的目标语句列 表输入至所述已训练的目标学习模型时， 所述已训练的 目标学习模型中只具有H0(x)。 10.根据权利要求2所述的用于标注文本的数据处理系统， 其特征在于， 所述目标文本 是指在数据库中除待处 理文本之外的其 他任一原 始文本。权　利　要　求　书 2/2 页 3 CN 114020877 A 3