(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111369886.3 (22)申请日 2021.11.18 (65)同一申请的已公布的文献号 申请公布号 CN 113806565 A (43)申请公布日 2021.12.17 (73)专利权人 中科雨辰科技有限公司 地址 100093 北京市海淀区清琴麓 苑170号 楼2层 (72)发明人 傅晓航　刘羽　张正义　林方　 (74)专利代理 机构 北京锺维联合知识产权代理 有限公司 1 1579 代理人 原春香 (51)Int.Cl. G06F 16/383(2019.01) G06N 20/00(2019.01)(56)对比文件 CN 111783518 A,2020.10.16 CN 110110327 A,2019.08.09 CN 110807086 A,2020.02.18 WO 2021174864 A1,2021.09.10 审查员 王妍 (54)发明名称 一种文本标注的数据处 理系统 (57)摘要 本发明涉及一种文本标注的数据处理系统， 所述包括数据库、 处理器和存储有计算机程序的 存储器， 当计算机程序被处理器执行时， 实现步 骤： 获取第一样本文本对应的样本语句列表； 将 所有样本语句列表输入至预设的学习模型中进 行训练， 获取所有中间文本且从所有中间文本中 获取若干个中间文本且划分成若干个中间文本 列表， 将中间文本列表 每一发送至每一标注端 ID 对应的标注端， 获取第二样本文本； 将所有第二 样本文本输入至学习模型中进行训练， 得到已训 练的学习模 型， 将目标语句列表作为预测集输入 至已训练的学习模型中， 得到目标文本对应的标 注文本。 本发 明能够无需人员进行标注且对文本 进行标注， 提高文本标注的准确性和效率。 权利要求书3页 说明书6页 附图2页 CN 113806565 B 2022.03.25 CN 113806565 B 1.一种文本标注 的数据处理系统， 其特征在于， 所述系统包括： 数据库、 处理器和存储 有计算机程序的存储器， 其中， 所述数据库包括N个文本和M个标注端ID， 当所述计算机程序 被处理器执行时， 实现以下步骤： S100、 从数据库中获取n个文本均作为第一样本文本且对每一所述第一样本文本进行 预处理， 获取所述第一样本文 本对应的样本语句列表A＝(A1， A2， A3，……， Am)， Aj为所述第一 样本文本中第j个样本语句， j＝1 ……m， m为样本语句数量； S200、 将所有A作为第一训练集输入至预设的学习模型中进行训练， 获取A对应的样本 向量集B＝(B1， B2， B3，……， Bm)， Bj是指Aj对应的语句向量且当任一Bj对应的概率值Fj＜预设 的第一概率阈值时， 将B对应的第一样本文本作为中间文本， 在S200步骤中， 还包括如下步 骤确定Bj： 获取Aj对应的字符列表(Aj1， Aj2， Aj3，……， Ajp)， Ajq是指Aj中第q个字符， q＝1 ……p， p为 字符数量； 将任一Aj对应的字符列表输入至所述学习模型中， 获取Ajq对应的第一中间函数fq(x)， 以根据Ajq对应的函数fq(x)， 确定出Ajq对应的概 率值Fjq； 当Fjq≥预设的第二 概率阈值时， 将Ajq对应的标记为1； 当Fjq＜预设的第二 概率阈值时， 将Ajq对应的标记为0； 根据所有Ajq对应的标记， 获取Bj； S300、 获取所有中间文本且从所有中间文本中获取若干个中间文本且划分成M个中间 文本列表， 并将每一所述 中间文本列表D＝(D1， D2， D3，……， DS)， Dr是指第r个中间文本， r＝ 1……s， s为每一所述标注端ID对应的中间文本数量且s≤n， 发送至每一所述标注端ID对应 的标注端， 以使得所述标注端对Dr进行标注， 将标注后的Dr作为第二样本文本； 在S300步骤 之前， 还包括： 当任一Bj对应的概率值Fj≥所述第一概率阈值时， 获取任一所述第一样本文本对应的 概率值F， F符合如下 条件： 当F＜预设的第三 概率阈值时， 将F对应的所述第一样本文本作为中间文本； S400、 将所有第二样本文本作为第二训练集输入至所述学习模型中进行训练， 得到已 训练的学习模型； S500、 从所述数据库中N ‑n个文本均作 为目标文本且对每一所述目标文本进行预处理， 获取所述目标文本对应的目标语句列 表， 以所有的所述目标语句列 表作为预测集输入至已 训练的学习模型中， 得到所述目标文本对应的标注文本； 其中， 所述系统执 行程序还实现如下步骤： S1、 获取第一关键文本列表a＝(a1， a2， a3，……， aθ)， aβ是指第β个第一关键文本， β＝ 1……θ， θ为第一关键文本数量， 和M个第二关键文本列表b＝(b1， b2， b3，……， bλ)， bγ是指第 γ个第二样本文， γ＝1 ……λ， λ为第二关键文本数量；权　利　要　求　书 1/3 页 2 CN 113806565 B 2S3、 将a发送至所有标注端ID对应的标注端进行标注， 获取aβ对应的M个第一标注文本 同时， 将b发送至单一所述标注端ID对应的标注端进行标注， bγ对应的第二标注文本 以根据所有aβ构建的第一标注文本列表作 为第一目标训练集和所有 构建的第二标 注文本列表作为第二目标训练集； S5、 将第一关键训练集输入至预设的学习模型中， 获取所有标注端ID的第一目标函数T (x)， 可以理解 为： T(x)用于表征 标注端差异的函数； S7、 将第二关键训练集输入至预设的学习模型中， 获取每一所述标注端ID的第二目标 函数Ht(x)， t＝1 ……M， 并根据所有Ht(x)， 获取总目标函数H0(x)， 其中， H0(x)符合如下条 件： 其中， λ为标注端对应的权 重列； S9、 根据T(x)和H0(x)插入至所述学习模型， 得到目标学习模型， 以从数据库中获取η个 目标关键文本作为目标训练集输入至所述目标学习模型中进 行训练， 得到已训练的目标学 习模型； S11、 获取目标文本且对每一所述目标文本进行预处理， 得到所述目标文本对应的目标 语句列表， 以将所述 目标语句列表输入至已训练的目标学习模型中， 获取所述目标文本对 应的标注文本 。 2.根据权利要求1所述的文本标注的数据处理系统， 其特征在于， 在S100步骤中， 所述 样本语句是指将所述第一样本文本按照预设规则进行语句划分处 理生成的语句。 3.根据权利要求1所述的文本标注的数据处 理系统， 其特 征在于， fq(x)为768位的函数。 4.根据权利要求1所述的文本标注的数据处理系统， 其特征在于， 在S300步骤中， 每一 所述标注端ID对应的标注端接收到的D中的中间文本数量 一致。 5.根据权利要求1所述的文本标注的数据处理系统， 其特征在于， 在S400步骤中， 还包 括如下步骤： S401、 对每一所述第二样本文本进行预处理， 获取所述第二样本文本对应的目标语句 列表 为所述第二样本文本中第j个目标语句； S403、 获取 对应的字符列表 是指 中第q个 字符； S405、 将任一 对应的字符列表输入至所述学习模型中， 获取 对应的第二中间函数 hq(x)， 以根据 对应的函数hq(x)与 对应的fq(x)， 对所述 学习模型中进行训练， 得到已 训练的学习模型。 6.根据权利要求5所述的文本标注的数据处理系统， 其特征在于， 第 二样本文本和第 一 样本文本采取相同的预设规则进行语句划分。 7.根据权利要求1所述的文本标注的数据 处理系统， 其特征在于， hq(x)为fq(x)的可逆权　利　要　求　书 2/3 页 3 CN 113806565 B 3