(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210392419.0 (22)申请日 2022.04.15 (65)同一申请的已公布的文献号 申请公布号 CN 114492363 A (43)申请公布日 2022.05.13 (73)专利权人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 刘红丽　李峰　于彤　申冲　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 耿苑 (51)Int.Cl. G06F 40/186(2020.01) G06F 16/335(2019.01)G06F 16/36(2019.01) (56)对比文件 CN 114254642 A,202 2.03.29 CN 113468877 A,2021.10.01 CN 112784879 A,2021.0 5.11 CN 10952 2850 A,2019.0 3.26 审查员 祝子豪 (54)发明名称 一种小样本微调方法、 系统及相关装置 (57)摘要 本申请提供一种小样 本微调方法， 涉及计算 机技术领域， 包括： 输入 数据集， 按固定模板组成 输入样例； 构建候选标签词集合和候选p rompt模 板集合； 通过 强化学习搜索所述输入样例对应的 候选标签词集合中的最佳标签词， 和所述输入样 例对应的所述候选prompt模板集合中的提示模 板； 输出所述最佳标签词映射关系以及所述提示 模板对应的最佳p rompt模板格式。 本申请通过构 建候选标签词集合， 通过选择近义词集合和条件 概率集合的交集， 缩减候选标签词搜索空间， 同 时减少不同pro mpt模板之间的差异性， 提高下游 任务准确率。 本申请还提供一种小样本微调系 统、 计算机可读存储介质和电子设备， 具有上述 有益效果。 权利要求书2页 说明书9页 附图1页 CN 114492363 B 2022.07.15 CN 114492363 B 1.一种小样本微调方法， 其特 征在于， 包括： 输入数据集， 按固定模板组成输入样例； 构建候选标签词集 合和候选prompt模板集 合； 通过强化学习搜索所述输入样例对应的候选标签词集合中的最佳标签词， 和所述输入 样例对应的所述 候选prompt模板集 合中的提 示模板； 输出所述最佳标签词映射关系以及所述 提示模板对应的最佳prompt模板格式； 其中， 构建候选标签词集 合和候选prompt模板集 合包括： 自动化选择最佳候选标签词； 自动化选择候选prompt模板； 其中， 所述自动化选择最佳候选标签词包括： 初始化词表； 采用word2vec方法将所述词 表中所有的词向量化， 通过余弦相似度确定每个标签对应 的近义词集 合； 通过未经微调的预训练模型， 对于训练集中的每一个类别， 在所述词表中选择使得条 件概率最大的单词， 以及包 含所述单词的条件概 率集合： 确定各类别下的候选标签词为所述近义词集 合和所述条件概 率的几何 交集的最大值； 综合各类别下的候选标签词， 确定令所述训练集正确率最大的分配方式作为最佳候选 标签词。 2.根据权利要求1所述的小样本微调方法， 其特征在于， 所述输入数据集， 按固定模板 组成输入样例包括： 获取输入内容； 将所述输入内容以固定模板表示； 计算所述输入内容与训练集中所有样本之间的余弦相似度； 从前预设百分比的训练集样本中进行随机采样， 得到 输入样例。 3.根据权利 要求1所述的小样本微调方法， 其特征在于， 所述自动化选择候选prompt模 板包括： 确定所述 最佳候选标签词； 通过填充占位符生成初始提示模板； 所述初始提示模板用于令所述训练集中的输出概 率最大； 采用集束搜索算法对所述初始提 示模板解码得到候选prompt模板 。 4.根据权利要求3所述的小样本微调方法， 其特征在于， 通过强化学习搜索所述输入样 例对应的候选标签词集合中的最佳标签词， 和所述输入样例对应的所述候选pr ompt模板集 合中的提 示模板包括： 确定每个类别的前 预设数量个候选标签词集 合； 将所述候选标签词集合与所述候选prompt模板对应的模板集合组合得到搜索空间列 表； 通过所述搜索空间列表确定所述输入样例对应的候选标签词集合中的最佳标签词， 和 所述输入样例对应的所述 候选prompt模板集 合中的提 示模板。 5.一种小样本微调系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114492363 B 2样例组成模块， 用于 输入数据集， 按固定模板组成输入样例； 候选集合构建模块， 用于构建候选标签词集 合和候选prompt模板集 合； 最佳选择模块， 用于通过强化学习搜索所述输入样例对应的候选标签词集合中的最佳 标签词， 和所述输入样例对应的所述 候选prompt模板集 合中的提 示模板； 输出模块， 用于输出所述最佳标签词映射关系以及所述提示模板对应的最佳prompt模 板格式； 其中， 候选集合构建模块为用于自动化选择最佳候选标签词， 以及自动化选择候选 prompt模板的模块； 其中， 所述 候选集合构建模块 为用于执 行如下步骤的模块： 初始化词表； 采用word2vec方法将所述词 表中所有的词向量化， 通过余弦相似度确定每个标签对应 的近义词集 合； 通过未经微调的预训练模型， 对于训练集中的每一个类别， 在所述词表中选择使得条 件概率最大的单词， 以及包 含所述单词的条件概 率集合： 确定各类别下的候选标签词为所述近义词集 合和所述条件概 率的几何 交集的最大值； 综合各类别下的候选标签词， 确定令所述训练集正确率最大的分配方式作为最佳候选 标签词。 6.根据权利要求5所述的小样本微调系统， 其特 征在于， 所述样例组成模块包括： 输入单元， 用于获取输入内容； 转换单元， 用于将所述输入内容以固定模板表示； 相似度计算单 元， 用于计算所述输入内容与训练集中所有样本之间的余弦相似度； 采样单元， 用于从前 预设百分比的训练集样本中进行随机采样， 得到 输入样例。 7.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现如权利要求1 ‑4任一项所述的方法的步骤。 8.一种电子设备， 其特征在于， 包括存储器和 处理器， 所述存储器中存有计算机程序， 所述处理器调用所述存储器中的计算机程序时实现如权利要求1 ‑4任一项所述的方法的步 骤。权　利　要　求　书 2/2 页 3 CN 114492363 B 3