(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659209.5 (22)申请日 2021.12.3 0 (71)申请人 南京邮电大 学 地址 210046 江苏省南京市栖霞区文苑路9 号 (72)发明人 戴华　胡正　刘源龙　陆佳行　 杨庚　陈燕俐　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 代理人 张玉红 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 一种基于主题语义信息的关键词向量化方 法及其应用 (57)摘要 本发明公开一种基于主题语义信息的关键 词向量化方法及其应用， 具体包括： 首先利用 Sentence‑BERT模型为每个文档生成具有文档语 义信息的向量； 再通过UMAP降维算法对生成的文 档向量进行降维并突显局部语义特征； 然后， 在 降维后的文档向量上进行HDBSCAN主题聚类， 并 将每个文档归类到一个或多个主题中； 最后， 利 用文档和主题之间的关系， 计算主题中每一个关 键词的主题词频率 ‑逆主题频率(TTF ‑ITF)得分， 对该关键词与每个主题的主题词频率 ‑逆主题频 率(TTF‑ITF)得分进行合并， 生成最终的关键词 向量。 本发 明实现高精度表征主题语义信息的关 键词向量化， 可应用于主题词提取、 文本分类和 文档检索。 权利要求书2页 说明书5页 附图4页 CN 114298020 A 2022.04.08 CN 114298020 A 1.一种基于主题语义信息的关键词向量化方法， 其特征在于， 所述方法包括以下实现 步骤： 步骤S1， 使用Sentence ‑BERT模型输入文档集D进行训练， 提取文档中蕴含的语义信息， 生成文档向量矩阵 行向量 是文档di的文档向量； 步骤S2， 使用UMAP降维算法将文档向量矩阵 降维后形成文档向量矩阵为 行向量 是文档di降维后的文档向量； 步骤S3， 采用HDBSCAN聚类算法将降维后的文档向量 进行聚类， 形成m个聚类聚类主题 T＝{t1,t2,…,tm}， 然后将各文档根据其主题信息， 归类到对应的主题中； 步骤S4， 利用主题词频率 ‑逆主题频率的计算方式， 计算 关键词集合W中每一个关键词wi 与主题T中每个主题的主题词频率 ‑逆主题频率得分， 将该得分合并得到关键词主题向量 θi。 2.根据权利要求1所述的一种基于主题语义信 息的关键词向量化方法， 其特征在于， 步 骤S3中所述HDBSCAN聚类算法为常规聚类方式， 具体为将D中每个文档di归类到某个主题tj 中， 记为di→tj， 表示文档di被归类到主题 tj中。 3.根据权利要求1所述的一种基于主题语义信 息的关键词向量化方法， 其特征在于， 所 述步骤S3中所述HDBSCAN聚类算法为软聚类方式， 将D中每个文档di生成一个软集群成员向 量Φ[i]， Φ[i]向量也是di的文档主题向量； 所有文档的文档主题向量构成文档 ‑主题矩阵 Φ， Φ[i][j]表示文档di属于主题tj的概率； 对于D 中的每个文档di， 计算与di最相关的前k 个主题， 记为 k‑Topic(di)， 计算方法如下： k‑Topic(di)＝{tj|Φ[i][j]∈topk{Φ[i][k]|tk∈T}} 其中topk{}表示获取集 合中最大的k个元 素， 对于任一主题 ti， 计算ti关联的文档集 合， 记为Docs(ti)， 计算方法如下： Docs(ti)＝{dj|dj∈D∧ti∈k‑Topic(dj)} 其中， k‑Topic(dj)是与文档di最相关的前k个主题。 4.根据权利要求1所述的一种基于主题语义信 息的关键词向量化方法， 其特征在于， 所 述步骤S4具体包括以下步骤： 步骤S4.1， 针对W中的每一个关键词wi， 计算其在T中每个主题tj中的词频记为ttf(wi, tj)， 计算方法如下： 其中， ni,j是关键词wi在主题tj中出现的次数， ∑knk,j是所有关键词在主题tj中出现的总 次数； 步骤S4.2， 针对W中的每一个关键词wi， 计算wi的逆主题频率， 记为itf(wi)， 计算方法如 下： 其中， |T|表示主题总数量， |{j:wi∈tj}|表示含有关键词wi的主题数量； 步骤S4.3， 关键词wi和主题tj之间的主题词频率 ‑逆主题频率 的得分记为ttf ‑itf(wi,权　利　要　求　书 1/2 页 2 CN 114298020 A 2tj)， 它衡量关键词wi对主题tj的重要程度， 计算方法如下： ttf‑itf(wi,tj)＝ttf(wi,tj)·itf(wi) 步骤S4.4， 根据步骤S 4.3中得到的关键词wi和主题tj之间的主题词频率 ‑逆主题频率得 分， 合并得到关键词wi的主题向量， 记为θi， 方法如下： θi＝[ttf‑itf(wi,t1),ttf‑itf(wi,t2),…,ttf‑itf(wi,tm)]。 5.权利要求1 ‑4中任意一项权利要求所述的基于主题语义信 息的关键词向量化方法在 文档检索中的应用， 其特征在于， 所述应用包括步骤： 首先采用权利要求1中所述的关键词 向量化方法对待检索的所有文档进行关键词向量化处理， 然后输入关键词检索出相应的文 档。 6.根据权利要求5所述的应用， 其特征在于， 设置检索关键词集合为Q＝{w1,w2,…,wp}， 其中wp是关键词字典中第p个关键词， 根据关键词 主题向量， 生成查询Q的检索主题向量VQ， 如下所示： 其中， PD和PW分别是主题概率向量和关键词概率向量， 然后 计算VQ和Φ中所有文档 主题 向量的内积， 根据内积计算结果 排序， 即可 得到与检索关键词相关的文档。权　利　要　求　书 2/2 页 3 CN 114298020 A 3