(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111674925.0 (22)申请日 2021.12.31 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 张小瑞　原春霖　孙伟　孙逊　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06F 16/9536(2019.01) G06F 40/268(2020.01) G06F 40/30(2020.01) G06F 16/33(2019.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种双向门控卷积网络的社交内容抑郁检 测方法 (57)摘要 本发明公开了一种双向门控卷积网络的社 交内容抑郁检测方法， 获取社交内容中的文本和 图像， 对文本进行矢量化处理， 得到单词向量序 列； 根据单词向量序列构造词性位置注意力特征 矩阵， 计算卷积网络的输入矩阵， 再经多尺度滤 波器卷积得到多 通道卷积特征； 使用Bi ‑GRU对单 词向量序列进行编码得到单词表 示， 通过词向量 情感注意力机制在单词间分配权重， 得到句子表 示； 通过残差注意网络对图像进行编码， 再通过 视觉注意力机制学习图像特定注 意力权重， 与句 子表示聚合成图像特定文本表 示； 图像特定文本 通过学习图像特定文本重要性权重聚合得到最 终文本表 示； 将多通道卷积特征与最终文本表示 进行特征拼接， 再通过softmax分类器获得是否 抑郁及抑郁严重程度。 权利要求书2页 说明书5页 附图1页 CN 114491289 A 2022.05.13 CN 114491289 A 1.一种双向门控卷积网络的社交内容抑郁检测方法， 其特 征在于， 包括如下步骤： 获取社交内容中的文本和图像， 对文本进行矢量 化处理， 得到单词向量序列； 根据单词向量序列构造词性位置注意力特征矩阵， 计算卷积网络的输入矩阵， 再经多 尺度滤波器卷积得到多通道卷积特 征； 使用Bi‑GRU对单词向量序列进行编码得到单词 表示， 通过词向量情感注意力机制在单 词间分配权 重， 得到句子表示； 通过残差注意网络对图像进行编码， 再通过视觉注意力机制学习图像特定注意力权 重， 与句子表示聚合成图像特定文本表示； 图像特定文本通过 学习图像特定文本 重要性权 重聚合得到最终文本表示； 将多通道卷积特征与最终文本表示进行特征拼接， 再通过softmax分类器获得是否抑 郁及抑郁严重程度。 2.根据权利要求1所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 所述社交内容中的文本划分为L个句子si， 句子si由T个单词wi， t组成， 其中i∈(1， …， L)， t∈(1，…， T)。 3.根据权利要求1所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 所述卷积网络的输入矩阵计算如下： 其中， ze为卷积网络的输入矩阵， e为目标词位置， δ为影响程度， ε为权重系数， Ae为词性 注意力特 征矩阵， ta ge为词性向量， P为句子位置矩阵， n 为句子长度。 4.根据权利要求1所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 所述卷积网络的输入矩阵经过3 ‑5组尺度不同的滤波器卷积， 所述滤波器每组为 128个， 步长stride设置为1。 5.根据权利要求1所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 所述词向量情感注意力机制在单词间分配权 重的计算如下： ui， t＝UTtanh(hi， tWw+bw) hi＝∑tαi， thi， t 其中， ui， t为相对重要性， UT为上下文向量， t anh为非线性激活函数， hi， t为单词表示， Ww 为单词权 重矩阵， bw为单词偏差， αi， t为单词注意力权 重， hi为句子表示。 6.根据权利要求1所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 使用残差注 意网络对 社交内容中的图像进 行编码， 包括以ResNet ‑101为基础， 堆叠多个 残差注意 块RAB， 作为特 征选择器。 7.根据权利要求1所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 所述使用残差注意网络对图像进行编码的过程如下： mj＝f(Vj)权　利　要　求　书 1/2 页 2 CN 114491289 A 2Vj＝T(aj)*(1+M(aj)) 其中， mj为图像表示， f为视觉注意函数， Vj为空间特征向量， aj为图像， T(aj)为主干分支 输出， M(aj)为掩码分支输出， j∈(1， …， E)为所取图像位置， E为图像数量。 8.根据权利要求1所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 所述视 觉注意力机制处 理如下： pj＝tanh(Wpmj+bp) qi＝tanh(Wqhi+bq) vj， i＝VT(pj*qi+qi) dj＝∑iβj， ihi 其中， pj为图像投影， Wp为图像对应权重， mj为图像表示， bp表示图像偏差， qi为句子投 影， Wq为句子权重， hi为句子表示， bq表示句子偏差， vj， i为注意力值， VT为学习向量， βj， i为图 像特定注意力权 重， dj为图像特定文本表示。 9.根据权利要求8所述的一种双向门控卷积网络的社交内容抑郁检测方法， 其特征在 于， 所述最终文本表示的计算如下： kj＝KTtanh(djWd+bd) d＝∑jγjdj 其中， kj为dj的重要性， KT为全局上下文注意力向量， Wd为dj对应的权重矩阵， bd为文本 偏差， γj为图像特定文本 重要性权 重， d为最终文本表示。 10.一种计算机系统， 其特 征在于， 包括处 理器及存 储介质； 所述存储介质用于存 储指令； 所述处理器用于根据所述指令进行操作以执行根据权利要求1～9任一项所述方法的 步骤。权　利　要　求　书 2/2 页 3 CN 114491289 A 3