(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210348084.2 (22)申请日 2022.03.29 (71)申请人 北京明略昭辉科技有限公司 地址 100098 北京市海淀区北三环西路25 号27号楼二层2020室 (72)发明人 翟步中　唐大闰　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 曾军 (51)Int.Cl. G06F 16/9535(2019.01) G06V 20/40(2022.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 内容推荐方法、 装置、 电子设备及存 储介质 (57)摘要 本申请涉及一种内容推荐方法、 装置、 电子 设备及存储介质。 该方法包括： 获取目标对象在 聊天应用中的聊天记录， 其中， 聊天记录包括文 本内容和多媒体内容； 对多媒体内容进行识别， 得到物体识别结果， 其中， 物体识别结果用于表 示在多媒体内容中识别出来的物体； 根据文本内 容和物体识别结果构建结构化数据， 其中， 结构 化数据是采用与物体识别结果相关的问题和答 案表示的结构化数据； 根据结构化数据确定聊天 记录中的关键词， 并在聊天应用中向目标对象推 送目标内容。 该方法， 将文本内容和多媒体内容 结合到一起 分析目标对象 的关键词， 从而给目标 对象推送更加感兴趣的目标内容， 进而解决了相 关技术中所推荐的内容与用户需求不匹配的问 题。 权利要求书2页 说明书8页 附图4页 CN 114722279 A 2022.07.08 CN 114722279 A 1.一种内容推荐方法， 其特 征在于， 包括： 获取目标对象在聊天应用中的聊天记录， 其中， 所述聊天记录包括文本内容和多媒体 内容； 对所述多媒体内容进行识别， 得到物体识别结果， 其中， 所述物体识别结果用于表示在 所述多媒体内容中识别出来的物体； 根据所述文本内容和所述物体识别结果构建结构化数据， 其中， 所述结构化数据是采 用与所述物体识别结果相关的问题和答案表示的结构化数据； 根据所述结构化数据确定所述聊天记录 中的关键词， 并在所述聊天应用中向所述目标 对象推送目标内容， 其中， 所述目标内容是根据所述关键词确定的。 2.根据权利要求1所述的方法， 其特征在于， 根据所述物体识别结果构建结构化数据， 包括： 获取与所述物体识别结果相关的问题； 根据所述问题的语义特 征和所述多媒体内容中的物体的特 征， 构建权 重矩阵； 将所述权重矩阵中最大值对应的物体节点加入到特征信息传递图中， 其中， 所述物体 节点是根据所述多媒体内容中的物体的特 征向量生成的； 将所述特征信息传递图、 所述多媒体内容中的物体的特征以及所述语义特征进行融 合， 得到所述问题的答案； 将所述问题和所述问题的答案转 化为所述结构化数据。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述问题的语义特征和所述多媒体 内 容中的物体的特 征， 构建权 重矩阵， 包括： 确定所述多媒体内容中的物体之间的关联度； 根据所述多媒体 内容中的物体与 所述语义特征之间的关系， 确定所述多媒体 内容中的 物体与所述问题之间的相关度； 采用Sij＝f(xi,xj)g(xi,xj,q)， 构建所述权重矩阵， 其中， f(xi,xj)表示所述多媒体内容 中的物体之间的关联度， g(xi,xj,q)表示所述多媒体内容中的物体与所述问题的相关度。 4.根据权利要求2所述的方法， 其特征在于， 将所述特征信息传递图、 所述多媒体内容 中的物体的特 征以及所述语义特 征进行融合， 得到所述问题的答案， 包括： 将所述特征信息传递图、 所述多媒体内容中的物体的特征以及所述语义特征进行拼 接， 得到融合特 征； 使用LSTM网络对所述融合特 征进行编码； 将编码后的所述融合特征输入分类模型， 得到所述问题对各个答案的预测概率， 所述 分类模型是根据联合损失函数训练得到的， 所述联合损失函数是根据所述分类模型的输出 结果与期 望输出结果之 间的损失值、 以及样本图片中的目标区域对应的注意力权重构建得 到的， 所述目标区域是根据所述样本图片对应的样本问题在所述样本图片中确定出的区 域； 将所述预测概 率中的最大 预测概率对应的答案作为所述问题的答案 。 5.根据权利要求1 ‑4中任意一项所述的方法， 其特征在于， 所述多媒体内容为视频， 其 中， 对所述多媒体内容进行识别， 得到物体识别结果， 包括： 按照预定时间 间隔从所述视频中抽取 出多帧帧图像；权　利　要　求　书 1/2 页 2 CN 114722279 A 2将所述多帧 帧图像输入到物体 检测模型中， 得到每帧 帧图像中的物体； 统计每帧帧图像中的物体， 得到所述视频的物体识别结果。 6.根据权利要求1 ‑4中任意一项所述的方法， 其特征在于， 根据 所述结构化数据确定所 述聊天记录中的关键词， 并在所述聊天应用中向所述目标对象推送目标内容， 包括： 利用所述物体识别结果和所述结构化数据构建知识图谱； 根据所述知识图谱确定所述聊天记录中的关键词； 在待推送内容的关键词与 所述聊天记录 中的关键词匹配度 大于预定 阈值的情况下， 将 所述待推送内容作为目标内容； 在所述聊天应用中向所述目标对象推送目标内容。 7.根据权利要求6所述的方法， 其特征在于， 利用所述物体识别结果和所述结构化数据 构建知识图谱， 包括： 将所述多媒体内容的类型作为知识图谱的中心 节点； 将与所述多媒体内容的类型相关的问题和答案作为所述中心 节点的相邻节点。 8.一种内容推荐方装置， 其特 征在于， 包括： 获取单元， 用于获取目标对象在聊天应用中的聊天记录， 其中， 所述聊天记录包括文本 内容和多媒体内容； 识别单元， 用于对所述多媒体内容进行识别， 得到物体识别结果， 其中， 所述物体识别 结果用于表示在所述多媒体内容中识别出来的物体； 构建单元， 用于根据 所述文本 内容和所述物体识别结果构建结构化数据， 其中， 所述结 构化数据是采用与所述物体识别结果相关的问题和答案表示的结构化数据； 推送单元， 用于根据所述结构化数据确定所述聊天记录中的关键词， 并在所述聊天应 用中向所述目标对象推送目标内容， 其中， 所述目标内容是根据所述关键词确定的。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执行存储器上所存放的程序时， 实现权利要求1 ‑7中任一项所述的内容推 荐方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑7中任一项所述的内容推荐方法的步骤。权　利　要　求　书 2/2 页 3 CN 114722279 A 3