(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210027512.1 (22)申请日 2022.01.11 (71)申请人 南方电网深圳数字电网研究院有限 公司 地址 518053 广东省深圳市南 山区沙河街 道高发社区侨香路智慧广场D栋501、 502、 601、 602 (72)发明人 路建成　田松林　赵铭　林镇锋　 周海　刘兆平　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 江银会 (51)Int.Cl. H04L 65/61(2022.01) H04L 65/60(2022.01)H04L 65/65(2022.01) H04L 67/02(2022.01) H04N 19/184(2014.01) H04N 19/20(2014.01) H04N 19/42(2014.01) H04N 21/2187(2011.01) G06V 10/44(2022.01) (54)发明名称 一种实时采集 流媒体的直 播方法及装置 (57)摘要 本发明提供了一种实时采集流媒体的直播 方法及装置， 该方法包括： 在浏览器直播端获取 目标媒体数据， 所述目标媒体数据包括在所述浏 览器直播端实时采集的桌面数据和/或摄像头数 据和/或麦 克风数据； 基于WebAssembl y技术对所 述目标媒体数据进行编码操作， 得到编码媒体数 据， 其中， 所述编码操作包括对所述目标媒体数 据进行压缩操作； 基于WebSocket技术将所述编 码媒体数据推送到媒体服务器； 通过所述媒体服 务器对所述编码媒体数据进行分发直播。 可见， 本发明能够能够在主播到了新环境或者更换了 新设备时， 不需要重新进行主播客户端软件的下 载和安装， 从而提高网络直 播的便利性。 权利要求书2页 说明书12页 附图5页 CN 114553846 A 2022.05.27 CN 114553846 A 1.一种实时采集 流媒体的直 播方法， 其特 征在于， 所述方法包括： 在浏览器直播端获取目标媒体数据， 所述目标媒体数据包括在所述浏 览器直播端实时 采集的桌 面数据和/或摄 像头数据和/或麦克风数据； 基于WebAssembly技术对所述目标媒体数据进行编码操作， 得到编码媒体数据， 其中， 所述编码 操作包括对所述目标媒体数据进行压缩操作； 基于WebSocket技 术将所述编码媒体数据推送到媒体服 务器； 通过所述媒体服务器对所述编码媒体数据进行分发直 播。 2.根据权利要求1所述的实时采集流媒体的直播方法， 其特征在于， 所述基于 WebAssembly技 术对所述目标媒体数据进行编码 操作， 得到编码媒体数据， 包括： 检测第一目标信 息， 所述第 一目标信 息包括采集所述目标媒体数据的时刻对应的直播 网络质量信息和/或流 量信息； 根据所述第一目标信息， 确定所述目标媒体数据的编码参数， 所述编码参数包括编码 值信息； 根据所述编码参数， 基于WebAssembly技术对所述目标媒体数据进行编码操作， 得到编 码媒体数据。 3.根据权利要求1所述的实时采集流媒体的直播方法， 其特征在于， 所述基于 WebAssembly技术对所述目标媒体数据进行编码操作， 得到编码媒体数据， 其中， 所述编码 操作包括对所述目标媒体数据进行压缩操作之前， 所述方法还 包括： 对所述目标媒体数据进行数据 预设处理， 得到处理媒体数据， 其中， 所述数据预设处理 包括图像增强处理和/或图像去噪处理和/或语音去噪处理和/或声源定位处理和/或语音 增益处理和/或波 束成形处 理； 其中， 所述基于WebAssembly技术对所述目标媒体数据进行编码操作， 得到编码媒体数 据， 包括： 基于WebAssembly对目标编码库进行编译， 得到在所述浏览器直播端中可以直接运行 的字节码程序， 其中， 所述目标编码库包括 libx264和/或l ibfaac； 使用所述字节码程序对所述处 理媒体数据进行编码 操作， 得到编码媒体数据。 4.根据权利要求3所述的实时采集流媒体的直播方法， 其特征在于， 所述基于 WebSocket技 术将所述编码媒体数据推送到媒体服 务器， 包括： 根据RFC4571中的RTP封装标准， 对所述编码媒体数据进行封装， 得到 封装数据； 基于WebSocket将所述封装数据推送到媒体服 务器。 5.根据权利要求4所述的实时采集流媒体的直播方法， 其特征在于， 所述基于 WebAssembly技术对所述目标媒体数据进行编码操作， 得到编码媒体数据， 其中， 所述编码 操作包括对所述目标媒体数据进行压缩操作之前， 所述方法还 包括： 基于确定出的图像特 征检测模型对所述目标媒体数据进行检测， 得到目标检测结果； 当所述目标检测结果表示所述目标媒体数据中包括确定出的图像特征时， 对所述目标 媒体数据进行轮廓信息的提取， 得到目标轮廓图像； 对所述目标轮廓图像进行图像预设处理， 得到更新目标媒体数据， 其中， 所述图像预设 处理包括放大处理和/或特写处 理和/或添加特效处 理； 其中， 所述基于WebAssembly技术对所述目标媒体数据进行编码操作， 得到编码媒体数权　利　要　求　书 1/2 页 2 CN 114553846 A 2据， 包括： 基于WebAs sembly技 术对所述更新目标媒体数据进行编码 操作， 得到编码媒体数据。 6.根据权利要求5所述的实时采集流媒体的直播方法， 其特征在于， 所述对所述目标媒 体数据进行轮廓信息的提取， 得到目标轮廓图像， 包括： 基于确定出的图像轮廓 提取模型对所述目标媒体数据进行分离卷积， 得到分离卷积结 果， 其中， 所述图像 轮廓提取模型已完成预 先训练； 根据所述分离卷积结果， 确定所述目标媒体数据的轮廓特 征信息； 提取所述目标媒体数据的所述轮廓特 征信息， 得到目标轮廓图像。 7.根据权利要求6所述的实时采集流媒体的直播方法， 其特征在于， 所述对所述目标轮 廓图像进 行图像预设处理， 得到更新目标媒体数据， 其中， 所述图像预设处理包括放大 处理 和/或特写处 理和/或添加特效处 理之前， 所述方法还 包括： 将所述目标轮廓图像与确定出的待检测轮廓图像进行比对， 得到比对结果， 其中， 所述 比对结果包括所述目标轮廓图像与所述待检测轮廓图像的相似度信息； 判断所述目标轮廓图像与所述待检测轮廓图像的所述相似度信息是否大于等于相似 度阈值； 当判断结果为是时， 触发执行所述的对所述目标轮廓图像进行图像预设处理， 得到更 新目标媒体数据， 其中， 所述图像预设处理包括放大处理和/或特写处理和/或添加特效处 理的操作。 8.一种实时采集 流媒体的直 播装置， 其特 征在于， 所述装置包括： 获取模块， 用于在浏览器直播端获取目标媒体数据， 所述目标媒体数据包括在所述浏 览器直播端实时采集的桌 面数据和/或摄 像头数据和/或麦克风数据； 编码模块， 用于基于WebAssembly技术对所述目标媒体数据进行编码操作， 得到编码媒 体数据， 其中， 所述编码 操作包括对所述目标媒体数据进行压缩操作； 推送模块， 用于基于WebSocket技 术将所述编码媒体数据推送到媒体服 务器； 分发模块， 用于通过 所述媒体服务器对所述编码媒体数据进行分发直 播。 9.一种实时采集 流媒体的直 播装置， 其特 征在于， 所述装置包括： 存储有可执行程序代码的存 储器； 与所述存 储器耦合的处 理器； 所述处理器调用所述存储器中存储的所述可执行程序代码， 执行如权利要求1 ‑7任一 项所述的实时采集 流媒体的直 播方法中的部分或全部步骤。 10.一种计算机存储介质， 所述计算机存储介质存储有计算机指令， 所述计算机指令被 调用时， 用于执行如权利要求1 ‑7任一项所述的实时采集流媒体的直播方法中的部分或全 部步骤。权　利　要　求　书 2/2 页 3 CN 114553846 A 3