(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210795893.8 (22)申请日 2022.07.06 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 袁时金　王冠淞　穆斌　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 杨宏泰 (51)Int.Cl. G06Q 10/04(2012.01) G06V 20/13(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06Q 50/26(2012.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多模态数据融合的台风概率预报 智能方法及装置 (57)摘要 本发明涉及一种基于多模态数据融合的台 风概率预报智能方法及装置， 该方法包括以下步 骤： A、 构建台风智能预报模型； B.训练台风预报 智能模型； C.使用训练好的台风预报智能模型进 行推断预测。 区别于气象学领域使用动力学数值 模式的方法预报台风， 本发明提供的方法完全基 于数据驱动的深度学习技术， 并在建模过程中考 虑了台风预报有关的高维遥感资料、 再分析资料 和动力‑统计因子资料以及它们之间的跨模态依 赖对于台风发展的影响， 且提供台风路径与强度 的概率预报， 与现有技术相比， 本发明具备低成 本、 易改进、 预报精度和置信 度高等优点， 可用于 改进台风的业 务预报。 权利要求书3页 说明书10页 附图3页 CN 115271181 A 2022.11.01 CN 115271181 A 1.一种基于多模态数据融合的台风概率智能预报方法， 其特征在于， 该方法包括以下 步骤： A、 构建台风智能预报模型； B.训练台风预报智能模型； C.使用训练好的台风预报智能模型进行推断预测。 2.根据权利要求1所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤A具体包括以下步骤： A.1、 根据 大气动力学和热力学模型选定并收集与台风相关的多模态多要素气象资料， 包括卫星和雷达遥感图像、 再分析格点资料和统计动力学因子三种模态的数据， 构建多模 态数据预处理模块， 根据台风最佳路径数据中的记录作为索引， 匹配多模态多变量输入因 子， 对多模态多变量数据进行插值和归一化处理、 时空分辨率调整以及自回归序列构建的 预处理过程； A.2、 针对不同模态的数据和不同的物理变量， 确定引导时间与覆盖区域， 构建多模态 多变量特征编 码网络并通过遥感图像编 码网络、 海气格点编码网络和实体嵌入编 码网络分 别提取遥感图像、 海气格点和统计 ‑动力因子的时空特 征； A.3、 基于Transformer融合网络捕捉多模态多要素变量的耦合交互过程， 确定跨模态 特征依赖， 融合多模态特 征； A.4、 针对台风强度、 路径构建概率预报网络， 以融合后的多模态特征作为输入， 完成台 风路径和强度预报， 并且针对台风降雨构建降雨预报网络， 以融合后的多模态特征和海气 格点编码网络提取的多尺度降雨特 征图作为输入， 完成台风降雨的预报。 3.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤A.1中， 多模态多要素气象资料包括卫星和雷达遥感图像、 再分析格点资 料和统计动力学因子三种模态的数据。 4.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤A.2中， 多模态多变量特 征编码网络的编码表达式为： ZIMG， ZSDF， ZENV， ZRAIN＝encoder(XIMG， XSDF， XENV) 其中， XIMG， XSDF， XENV分别为起报 时刻前24小时内的遥感图像资料、 统计 ‑动力因子资料 和环境海气格点资料， 每种 模态的数据使用单独的特征编码器encoder( ·)， ZIMG、 ZSDF、 ZENV 分别为遥感图像、 海气格点和统计 ‑动力因子的时空特 征， ZRAIN为多尺度降雨特 征图。 5.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤A.3中， 对于台风路径和强度预报， 将 遥感图像和统计 ‑动力因子的特征数 据作为主模态， 将海气 格点特征的特征数据作为辅助模态； 对于台风降雨预报， 将海气 格点 数据和遥感图像的特征数据作为主模态， 将统计 ‑动力因子的特征数据作为辅助模态， 通过 构建包含D层的Tr ansformer 融合网络， 采用多头自注意力 特征融合方式， 将所有模态的特 征聚集到主模态特征上， 并更新主模态特征， 辅助模态的特征只完成自身的更新， 并不聚合 来其他模态特 征的信息， 则基于Transformer融合网络的计算表达式为： 其中， 表示初始主模态特征， 表示初始辅助模态特征， 上标D表示第D层，权　利　要　求　书 1/3 页 2 CN 115271181 A 2为将所有模态信息聚合到主模态之后的第D层的特 征。 6.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤A.4中， 降雨预报网络的计算表达式为： 其中， Rain_dec oder为降雨 预报的特征解码器， 为预报h个时间步 所包含的降雨 场输出， ZIMG， SDF， ENV→SDF为融合后的多 模态特征， ZRAIN为多尺度降雨特 征图。 7.根据权利要求2所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤A.4中， 概 率预报网络的计算表达式为： 其中， 为上一个时间步的强度与路径预报值， 其取值分布由高斯混合模型 拟合而成， 即将变量分布分解为多个高斯分布函数 的线性组合， at为序列位置 的编码向量， Zt为t时刻来自Transformer融合网络的融合特征， RNN代表循环神经网络， 代表正态分布函数， 其权重系数π和参数μ， σ2由神经网络拟合， P为不同 取值的概 率密度， 即为概率预报结果， k表示第k个高斯分布函数， K为高斯混合模型中高斯分布函数 的个数。 8.根据权利要求1所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤B具体包括以下步骤： B.1、 选定台风预报相关的多模态多 要素资料， 构造训练数据集； B.2、 对各变量选择合 适的时间分辨 率和空间分辨 率， 进行特征工程预处 理数据； B.3、 以台风个例为索引， 按照8:1:1的比例随机划分训练集、 验证集和测试集， 利用训 练集进行充分训练， 利用验证集 监督训练效果， 利用测试集计算模型 预报技巧。 9.根据权利要求8所述的一种基于多模态数据融合的台风概率智能预报方法， 其特征 在于， 所述的步骤C具体包括以下步骤： C.1、 基于起报时间的多模态多变量初始气象资料， 确定预测初始场， 并进行与步骤B.2 相同的数据预处 理， 充当台风预报方法的输入； C.2、 将数据预处理后的预报初始场输入至各个模态数据的特征编码网络进行特征提 取和降维， 编码多模态数据的时空特 征； C.3、 将多模态特征输入Transformer融合网络， 确定跨模态特征依赖， 聚合多模态特 征； C.4、 将聚合后的多模态特征输入概率预报网络， 进行台风路径、 强度和降水的序列预 报， 获取混合高斯分布叠加后的预报值概率分布； 将海气格点编码网络输出 的不同尺度特 征编码与聚合后的多模态特 征结合， 输入降雨预报网络， 获取降雨场的预报结果； C.5、 处理台风预报结果， 计算评价指标。 10.一种基于多模态数据融合的台风 概率智能预报装置， 其特 征在于， 该装置包括：权　利　要　求　书 2/3 页 3 CN 115271181 A 3