(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210034162.1 (22)申请日 2022.01.13 (65)同一申请的已公布的文献号 申请公布号 CN 114049569 A (43)申请公布日 2022.02.15 (73)专利权人 自然资源部第三 地理信息制图院 地址 610100 四川省成 都市龙泉驿区建 设 路2号附2号 (72)发明人 刘立　董先敏　周启　文学虎　 李维庆　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 代理人 杜阳阳 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 106846344 A,2017.0 6.13 CN 111931782 A,2020.1 1.13 WO 2021152089 A1,2021.08.0 5 US 20213 66123 A1,2021.1 1.25 CN 113033403 A,2021.0 6.25 CN 109446992 A,2019.0 3.08 万春曼.基 于遥感影像的水土保持监测研 究. 《中国优秀博硕士学位 论文全文数据库 （硕 士） 工程科技 II辑》 .2021,第C 028-89页. 李熹 等.融合语义-表 观特征的无监 督前景 分割. 《中国图象图形 学报》 .2021,第26卷(第10 期),第25 03-2513页. Antonio-Javier Gal lego 等.Semantic Segmentati on of SLAR Ima gery with Convolutional LSTM Selecti onal AutoEncoders. 《remote sensi ng》 .2019,第1 1卷 (第12期),第1-2 2页. (续) 审查员 李秋萍 (54)发明名称 一种深度学习模型性能评价方法及系统 (57)摘要 本发明涉及一种深度学习模型性能评价方 法及系统， 首先分别获取真实标签与预测结果中 的连通图斑， 然后根据空间位置关系对这些连通 图斑信息进行校准， 并根据校准后的连通图斑信 息计算真实标签与预测结果的连通图斑序列的 相似度， 最后根据该相似度评价深度学习模型性 能。 本发明以连通图斑为粒度， 聚焦空间位置和 空间关系， 以标记图像和预测图像的连通序列相 似程度来进行模 型性能的评价， 从而能够直接 反 映预测结果在空间 几何特征上的保持情况。 [转续页] 权利要求书3页 说明书11页 附图5页 CN 114049569 B 2022.03.18 CN 114049569 B (56)对比文件 Huipu Xu 等.An I ntegrated St rategy toward the Ext raction of Contour and Region of Sonar Images. 《Journal of Mari ne Science and Engi neering》 .2020,第1-20页.Marek Bundzel 等.Semantic Segmentati on of Airborne L iDAR Data i n Maya Arc haeology. 《remote sensi ng》 .2020,第 1-22页.2/2 页 2[接上页] CN 114049569 B1.一种深度学习模型性能评价方法， 其特 征在于， 所述方法包括： 获取第一连通图斑以及第二连通图斑， 所述第一连通图斑从真实标签中提取得到， 所 述第二连通图斑从所述真实标签对应的预测结果中提取得到； 所述预测结果包括每个 Epoch模型的预测结果； 深度学习模型的每一个训练时期为1个Epoc h模型； 分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总 数量， 分别得到标准标记连通序列 A和预测连通序列集合B； 所述预测连通序列集合B包含若 干个预测连通序列Bk； Bk表示第k个Epoch模型对应的预测连通序列； 每个所述 预测连通序列 Bk包含一个Ep och模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数 量； 根据所述标准标记连通序列A对所述预测连通序列集合B中的每个 预测连通序列BK进行 空间校准， 得到校准连通序列集合C； 所述校准连通序列集合C包括若干个校准连通序列 CK， 每个所述校准连通序列CK由一个预测连通序列BK空间校准得到； 计算所述标准标记连通序列A 中的第i个元素ai与所述校准连通序列集合C中的校准连 通序列CK中的第j个元素cj的欧式距离； 构建m×n的相似性矩阵P， 所述相似性矩阵P中的元素P( i,j)为distance( ai,cj)； 其中， m为所述标准标记连通序列A中的元 素总数， n 为所述校准连通序列CK中的元素总数； 以相似性矩阵P中目标对角线两端的元素分别为起点和终点， 所述目标对角线为主对 角线或副对角线， 依次从起点至终点搜索出一条路径， 在搜索过程中， 每一步均搜索前进方 向上元素值最小的元 素； 将所述路径上的所有元素相加得到所述标准标记连通序列A与所述校准连通序列CK的 相似度； 遍历所述校准连通序列集 合C中的所有校准连通序列CK， 得到相似度集 合； 根据所述相似度集 合评价深度学习模型。 2.根据权利要求1所述的深度学习模型性能评价方法， 其特 征在于， 所述第一连通图斑包括一个或多个像素， 同一第一连通图斑中像素的像素值相同， 且 当所述第一连通图斑具有多个像素时， 所述第一连通图斑中， 任一像素在水平方向或垂直 方向上具有相邻像素； 所述第二连通图斑包括一个或多个像素， 同一第二连通图斑中像素的像素值相同， 且 当所述第二连通图斑具有多个像素时， 所述第二连通图斑中， 任一像素在水平方向或垂直 方向上具有相邻像素。 3.根据权利要求1所述的深度 学习模型性能评价方法， 其特征在于， 所述获取第 一连通 图斑以及第二连通图斑， 所述第一连通图斑从真实标签中提取得到， 所述第二连通图斑从 所述真实标签对应的预测结果中提取得到； 所述预测结果包括每个Epoch模型的预测结果， 具体包括： 采用四邻域两遍扫描法， 由左向右、 由上向下对深度学习模型的真实标签与每个Epoch 模型预测结果进行 逐行扫描搜索， 得到若干个第一连通图斑和若干个第二连通图斑。 4.根据权利要求3所述的深度 学习模型性能评价方法， 其特征在于， 所述分别提取所述 第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量， 分别得到标准 标记连通序列A和预测连通序列集合B； 所述预测连通序列集合B包含若干个预测连通序列权　利　要　求　书 1/3 页 2 CN 114049569 B 3