(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111665466.X (22)申请日 2021.12.31 (71)申请人 北京译图智讯科技有限公司 地址 100096 北京市昌平区回龙观镇黄平 路19号院2号5层520 (72)发明人 饶顶锋　陶坚坚　刘伟　 (74)专利代理 机构 北京精金石知识产权代理有 限公司 1 1470 代理人 杨兰兰 (51)Int.Cl. G06V 30/414(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种表格信息提取方法及系统 (57)摘要 本发明属于图像处理和模式识别技术领域， 公开了一种表格信息提取方法及系统， 所述方法 包括： 获取表格图像； 检测文本行位置， 获取文本 块坐标信息； 识别文本行内容， 获取文本块文字 内容和方向信息； 校正图像方向， 根据文本块位 置角度、 方向信息计算出图像倾斜角度并进行倾 斜校正； 表格线分析预测， 将图像输入到深度学 习模型中， 提取表格线特征图； 分析融合表格线 生成二值图； 分析表格单元格信息， 基于四边界 线理论聚类并计算表格行列信息； 融合单元格信 息； 格式化输出。 本发明能对表格图像进行精准 提取和复原， 充分利用深度神经网络优秀的特征 提取能力和传统图像处理算法高性能的优势， 提 升了方案的鲁棒性和通用性， 表格提取速度和效 果优良。 权利要求书5页 说明书13页 附图7页 CN 114419647 A 2022.04.29 CN 114419647 A 1.一种表格信息提取 方法， 其特 征在于， 包括如下步骤： 步骤S1： 获取表格图像； 步骤S2： 检测文本行位置： 将步骤S1中的表格图像输入文本行检测模型中预测， 获取表 格图像上每个文本块的坐标信息(x， y， w， h， angle)， 其中， (x， y)表示文本块的中心点位置 坐标， (w， h)表示文本块的宽和高， angle表示文本块的角度； 步骤S3： 识别文本行内容： 将步骤S2检测出来的文本块输入到文本行识别 模型， 获取每 个文本块的文字内容和文本块的方向信息， 所述文本块方向信息包括判断文本块是0 °还是 180°； 步骤S4： 校正 图像方向： 根据S2步骤和S3步骤获取的每个文本块的位置角度信息和方 向信息， 计算出图像的倾 斜角度并进行倾 斜校正； 步骤S5： 表格线分析预测： 将步骤S4输出的图像输入到以图像实例分割为主的深度学 习模型中进行分析， 提取表格线特 征图； 步骤S6： 分析融合表格线： 将步骤S5产生的表格线特 征图融合 生成一张二 值图； 步骤S7： 分析表格单元格信息： 对步骤S6产生的表格线二值图进行表格单元格分析， 分 析基于同一个单元格内的背景像素点都共享相同的上、 下、 左、 右四条边界线的理论， 在表 格范围内找到与每个背景点上下左右距离最近的四条边界线(L， T， R， B)， 其中， L、 T、 R、 B分 别表示距离 当前点距离最近的左边线、 上边线、 右 边线和下边线的ID； 然后根据背 景点的边 界属性进行聚类分析， 即当两个像素点具有相同的边界属 性时， 则认这两个像素属于同一 类， 每类代表一个单元格； 最后根据单元格的坐标信息和连接属性， 进行表格行列信息计 算； 步骤S8： 融合单元格信息： 结合步骤S2， 步骤S3和步骤S7的输出结果， 对单元格信息进 行整合， 获得表格结构信息； 步骤S9： 格式化输出： 将步骤S 8输出的结果， 按照数据格式或文件格式输出。 2.根据权利要求1所述的一种表格信 息提取方法， 其特征在于， 所述步骤S4具体包括如 下步骤： 步骤S41： 计算图像的角度： 从所有文本行中选择检测精度和识别精度都大于设定阈值 T1的文本行进行图像整体角度的计算， 以当前文本块的角度为中心、 正负偏差5 °进行角度 聚类， 最终选取包含文本块数目最大的类别来计算图像的倾斜角度并对图像进行倾斜校 正； 步骤S42： 将文本块坐标映射到校正后的图像上： 根据步骤S41获取的图像倾斜角度， 将 步骤S2和步骤S 3获取到的文本块信息进 行旋转映射， 即将文本坐标信息映射到倾斜校正后 的图像上。 3.根据权利要求2所述的一种表格信息提取方法， 其特征在于， 所述步骤S5中， 深度学 习模型包 含如下算法步骤： 步骤S51： 采用CNN+FPN的网络结构进行特征提取， 其 中， CNN表示卷积神经网络， 包括但 不局限于resnet， vgg， mobilenet卷积神经网络中的一种； FPN表示特征金字塔结构， 是一种 通用的网络结构； 通过CNN+FPN的网络结构可以同时学习到图像底层特征图的空间信息和 高层特征图的语义信息； 步骤S52： 采用RPN网络进行表格区域生成： 采用RPN网络对步骤S51输出的特征 图进行权　利　要　求　书 1/5 页 2 CN 114419647 A 2表格区域ROI 提取， 即提取到多个表格候选区域； 步骤S53： 表格分类分支和表格边界回归分支： 对步骤S52输出的每个ROI进行ROI   pooling池化， 输出尺 寸一致的特征图， pooling后再进行多个卷积， 然后分别送入表格分类 分支和表格边界回归分支； 其中， 表格分类分支就是进行一次类别数为2的全连接(1 ×1× 2)， 表格边界回归分支就是进行一次2 ×4维的全连接(1 ×1×2×4)； 步骤S54： 表格线分割预测分支： 对步骤S52输出的每个ROI进行RoIAlign池化， 在 RoIAlign进行多个卷积和反卷积操作得到mask的特征图(512 ×512×5)， 产生5通道的特征 图， 每个通道分别代表背景图bg， 水平实线分割图h1， 纵向实线分割图v1， 水平虚拟线分割 图h2， 纵向虚拟线分割图v2； 其中， bg表示背景点特征图， 用于判断当前表格内某一像素是 背景还是表格线， 即如果当前像素的响应值大于 设定阈值T2， 则表 示此像素为背 景； h1表示 水平方向的实线分割图， 即如果分割图中某一像素点的响应值大于设定阈值T3， 则表示当 前像素点为有线表格中水平实线上一个点； v1表示垂直方向的实线分割图， 即如果分割图 中某一像素点的响应值大于 设定阈值T4， 则表 示此像素点为有线表格中垂 直方向实线上的 一个点； h2表示水平方向的虚拟线分割图， 即如果分割图上的某一像素点的响应值大于设 定阈值T5， 则表示当前像素点是无线表格中水平虚拟线上的一个点； v2表示垂直方向上虚 拟线分割图， 即如果分割图上 的某一像素点的响应值大于设定阈值T6， 则表示当前像素点 是无线表格中垂直虚拟线上 的一个点； 通过此分支， 可以同时获取当前图像上所有有线表 格的所有 线和所有无线表格的所有 线。 4.根据权利要求3所述的一种表格信息提取方法， 其特征在于， 所述步骤S51中， 所述 CNN采用resnet18作为特 征提取网络 。 5.根据权利要求3或4所述的一种表格信息提取方法， 其特征在于， 所述步骤S6具体包 括如下步骤： 步骤S61： 水平方向线的融合： 将h1特征图中响应值大于设定阈值T3的的点设置为255， 其他点设置为0， 形成一张二值图， 利用连通分析， 获取每条线的所有 前景点， 然后利用最小 二乘法拟合出有线表格中水平方向的所有实线； 同理， 在h2特征图中， 将响应值大于 设定阈 值T5的点设置为25 5， 其他点设置为0， 并拟合出 无线表格中水平方向的所有虚拟线； 步骤S62： 水平方向线的合并和过滤： 通过步骤S61获取到了所有的水平线， 将线的长度 小于设定阈值d1的线删除， 将两条水平线的纵向距离小于设定阈值d2的线进行合并， 将两 条水平线的首尾距离小于设定阈值d3的线 进行合并； 步骤S63： 垂直方向线的融合： 将v1特征图中响应值大于设定阈值T4的点设置为255， 其 他点设置为0， 形成一张二值图， 利用连通分析， 获取每条线的所有 前景点， 然后利用最小二 乘法拟合出有线表格中垂 直方向的所有实线； 同理， 在 v2特征图中， 将响应值大于 设定阈值 T6的点设置为25 5， 其他点设置为0， 并拟合出 无线表格中垂直方向的所有虚拟线； 步骤S64： 垂直方向线的合并和过滤： 通过步骤S63获取到了所有垂直方向上的线， 将线 的长度小于 设定阈值D1的线删除， 将 两条线的水平方向的距离小于 设定阈值D2的线进 行合 并， 将两条线的首尾距离小于设定阈值D3的线 进行合并； 步骤S65： 将步骤S62和步骤S64中获取的表格的水平线和垂直线进行融合， 形成一张二 值图。 6.根据权利要求5所述的一种表格信 息提取方法， 其特征在于， 所述步骤S7具体包括如权　利　要　求　书 2/5 页 3 CN 114419647 A 3