(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111678786.9 (22)申请日 2021.12.31 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 陈昊　魏秀参　肖亮　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 陈鹏 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G07G 1/00(2006.01) (54)发明名称 一种类别无关的自动结 账产品计数方法 (57)摘要 本发明公开了一种类别无关的自动结账产 品计数方法， 包括： 使用计数分治策略作为自监 督方法生 成预训练模型； 利用注 意力模块和域适 应模块来解决零售商品数据的细粒度属性和域 差异问题； 将单品图像类别特征图和结账图像特 征图拼接后输入计数模块， 进行对应类别的定位 和计数， 同时进行增量学习的实验设定， 以验证 方法的类别无关性。 本发明充分利用点级别注释 信息， 根据不同类别单品图像与结账图像的热力 图响应不同来进行计数， 同时使用自监督方法初 始化模型参数， 通过注意力模块捕获细粒度特 征， 应用梯度反转层进行域适应， 针对自动结账 任务提出了一种类别无关的产品计数方法， 在常 规实验设置和增量实验设置中均取得了较好结 果。 权利要求书2页 说明书5页 附图2页 CN 114596254 A 2022.06.07 CN 114596254 A 1.一种类别无关的自动结 账产品计数 方法， 其特 征在于， 包括以下步骤： 步骤1， 使用一种计数分治策略作为自监督方法生成预训练模型， 用于初始化计数模块 参数； 步骤2， 利用注意力模块通过结账图像中的位置信息和细节信 息以捕获细粒度特征， 利 用域适应模块对结账图像域和单品图像域进 行判别， 通过梯度反转层使域判别器混淆此二 域； 步骤3， 将单品图像类别特征图和结账图像特征图拼接后输入计数模块， 进行对应类别 的定位和计数， 同时进行增量学习的实验设定， 以验证方法的类别无关性。 2.根据权利要求1所述的类别无关的自动结账产品计数方法， 其特征在于， 步骤1所述 的使用计数分治策略作为自监督方法， 对结账图像分块后分别计数， 局部计数和与全局计 数相同； 自监督方法根据技术分治 策略设计， 将输入的结账图像均匀的分为若干块， 对每一 块和完整的结账图像分别计数， 得到各块的局部计数与全图的全局计数， 按照局部计数和 等于全局计数的条件 优化预训练模型。 3.根据权利要求1所述的类别无关的自动结账产品计数方法， 其特征在于， 步骤2利用 注意力模块通过结账图像中的位置信息和细节信息以捕获细粒度特征， 利用域适应模块对 结账图像域和单品图像域进行判别， 通过梯度反转层使域判别器混淆 此二域； 对于第i张结账图像 H和W分别表示图像的高度和宽度， 经过特 征提取模块后可以得到特征图 Π是特征提取网络 的参数， 该特征图 输入注意力模块可以得到增强后的特 征图 Attlayout(F)＝σ(co nv([fGAP(F)： fGMP(F)]))， Attdetail(F)＝σ(fMLP(fGAP(F))+fMLP(fGMP(F) )). 其中Attlayout(·)和Attdetail(·)分别代表布局和细节两个注意力子模块， F为一个任 意的特征图， σ 是sigmoid函数， conv( ·)是一个核大小为7 ×7的卷积操作， [： ]是拼接操作， fGAP(·)和fGMP(·)分别是全局平均汇合与全局最大汇合操作， fMLP(·)是一个包含一层隐 藏层的多层感知机； 在单品图像方面， 对同一类产品随机采样Ns张图像， 表示为 k＝1， ...， K， K 是产品类别总数， r＝1， ...， Ns， H和W分别表示图像的高度和宽度； 提取特征后得到特征 向量 Θ是特征提取网络 的参数， 而第k类单品图像经过广 播操作后得到的特 征图是 的大小与 保持一致； 将 和 同时输入域适应模块； 先经过一个梯度反转层， 再让域判别器进行判别， 最 终混淆结账图像域和单品图像域， 从而实现域 适应。 4.根据权利要求3所述的类别无关的自动结账产品计数方法， 其特征在于， 在步骤3 中， 将通过步骤2得到的结账图像特征图 和单品图像特征图 输入计数模块， 对结账图像中 的第k类产品进行定位和计数； 和 先拼接成一个长特征 图， 然后被送入沙漏网络， 根据输出热力图 的不同热 力值对第k类产品进行定位和计数：权　利　要　求　书 1/2 页 2 CN 114596254 A 2其中Hg(·)是沙漏网络； 增量学习的实验设定为： 从类别 中随机选取一些类别作为未知类， 先用已知类数据训 练完整的网络模型， 然后用该模型测试包含所有已知类和未知类的测试数据集和 仅包含已 知类的测试 数据集， 对比两者的结果。 5.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑4中任一所述的类别无 关的自动结 账产品计数 方法。 6.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑4中任一所述的类别无关的自动结 账产品计数 方法。权　利　要　求　书 2/2 页 3 CN 114596254 A 3