(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659219.9 (22)申请日 2021.12.3 0 (71)申请人 中国电子科技 南湖研究院 地址 314002 浙江省嘉兴 市南湖区七 星街 道灵湖南路东20 0米清风榻 (72)发明人 龚勇　赵毅　陈华　方志远　 贺智远　张川　 (74)专利代理 机构 中国和平利用军工技 术协会 专利中心 1 1215 专利代理师 张瑜 (51)Int.Cl. G06V 10/147(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 存算一体低功耗一体化图像识别系统及方 法 (57)摘要 本发明提出的存算一体低功耗一体化图像 识别系统及方法， 包括： 低功耗摄像头、 存算一体 化芯片、 低功耗输出模块、 低功耗通信模块和电 池与电源电路， 在该系统上充分利用存算一体化 芯片的低功耗、 高能效特性， 进行图像识别深度 神经网络推理计算， 能充分满足低功耗、 小型一 体化应用需要。 权利要求书4页 说明书10页 附图5页 CN 114445607 A 2022.05.06 CN 114445607 A 1.一种存算一体低功耗一体化图像识别系统， 其特征在于包括： 低功耗摄像头、 存算一 体化芯片、 低功耗输出模块和电池与电源电路， 其中， 低功耗摄 像头， 用于采集图像数据， 存算一体化芯片， 其内嵌了 图像识别神经网络模型算法， 用于基于神经网络模型的图 像分析和识别； 低功耗输出模块， 用于 显示识别结果； 电池与电源电路模块， 用于为系统各个模块 提供所需的电源。 所述存算 一体化芯片进一 步包括： 存算阵列、 片上SRAM、 片上FLASH、 算术逻辑单元与控制单元、 以及输入输出I/O接口， 其 中， 所述存算阵列由存算单元以Cr ossbar阵列的形式构成， 负责进 行快速的矩阵乘加运算， 所述存算单 元由Flash或者MRAM非易失存 储器件实现； 所述片上SRAM用于计算指令、 输入图像数据、 神经网络 输出和中间数据的缓存； 所述片上 FLASH用于存 储计算指令代码； 所述算术逻辑单元与控制单元负责指令执行， 通过所述I/O接口与外部芯片或接口进 行通信。 2.如权利要求1所述的系统， 其特征在于还包括低功耗通信模块， 用于将识别结果或者 其它相关数据传输 到上位机或云端系统， 并接收响应控制与更新指令 。 3.如权利要求2所述的系统， 其特征在于所述低功耗通信模块采用NB ‑IoT或LoRa进行 通信。 4.如权利要求2或3所述的系统， 其特 征在于： 所述存算一体化芯片直接从所述低功耗摄像头接收图像数据并进行预处理， 基于所述 存算一体化芯片内嵌的图像识别神经网络模型算法进 行图像分析识别， 并综合业务逻辑给 出识别结果， 通过所述低功 耗输出模块输出， 通过所述低功 耗通信模块， 由存算一体化芯片 直接进行 数据、 结果上传和控制、 更新指令的接收和响应。 5.如权利 要求2或3所述的系统， 其特征在于还包括低功耗微处理器MCU， 其中， 所述MCU 负责将图像数据进行裁剪转换预处理， 并将预 处理后的图像数据 送至所述存算一体化芯片 进行识别； 所述MCU还根据存算一体化芯片的模型识别结果， 结合业务逻辑决策生成识别结果送 至所述低功耗输出模块； 所述MCU还负责调用所述低功耗通信模块与上位机系统建立通信， 并根据识别结果和 业务逻辑传输识别结果数据。 6.一种基于 权利要求 4或5所述系统的存算 一体的图像识别方法， 其特 征在于包括： 存算一体图像识别模型开发过程和存算 一体图像识别过程。 7.如权利要求6所述的图像识别方法， 其特征在于所述存算一体图像识别模型开发过 程包括： 训练数据采集与制作步骤： 训练数据集包括三部分， 第一部分基于所述存算一体低功 耗一体化图像识别系统进行采集和标注， 第二部分通过开源人脸数据集进行标注， 第三部 分数据基于前面两 部分数据集进行包括图像加噪、 仿射变换的数据扩增手段制作； 面向存算一体的轻量化图像识别模型训练步骤： 采用基于知识蒸馏的存算一体轻量化权　利　要　求　书 1/4 页 2 CN 114445607 A 2图像识别模型训练方法， 进行图像识别模型训练； 存算一体芯片模型嵌入步骤： 采用神经网络模型算法在所述存算一体化芯片上的嵌入 方法， 将图像识别模型移植嵌入到所述存算 一体化芯片。 8.如权利要求7所述的图像识别方法， 其特征在于所述存算一体图像识别过程包括下 述步骤： 图像数据采集步骤： 基于所述低功耗摄像头， 根据场景需求， 以一定的帧率连续采集特 定分辨率的待识别的图像； 图像预处理步骤： 对输入的所述待识别的图像进行格式包括转换、 裁剪、 大小转换、 滤 波的预处 理， 预处理后的图像输入到所述存算 一体化芯片进行识别； 存算一体图像识别步骤： 基于所述存算一体化芯片和内嵌的图像识别神经网络模型算 法， 对所述预处 理后的图像进行分析识别； 识别结果输出步骤： 综合存算一体图像识别步骤给出的分析识别结果和业务逻辑， 给 出最终识别结果。 9.如权利要求8所述的图像识别方法， 其特征在于所述基于知识蒸馏的存算一体轻量 化图像识别模型训练方法， 包括： 教师网络训练步骤： 根据图像识别应用需求， 选择AlexNet、 ResNet50、 ResNet101、 或 VGG网络架构， 预训练一个深层的图像识别教师网络模型； 面向存算一体的学生网络训练步骤： 根据存算一体化芯片的存算阵列大小和算力， 设 计全卷积网络作为学生网络， 全卷积网络由卷积模块堆叠而成， 卷积模块由卷积层、 Pooling层、 Relu激活函数顺序组成； 以预训练的深层图像识别教师网络作为指导， 以交叉 熵损失作为知识蒸馏的误差损失函数， 训练面向存算 一体的学生网络 。 10.如权利要求9所述的图像识别方法， 其特 征在于所述嵌入方法包括： 神经网络模型拆解步骤： 对训练得到的图像识别的神经网络模型进行解析， 获取模型 各层算子类型和权 重参数； 权重定点化步骤： 对所述神经网络的权重参数逐层进行归一化后， 再进行8比特定点化 处理； 输入输出定点化步骤： 采用自适应浮动定点化的策略， 对每帧每个算子输入输出的数 据进行检索、 缩放， 并使得定点 化后的数据有效位 最多； 权重排布与修正步骤： 采用并行循环式的卷积网络存算一体实现方法， 实现卷积网络 层的权重排布； 对定点化后的权重， 根据存算阵列的电路和物理特性进 行修正， 直至满足存 算阵列的高精度模拟计算需求； 计算流水排布步骤： 所述神经网络模型逐层进行计算， 对每一层卷积神经网络， 采用并 行循环式的卷积网络存算一体实现方法进行计算； 如果图像的分辨率不大于320 ×320， 则 将所述图像整体输入到各层神经网络进行计算， 否则对所述图像采用图片分块后， 逐块输 入到各层神经网络进行计算； 汇编代码生成步骤： 根据权重排布、 计算流水排布情况， 生成存算一体芯片上的模型算 法汇编代码； 权重烧录步骤： 将权重排布和修正后的神经网络的权重参数写入所述存算一体化芯片 的存算阵列中；权　利　要　求　书 2/4 页 3 CN 114445607 A 3