本发明实施例涉及人工智能,尤其涉及一种感存算卷积运算电路和感存算芯片。
背景技术:
1、人工智能正在引领信息化时代的又一次技术浪潮,并且已经在视觉和听觉等领域取得突破性进展。随着5g通信与人工智能技术的快速普及,各国大力推进物联网、智慧城市等新兴产业的建设,智能万物互联时代势不可挡。人工智能感知应用是一大重要的应用方向。然而,随着人工智能技术的发展,智能感知任务采用神经网络结构深度不断增加,更深的网络结构可以取得更高的精度,但是庞大的网络模型导致了严重的计算功耗和计算延迟,难以在端侧和边缘侧设备中进行部署。因此,如何在有限的能源限制下设计高续航的智能感知设备是目前亟待解决的问题之一。
2、传感器是电子设备数据的源头,现实世界随处可见各式各样的传感器,如听觉传感器、视觉传感器、触觉传感器等。在人工智能感知应用场景中,传感器长时间开启获取视觉、触觉、听觉等信息,内部处理器持续进行高密度计算,功耗、延迟较高。对于资源受限的端侧设备来说,其对功耗、延迟、成本、体积等特殊要求,其算力不足以部署较为复杂的神经网络模型,使得智能物联网的普及面临着巨大挑战。
3、目前,视觉传感器被广泛应用于无人系统、可穿戴设备、自动驾驶、医疗诊断等各种应用领域。传统的视觉传感器采集模拟信号,需要在并行高精度、高速模拟数字转换器后在数字领域进行处理,导致了大量的功耗和面积开销,同时也限制了进一步的性能改进。此外,由于数字单元与滞后存储器单元之间频繁的数据访问,增加了数据拥塞和功耗,阻碍了传感器在超快、低功耗场景下的广泛应用。
4、在通往智能时代的道路上,首先需要解决的核心基础技术是低功耗、低延迟、低成本、小型化的智能感知芯片。针对这个问题,感存算一体化芯片在传统传感器内部加入运算单元,实现传感器内数据运算和处理。因此,感存算一体化高集成系统级芯片受到业界的重点关注。感存算一体化芯片通过在传感器端将数据的感知、存储与计算进行融合,并直接处理传感器采集到的模拟信号,极大地减少了数据传输与模数转换带来的延时与功耗,未来具有巨大的应用价值。
5、现有技术是采用传统感存算芯片处理卷积运算,感存算一体芯片中的像素阵列将外部图像光信号转换为模拟电压信号后,经过adc输出到数字系统中再进行卷积运算。现有感存算一体芯片的缺陷在于需要经过大量并行化、高精度、高速度的adc进行模数信号转换。
6、此外,现有技术的感存算芯片内部电路还可以通过模拟信号输入×数字权重电路单元及其卷积阵列实现卷积运算,图1给出了一个模拟×4bit数字权重的乘法单元的例子,同时该结构可以扩展到更高的位数,ain首先通过一个电流生成电路产生一个基准电流i=k×ain。这个基准电流i通过电流复制缩放电路,如电流镜,转化为1×i,2×i,4×i,8×i......2n-1×i的电流,对应于n位的二进制数字权重的不同位数。数字输入din的每一位作为对应电流支路的控制信号,电流在输出线上加和,因此则有:
7、
8、从而实现乘法运算,而在卷积阵列中,这些单元的输出端被连接在一块,输出端电流为卷积核和当前滑动位置模拟信号的乘积的累加,从而实现乘积累加运算(multiplyaccumulate,mac)和卷积操作。
9、这种技术的缺点在于需要较为复杂的电压-电流转换电路,增加了功耗和面积开销。同时采用累加式的电流阵列,存在随卷积核尺寸和数字权重精度指数增长的直流电流,导致很大的计算功耗。由此也带来指数增长的面积开销,不能满足小型化、低成本应用场景需求。
技术实现思路
1、本发明提供一种感存算卷积运算电路和感存算芯片,支持模拟电压信号数据和数字权重的低功耗、小面积乘加运算,计算完全消除静态电流,纯电荷式运算,具有超低功耗,超高能效,计算速度较快,算力较高的优点。
2、根据本发明的一方面,提供了一种感存算卷积运算电路,感存算卷积运算电路包括:控制单元、模拟寄存器和模数混合卷积运算电路阵列;
3、所述模拟寄存器与所述模数混合卷积运算电路阵列连接,所述模拟寄存器用于暂存预处理后的模拟电压信号数据;
4、所述控制单元与所述模拟寄存器以及所述模数混合卷积运算电路阵列连接,所述控制单元用于配置所述模数混合卷积运算电路阵列和所述模拟寄存器,所述模数混合卷积运算电路阵列用于根据数字权重数据以及所述预处理后的模拟电压信号数据进行卷积计算并输出卷积结果。
5、可选地,所述模数混合卷积运算电路阵列包括多比特电荷域模数混合乘法单元。
6、可选地,所述多比特电荷域模数混合乘法单元包括单比特电荷域模数混合乘法单元。
7、可选地,所述单比特电荷域模数混合乘法单元包括:数字权重输入单元、互补数字权重输入单元、模拟信号输入单元、寄生单元、充电单元以及充电开关;
8、所述数字权重输入单元的第一端与所述充电开关的第一端以及所述充电单元的第一端连接,所述充电开关的第二端与充电电压连接,所述充电单元的第二端接地,所述数字权重输入单元的控制端用于接入数字信号;
9、所述互补数字权重输入单元的第一端与所述数字权重输入单元的第二端以及所述寄生单元的第一端连接,所述寄生单元的第二端接地,所述互补数字权重输入单元的控制端用于接入与所述数字信号互补的信号;
10、所述模拟信号输入单元的第一端与所述互补数字权重输入单元的第二端连接,所述模拟信号输入单元的第二端接地,所述模拟信号输入单元的控制端用于接入模拟信号。
11、可选地,所述数字权重输入单元包括第一pmos管,所述互补数字权重输入单元包括第二pmos管,所述模拟信号输入单元包括第三pmos管,所述寄生单元包括寄生电容,所述充电单元包括充电电容;
12、所述第一pmos管的第一端与所述充电开关以及所述充电电容的第一端连接,所述充电电容的第二端接地,所述第一pmos管的控制端用于接入数字信号;
13、所述第二pmos管的第一端与所述第一pmos管的第二端以及所述寄生电容的第一端连接,所述寄生电容的第二端接地,所述第二pmos管的控制端用于接入与所述数字信号互补的信号;
14、所述第三pmos管的第一端与所述第二pmos管的第二端连接,所述第三pmos管的第二端接地,所述第三pmos管的控制端用于接入模拟信号。
15、根据本发明的另一方面,提供了一种感存算芯片,该感存算芯片包括:上述一方面中任一所述的感存算卷积运算电路。
16、可选地,感存算芯片还包括感知端电路,所述感知端电路与所述感存算卷积运算电路连接,所述感知端电路用于将采集外部环境的光信息转化为模拟电压信号并传输至所述感存算卷积运算电路。
17、可选地,感存算芯片还包括模拟预处理电路,所述模拟预处理电路连接在所述感知端电路和所述感存算卷积运算电路之间,所述模拟预处理电路用于对所述模拟电压信号进行预处理并将预处理后的模拟电压信号数据输入所述感存算卷积运算电路。
18、可选地,感存算芯片还包括特征图生成电路,所述特征图生成电路与所述感存算卷积运算电路连接,所述特征图生成电路用于根据所述模数混合卷积运算电路阵列计算出的卷积结果输出特征图。
19、可选地,所述感知端电路包括感知像素阵列。
20、本发明实施例的技术方案,通过提出一种适用于感存算场景的感存算卷积运算电路,支持模拟电压信号数据和数字权重的低功耗、小面积乘加运算,满足感存算一体芯片的卷积运算需求。模数混合卷积运算电路阵列计算完全消除静态电流,纯电荷式运算,具有超低功耗,超高能效,计算速度较快,算力较高的优点。综上所述,本发明解决了感存算一体芯片深度学习算子,尤其是卷积运算算子功耗高、面积大的问题;能够有效解决目前感存算一体芯片在处理深度学习卷积和全连接运算实现困难且复杂度、面积、功耗、成本开销较大,速度较慢的问题。
21、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种感存算卷积运算电路,其特征在于,包括:控制单元、模拟寄存器和模数混合卷积运算电路阵列;
2.根据权利要求1所述的感存算卷积运算电路,其特征在于,所述模数混合卷积运算电路阵列包括多比特电荷域模数混合乘法单元。
3.根据权利要求2所述的感存算卷积运算电路,其特征在于,所述多比特电荷域模数混合乘法单元包括单比特电荷域模数混合乘法单元。
4.根据权利要求3所述的感存算卷积运算电路,其特征在于,所述单比特电荷域模数混合乘法单元包括:数字权重输入单元、互补数字权重输入单元、模拟信号输入单元、寄生单元、充电单元以及充电开关;
5.根据权利要求4所述的感存算卷积运算电路,其特征在于,所述数字权重输入单元包括第一pmos管,所述互补数字权重输入单元包括第二pmos管,所述模拟信号输入单元包括第三pmos管,所述寄生单元包括寄生电容,所述充电单元包括充电电容;
6.一种感存算芯片,其特征在于,包括权利要求1-5任一项所述的感存算卷积运算电路。
7.根据权利要求6所述的感存算芯片,其特征在于,还包括感知端电路,所述感知端电路与所述感存算卷积运算电路连接,所述感知端电路用于将采集外部环境的光信息转化为模拟电压信号并传输至所述感存算卷积运算电路。
8.根据权利要求7所述的感存算芯片,其特征在于,还包括模拟预处理电路,所述模拟预处理电路连接在所述感知端电路和所述感存算卷积运算电路之间,所述模拟预处理电路用于对所述模拟电压信号进行预处理并将预处理后的模拟电压信号数据输入所述感存算卷积运算电路。
9.根据权利要求6所述的感存算芯片,其特征在于,还包括特征图生成电路,所述特征图生成电路与所述感存算卷积运算电路连接,所述特征图生成电路用于根据所述模数混合卷积运算电路阵列计算出的卷积结果输出特征图。
10.根据权利要求7所述的感存算芯片,其特征在于,所述感知端电路包括感知像素阵列。
