使用深度神经网络的输出的基于事件的处理的制作方法

使用深度神经网络的输出的基于事件的处理


背景技术：

1.计算设备用于执行各种任务，包括工作活动、银行业、研究和娱乐。在一些示例中，计算设备可以用于捕捉和处理感测数据。例如，照相机可以捕捉图像数据。在另一示例中，麦克风可以捕捉音频信号。然后可以对感测数据执行信号处理。
附图说明
2.下面将通过参考以下附图来描述各种示例。
3.图1是其中可以执行使用深度神经网络（dnn）的输出的基于事件的处理的计算设备的示例框图；图2是示出了用于使用dnn的输出的基于事件的处理的方法的示例流程图；图3是示出了用于使用dnn的输出的基于事件的处理的另一方法的示例流程图；图4是示出了用于使用dnn的输出的基于事件的处理的另一方法的示例流程图；图5是其中可以执行使用dnn的输出的基于事件的处理的计算设备的另一示例框图；图6是示出了用于本文描述的基于事件的处理的时间同步的示例框图；图7是示出了用于本文描述的基于事件的处理的空间
‑
时间对应性的示例框图；图8是示出了用于基于事件的处理的空间
‑
时间对应性的实现的示例；图9是示出了用于基于事件的处理的空间
‑
时间对应性的另一实现的示例；以及图10是用于基于事件的处理的标记的数据生成的示例。
4.贯穿附图，相同的参考数字表示相似的但不一定相同的元素。附图不一定是按比例的，并且一些部分的大小可能被放大以更清楚地示出所示的示例。此外，附图提供了与本描述一致的示例和/或实现；然而，本描述并不局限于附图中提供的示例和/或实现。
具体实施方式
5.本文描述了基于深度神经网络（dnn）的输出的尖峰（spiking）神经网络（snn）信号处理的示例。在一些示例中，可以基于来自感测系统（例如，照相机）的输入和从dnn获得的标签数据来训练snn。传感器（例如，照相机、麦克风等）可生成感测数据且可将完整格式（例如，图像帧、音频记录等）的感测数据提供到已训练的dnn（例如，卷积神经网络）。感测数据也可以以事件格式提供给未训练的snn。可以基于事件格式的输入数据和已经训练的dnn的输出来训练snn。此外，snn可执行信号处理（例如，面部识别、对象检测），其比利用dnn的信号处理更能量高效。
6.图1是其中可以执行使用深度神经网络（dnn）104的输出114的基于事件的处理的计算设备102的示例框图。系统100可以包括计算设备102。计算设备102的示例可以包括台式计算机、膝上型计算机、平板设备、智能电话、蜂窝电话、游戏控制台、服务器设备、照相机和/或智能电器等。在其他示例中，计算设备102可以是设备的分布式集合。例如，计算设备102可以包括组织在系统中以实现本文描述的过程的多个分立设备。在一些实现中，计算设
备102可以包括和/或耦合到用于呈现信息（例如，图像、文本、图形用户接口（gui）等）的显示器。
7.计算设备102可以包括处理器。处理器可以是中央处理单元（cpu）、微控制器单元（mcu）、基于半导体的微处理器、gpu、fpga、专用集成电路（asic）和/或适于检索和执行存储在存储器中的指令的其他硬件设备中的任何一个。处理器可以获取、解码和执行存储在存储器和/或数据存储装置上的指令，以使用dnn 104的输出114来实现基于事件的处理。
8.存储器可以包括只读存储器（rom）和/或随机存取存储器（ram）。存储器和数据存储装置也可以称为机器可读存储介质。机器可读存储介质可以是包含或存储可执行指令的任何电子、磁性、光学或其他物理存储设备。因此，机器可读存储介质可以是例如ram、eeprom、存储设备、光盘以及诸如此类。在一些示例中，机器可读存储介质可以是非暂时性机器可读存储介质，其中，术语“非暂时性”不包括暂时性传播信号。机器可读存储介质可以编码有可由处理器执行的指令。
9.计算设备102可基于深度神经网络dnn的输出114来使能用于snn信号处理（例如，图像处理、音频处理）的功能性。例如，计算设备102可以包括用于捕捉和处理图像数据的硬件（例如，电路和/或（一个或多个）处理器等）和/或机器可执行指令（例如，（一个或多个）程序、代码和/或（一个或多个）应用等）。在一些示例中，计算设备102可以包括用于捕捉图像数据的照相机。在其他示例中，计算设备102可以包括用于捕捉音频数据的麦克风。在又一些示例中，计算设备102可以包括用于捕捉除图像数据或音频数据之外的感测数据的其他传感器。应当注意，图1中描绘了包括图像帧110形式的视觉数据的示例，然而，其他示例可以包括其他类型的感测数据（例如，音频数据）。
10.计算中的一种新兴范例（paradigm）是事件驱动处理，其是在也称为神经形态计算的大脑启发计算的更大的体系（umbrella）内正在进行的研究的方面。事件驱动处理与人脑内的尖峰和尖峰传播具有相似性。由于处理是由事件触发的，所以与非事件驱动的系统相比，计算设备102所消耗的能量可以显著地更少。例如，在基于帧（frame）的照相机中，周期性地读出整个图像帧110，即使当图像帧110之间的改变最小时。例如，可以读出整个图像帧110并且可以处理图像帧110内的像素，即使在大多数像素保持不变时。相比之下，在事件驱动传感器中，代替周期性地读取图像帧110，可在检测到改变时读取个体像素。在图像数据的上下文中，照相机中的能量效率对于在边缘条件下且在照相机可由电池供电的情况中的连续感测可以是有益的。例如，可以安装照相机来监视农作物，并且照相机可以由电池来供电。
11.虽然事件驱动传感器可以改进照相机捕捉侧的效率，但是可以针对图像处理来实现类似的事件驱动的方法。然而，图像处理流水线和计算机视觉流水线可以是基于图像帧的。例如，图像处理的深度学习方法处理图像帧110而不是事件。神经形态硬件处理器可以基于尖峰范例。这些处理器可包括snn 106。在一些示例中，snn 106可实现为存储在存储器中的由处理器执行的指令。
12.snn 106是模仿人脑中的神经网络的人工神经网络。可以向snn 106提供来自事件驱动传感器（例如，事件驱动照相机传感器）的事件。事件可以包括由事件驱动传感器捕捉的多个尖峰。只要snn 106被训练，snn 106就可以以完全事件驱动的方式来执行图像处理。
13.训练snn 106提出了挑战。在一些示例中，可能没有可容易地获得的训练数据。完
整格式的深度学习对于照片、视频、音频和其他形式的输入方面的数据的可用性已经是幸运的。该数据可用性已经有助于驱动机器学习中的发展。但是当涉及尖峰范例时，就没有了可用的训练基础。
14.在训练snn 106所面临的挑战的一些其他示例中，深度学习系统是用很好理解的视觉或听觉表示来训练的。然而，可能没有很好地理解某图像如何转换成尖峰。
15.本文描述的计算设备102可以使能用于感测数据处理的端到端事件驱动系统。例如，事件驱动系统可以用于图像处理（例如，视觉推理）、音频处理或其他感测应用。通过使用事件驱动处理，计算设备102可以提供能量效率中的显著改进。
16.标记的数据生成可被用于在用于感测数据处理的端到端事件驱动照相机系统中训练snn 106。可以由本文描述的事件驱动系统执行的图像处理的一些示例包括面部识别、对象识别、场景识别、活动识别、面部情绪分析和/或图像中的打印错误的发生。
17.在一些示例中，事件驱动处理还可以应用于可由深度学习（dl）系统（例如，语音识别）分类的其他感测数据（例如，来自诸如麦克风或其他传感器之类的源）。例如，事件驱动处理可以应用于语音活动检测、利用话音的个人标识、情感分析、用于情绪检测的感觉（sensory）处理和/或预测事件的发生的感觉处理（例如，预测复杂系统中的故障）。
18.在图像处理的上下文中，照相机系统可以包括以像素的二维（2d）阵列的形式布置的照相机传感器（例如，互补金属氧化物半导体（cmos）或电荷耦合器件（ccd）传感器）。这种传感器可以集成在像素井（pixel well）中，作为入射光子的函数。在预定时间，整个像素阵列可以被读出，其形成图像帧110（也称为帧）。在图像帧110被读取之后，照相机传感器可以再次启动以针对后续帧进行积分（integrate）。从照相机传感器读取的图像帧可以由图像处理器（也称为图像信号处理器）处理。
19.也是图像帧110的形式的来自图像处理器的输出（例如rgb图像）可以被提供给深度神经网络（dnn）104。在一些示例中，dnn 104是卷积深度神经网络（cnn）。在一些示例中，dnn 104可以被实现为由处理器执行的存储在存储器中的指令。dnn 104是执行深度学习（dl）操作（也称为深度结构学习或分层学习）的人工神经网络。dnn 104可以被训练以对传入图像帧110执行图像处理。例如，在dnn 104的最后阶段处的分类器可以识别由照相机传感器捕捉的主体（例如，人）。
20.计算设备102还可以包括事件驱动传感器以捕捉感测数据。在一些示例中，计算设备102可以包括事件驱动图像传感器。与上述基于帧的照相机传感器一样，事件驱动图像传感器还可以包括2d像素阵列，并且每个像素可以如前所述进行积分。然而，基于帧的照相机传感器的读出可能不以预定的和周期性间隔发生。而是，当某个像素井达到指示显著改变的阈值时，这在本文中被称为事件，可以触发基于帧的照相机传感器的读出。在其他示例中，事件驱动传感器可以捕捉其他非视觉感测数据（例如，事件格式音频数据）。
21.当生成事件时，可以从基于帧的传感器导出（export）事件作为事件格式数据。例如，当生成与视觉数据相关联的事件时，可以从基于帧的照相机传感器导出事件作为事件格式图像数据112。可以对这样捕捉的事件进行编码。例如，事件可以由称为地址事件表示（aer）的方案编码，并经由aer总线导出。包括在事件格式图像数据112中的事件可以被发送到事件处理器。事件处理器可以将事件格式图像数据112与给定图像帧110同步。在一些示例中，事件处理器可以执行针对传入尖峰序列（train）的信号处理操作。例如，事件处理器
可以实现高通滤波器以在存在主导尖峰活动时进行采样。
22.利用该事件驱动方法可以实现能量效率的客观增益。然而，如上所述，训练端到端事件处理系统可能是具有挑战性的。例如，为snn 106手动生成和标记训练数据不是非常实际。
23.这里描述的事件驱动处理可以利用dnn 104的训练数据集的大的安装基础。例如，可以训练dnn 104以用于对图像帧110进行图像处理。在一些示例中，配备有被训练用于面部识别的dnn 104的实时照相机可以识别人。在其他示例中，配备有被训练用于语音识别的dnn 104的计算设备102可以基于由麦克风捕捉的音频信号来识别人。
24.该系统可以提供感测数据（例如，由照相机捕捉的图像帧110）和与感测数据相关联的附加元数据（例如，由dnn 104面部识别系统识别的人的姓名）两者。感测数据（例如，图像帧110）可以用作snn训练的数据。元数据可以用作数据的标签。已生成的dnn输出114（例如，标签和/或时间戳）可提供给snn 106以训练snn 106来处理事件格式数据。
25.dnn 104的输出114可以包括在时间上与事件格式数据相对应的标记的感测数据。在视觉数据的上下文中，dnn输出114可以包括在时间上对应于事件格式图像数据112的图像帧110的标记的数据。例如，图像帧110（和相关联的标记的数据）可以在时间上与事件格式图像数据112同步。
26.在一些示例中，事件格式数据可以基于公共时钟信号和感测数据的时间戳与感测数据同步。在视觉数据的上下文中，事件格式图像数据112可基于公共时钟信号及图像帧110的时戳与图像帧110同步。结合图6描述时间同步的示例。
27.snn 106可基于dnn 104的输出114执行事件格式数据的处理。在视觉数据的上下文中，snn 106可基于dnn 104的输出114执行事件格式图像数据112的图像处理。例如，snn 106可使用dnn输出114对事件格式图像数据112执行面部识别、对象识别等。如上所述，dnn输出114可包括标记的数据，snn 106可使用该标记的数据来训练其图像处理。在一些示例中，训练snn 106可包括尖峰定时依赖可塑性（stdp）训练或其他训练方法。snn图像处理的结果是snn输出116。
28.snn 106可基于dnn输出114标识事件格式数据（例如，事件格式图像数据112）中的重大事件。在示例中，dnn 104可以对由照相机观察到的主体执行面部识别。在该情况下，dnn输出114可以包括与面部识别相关联的标记的数据。dnn输出114中包括的标记的数据（例如，元数据）的一些示例可以包括以下内容：被跟踪的面部的数量；被跟踪的每个面部的面部编号（例如，标识（id））；跟踪的面部的每个边界框的x、y坐标；每个边界框的尺寸（例如，深度（d）和宽度（w））；和/或每个面部被第一次看到时的到达时间戳。
29.一旦snn 106被完全训练以处理事件格式数据，snn 106就可以在不使用dnn输出114的情况下处理事件格式数据。例如，当snn 106被完全训练用于事件格式图像数据112的图像处理时，snn 106可以在不使用dnn输出114的情况下执行图像处理。在该情况下，dnn 104可以被禁用。在一些示例中，计算设备102可以包括损失检测模块108，其确定dnn 104的输出114与snn 106的输出116之间的损失。在一些示例中，损失检测模块108可以被实现为存储在存储器中的由处理器执行的指令。
30.为了确定何时训练snn 106，损失检测模块108（也称为损失函数）可测量dnn输出114与snn输出116匹配得有多好。当snn 106由dnn输出114训练时，随着时间的推移，损失减
少。当损失达到阈值（例如，用户定义的阈值）时，可以认为训练完成。一旦训练完成，dnn 104就可以被解激活，这将改进计算设备102的能量效率。换句话说，当损失在阈值内时，可以禁用dnn 104。
31.在一些示例中，在待训练的领域（field）中部署未经训练的snn 106而言可能是不切实际的（例如，花费太长时间）。代之以，snn 106可附接到具有大型训练数据库的回放系统（例如，照片/视频回放系统、音频回放系统等），dnn 104已经关于该大型训练数据库进行了训练。使用该系统，snn 106可在被部署之前被训练。在该情况下，事件驱动系统可以被重建为没有dnn 104的单独的外壳（housing），这可以减少计算设备102的成本。
32.在一些示例中，一旦snn 106被完全训练，就可避免附加的在线训练。然而，在一些情况下，可以基于在领域中获得的真实世界数据来执行精细调节。在该情况下，可以执行一些在线学习。替代地，计算设备102可被短暂地离线以用最近的数据来训练。在这些情况中的每一种情况下，dnn 104可以被保留并且被激活/解激活以用于训练目的。损失检测模块108可以被重新编程以根据需要来以阈值为目标。最后，低功率事件驱动系统可以独立于dnn 104用于图像处理，并且可以解激活dnn 104。因此，训练系统可以被看作是能量高效的系统，但是具有由dnn 104提供的补充辅助。当snn 106被完全训练时，可解激活所述补充辅助。
33.本文描述了使用dnn输出114来训练snn 106的一些附加方面。结合图5描述基于帧的照相机系统和事件驱动照相机系统之间的视场（fov）对应性。结合图6描述了基于帧的照相机系统和事件驱动照相机系统之间的时间同步。结合图7描述了基于帧的照相机系统和事件驱动照相机系统之间的空间
‑
时间对应性。结合图10描述了标记的数据生成。
34.图2是示出了用于使用dnn 104的输出114的基于事件的处理的方法200的示例流程图。计算设备102可以向snn 106提供202被训练用于处理感测数据（例如，视觉数据、音频数据等）的dnn 104的输出114。例如，dnn 104可以是卷积神经网络，其被训练来执行图像处理（例如，标识图像帧110中的面部、对象、场景和/或活动）、音频处理（音频信号中的语音识别）和/或其他类型的信号处理（例如，语音活动检测、利用话音的个人标识、情感分析、用于情绪检测的感觉处理和/或预测事件的发生的感觉处理（例如，预测复杂系统中的故障））。
35.dnn输出114可包括在时间上与snn 106接收的事件格式数据相对应的标记的感测数据。标记的数据可以包括由dnn 104在处理感测数据时确定的元数据。在一些示例中，事件格式数据可以基于公共时钟信号和感测数据的时间戳与感测数据同步。
36.snn 106可基于dnn 104的输出114来执行204事件格式数据的处理。事件格式数据可以包括由事件传感器捕捉的多个编码事件。snn 106可基于指示事件格式数据中的显著改变的阈值来接收事件格式数据。
37.snn 106可基于dnn输出114来标识事件格式数据中的重大事件。例如，包括在dnn输出114中的元数据可以标识某个图像处理发生（例如，面部识别、对象识别）或音频处理发生（例如，语音识别）。snn 106可使用dnn输出114来区分事件格式数据中的重大事件与非重大事件。这样，snn 106可被训练以执行事件格式数据的信号处理。
38.计算设备102可确定206 dnn 104的输出114和snn 106的输出116之间的损失。例如，计算设备102可测量dnn输出114与snn输出116匹配得有多好。当snn 106由dnn输出114训练时，随着时间的推移，损失可以减少。
106可使用dnn输出114来区分事件格式图像数据112中的重大事件与非重大事件。这样，snn 106可被训练以执行事件格式图像数据112的图像处理。在一些示例中，训练snn 106可包括尖峰定时相关可塑性（stdp）训练或使用dnn输出114的其他训练方法。
50.计算设备102可在snn 106被dnn 104完全训练时禁用dnn 104。例如，计算设备102可基于dnn输出114和snn输出116之间的损失来确定snn 106由dnn 104完全训练。例如，当损失达到阈值（例如，用户定义的阈值或预定义的阈值）时，snn 106的训练可被认为完成。一旦snn训练完成，dnn 104就可以被禁用（例如，解激活）。
51.图5是计算设备502的另一示例框图，其中可执行使用dnn 504的输出514的基于事件的处理。在一些实现中，计算设备502可以是结合图1描述的计算设备102的示例。
52.可以在基于帧的照相机系统与事件驱动照相机系统之间执行视场（fov）对应性。例如，可以向基于帧的照相机系统和事件驱动照相机系统中的每一个提供相同的数据。不应该存在因视差或其他原因造成的差异。
53.在一些示例中，为了实现fov对应性，分束器521可以用于分离由计算设备502的照相机捕捉的光束520。在穿过分束器521时，一个光束520可以穿过透镜522a到用于基于帧的照相机系统的帧捕捉传感器524（例如，cmos传感器）。帧捕捉传感器524可捕捉图像帧510，其被提供到图像处理器528。图像处理器528可以将rgb图像帧510输出到dnn 504。
54.分束器521可以引导另一光束520通过基于事件的照相机系统的事件捕捉传感器526（例如，cmos传感器）的透镜522b。事件格式图像数据512可以包括由事件传感器526捕捉的多个编码事件。事件格式图像数据512可以被提供给事件处理器530。事件处理器530可将事件格式图像数据512输出到snn 506。
55.snn 506可接收dnn 504的输出514。snn 506可以使用dnn输出514来执行图像处理，如结合图1所描述的。
56.图6是示出了用于本文描述的基于事件的处理的时间同步的示例框图。本文描述的基于帧的系统和事件驱动系统可以被同步。在一些示例中，全局参考时钟634可以从公共晶体时钟生成器632生成。全局参考时钟634可以被传送到帧捕捉传感器624、图像处理器628、事件捕捉传感器626、事件处理器630和时间戳生成器638。
57.时间戳生成器638可以创建周期性时间参考，该周期性时间参考是从基于帧的系统中的周期性垂直同步信号（vsync）636（也称为垂直消隐）的到达率导出的。例如，帧捕捉传感器624可以在每个新的图像帧610的开始处输出vsync 636。时间戳生成器638可以使用vsync 636来为给定图像帧610生成时间戳640。
58.时间戳640可以由事件处理器630使用以同步基于帧的系统。例如，事件处理器630可以使用参考时钟634和图像帧610的时间戳640将由事件捕捉传感器626捕捉的事件格式图像数据612与图像帧610同步。周期性的重新同步可以使事件格式图像数据612和图像帧610的漂移最小化。
59.图7是示出了用于本文描述的基于事件的处理的空间
‑
时间对应性的示例框图。在面部识别的示例中，事件驱动照相机可以在面部出现时检测高频率事件。但是由于周围环境或其他人的改变，可能存在类似的高密度事件。因此，可以定位（localize）与正在被识别的面部相对应的事件。
60.在一些示例中，事件定位可以通过建立人在图像帧710内位于何处（例如，空间信
息）到何时（例如，时间信息）人出现在那些坐标内来实现。图7中所示的空间与时间对应性的示例可以使用面部检测器742和时间戳生成器738（如结合图6所描述的）。
61.帧捕捉传感器724可以捕捉图像帧710a。面部检测器742可以从图像处理器728接收图像帧710b。面部检测器742可以检测图像帧710b中的面部。面部检测器742还可以检测与图像帧710b内的面部相关联的空间坐标。面部检测器742可以向事件处理器730提供与图像帧710b相关联的标记的数据744a。在一些示例中，面部检测器742可以提供被跟踪的面部的数量；被跟踪的每个面部的面部编号（例如，标识（id））；被跟踪的面部的每个边界框在图像帧710中的x、y坐标；和/或每个边界框的尺寸（例如，深度（d）和宽度（w））。
62.时间戳生成器738可以生成针对在空间坐标处第一次检测到面部时的时间戳740。例如，时间戳生成器738可以从面部检测器742接收标记的数据744b。时间戳生成器738可以生成针对使用标记的数据744b在空间坐标的给定集合处第一次检测到面部时的时间戳740。时间戳生成器738可以向事件处理器730提供时间戳740。
63.事件处理器730可以从事件捕捉传感器726接收事件格式图像数据712a。事件处理器730可以使用标记的数据744a和给定图像帧710a的时间戳740将事件格式图像数据712a与给定图像帧710a同步。
64.事件处理器730可以绑定（bind）时间值和空间值，并且生成元数据。在一些示例中，元数据可以包括时间戳740、面部的数量、边界框大小和坐标。事件处理器730可以封装元数据连同事件的时间表（schedule）。事件处理器730可以输出包括事件和对应的标记的数据（例如，元数据）的事件格式图像数据712b。
65.在一些示例中，该方法也适用于多个面部。在任何给定时间，面部检测器742都可以借助于计数器来跟踪若干面部。对于每个面部，面部检测器742可以提供边界框中心的坐标以及边界框的长度和宽度。来自面部检测器742的信息被提供给事件驱动系统。
66.图8是示出了用于基于事件的处理的空间
‑
时间对应性的实现的示例。在该示例中，主体848（例如，人或对象）在照相机的fov中（或在图像帧810的当前坐标内）出现持续时间的持续时间（经历持续时间846）。在该情况下，观察主体848持续100秒。
67.图像帧传感器可以以某个速率捕捉多个图像帧810。事件传感器可以捕捉事件格式图像数据812。在该情况下，事件格式图像数据812伴随有基于事件的系统中的高频率853的事件。当主体848最初在图像帧810b的空间坐标的集合内被识别时，这是事件的重大窗口（称为重大事件850或突出（salient）事件）。尖峰神经网络（snn）106可被训练以标识该重大事件850。
68.另一方面，当主体848离开空间坐标或完全离开照相机的fov时，这也将导致高频率853的事件。然而，这些事件可以被认为是非重大事件852（也称为非突出事件）。换言之，非重大事件852可包括对于snn 106的训练来说无意义的事件的窗口。通过该空间
‑
时间机制，过滤该非重大事件852是可能的。
69.在一些示例中，snn 106可关于重大事件850的标签进行训练，其对于学习是突出的。snn 106可忽略非重大事件852。
70.由于事件重大性是基于图像帧810内的空间坐标的，因此本文描述的空间
‑
时间对应性方法还可以解决主体848移动到未来图像帧810上的不同坐标的情况。该移动可以导致重大事件850的新集合。因此，可以跟踪被识别的主体848。
71.在一些情况下，可能由于背景改变、照明改变和噪声而触发虚假（spurious）事件。通过清楚地指示帧上的坐标和重大事件850的相应时间窗口，snn 106可被训练以不强调（de
‑
emphasize）虚假事件。还归因于噪声的抖动和振动也可能是虚假事件的源。这些虚假事件可以可选地通过高通滤波器来消除。或者，如前所述，snn 106可通过训练来学习忽略这些虚假事件。后一种方法可以帮助防止过度拟合（over
‑
fitting）。
72.图9是示出了用于基于事件的处理的空间
‑
时间对应性的另一实现的示例。在一些示例中，当存在多于一个主体948时，本文描述的空间
‑
时间对应性方法可以用于在主体948之间消除歧义（disambiguate）（例如，区分）。
73.在该示例中，多个图像帧910被描绘为具有对应的事件950。事件950可以由尖峰的频率来表征。
74.第一主体948a（例如，人）在时间t
1 960a处进入图像帧910。可以在时间t
1 960b处捕捉相应的事件950。
75.第二主体948b（例如，第二人）在时间t
2 962a处进入图像帧910。可以在时间t
2 962b处捕捉相应的事件950。
76.第一主体948a可以在时间t
1 n 964a处离开图像帧910。可以在时间t
1 n 964b处捕捉相应的事件950。
77.第二主体948b可以在时间t
2 m 966a处离开图像帧910。可以在时间t
2 m 966b处捕捉相应的事件950。
78.可以训练snn 106以在两个主体948a
‑
b之间进行区分。例如，当第一主体948a在时间t
1 960b处到达时可使用事件950来训练snn 106以标识第一主体948a。当第二主体948b在时间t
2 962b处到达时还可以使用事件950来训练snn 106以标识第二主体948b。由于针对每个主体948的事件950不同，所以可以训练snn 106以在两个主体948a
‑
b之间进行区分。
79.图10是用于基于事件的处理的标记的数据生成的示例。在该示例中，第一主体1048a（主体a）和第二主体1048b（主体b）可以由照相机来观察，如结合图9所描述的。
80.在一些示例中，来自基于帧的系统的图像帧1010可以被提供给dnn 1004以用于面部识别。dnn 1004可位于计算设备102的照相机训练系统内，以用于snn 106的进一步训练，或者可位于别处（例如，云），因为dnn 1004可不用于进一步的实时应用。
81.在一些示例中，dnn 1004的面部识别系统可以输出与每个主体1048a
‑
b相关联的元数据。例如，dnn 1004可以输出在边界框中的主体的主体标识符（例如，姓名）。在以下示例中，第一主体1048a被识别为主体a，并且稍后加入的第二主体1048b被标识为主体b。
82.基于帧的系统还可以将生成的时间戳1040传播到基于事件的系统。例如，dnn 1004可以针对与第一主体1048a的到达相对应的t1生成第一时间戳1040a。dnn 1004还可以针对与第二主体1048b的到达相对应的t2生成第二时间戳1040b。因此，主体标识符（例如，姓名）的输出可以伴随有主体1048被首次看到时的时间戳1040。
83.利用封装在事件序列内的元数据和该信息，可以将针对给定主体1048的标记的图像数据在基于帧的系统和基于事件的系统之间调和（reconcile）。例如，事件处理器可以使用时间戳1040来将数据（例如，事件格式图像数据1012中的给定事件）与相应的标签（例如，主体标识符）组合。
84.在一些示例中，重大事件可以与标签或时间戳相关联。非重大事件可能不具有标
签或时间戳。例如，在与第一主体1048a的到达相对应的时间t
1 1060处的事件可以具有相关联的时间戳1040a和标签（例如，主体a的主体标识符）。类似地，在与第二主体1048b的到达相对应的时间t
2 1062处的事件可以具有相关联的时间戳1040b和标签（例如，主体b的主体标识符）。然而，dnn 1004可能不为在时间t
1 n 1064处的第一主体1048a的离开以及在时间t
2 m 1066处的第二主体1048b的离开的非重大事件生成时间戳和标签。
85.由于非重大事件没有标签和/或时间戳，所以snn 106可能不被训练来识别这些非重大事件。换句话说，snn 106可被训练成通过保留（withhold）非重大事件的标签和/或时间戳来忽略非重大事件。

技术特征：
1.一种方法，包括：将被训练用于处理感测数据的深度神经网络（dnn）的输出提供给尖峰神经网络（snn）；由snn基于dnn的输出执行事件格式数据的处理；以及确定dnn的输出与snn的输出之间的损失，其中，当损失在阈值内时禁用dnn。2.根据权利要求1所述的方法，其中，dnn的输出包括在时间上对应于事件格式数据的标记的感测数据。3.根据权利要求1所述的方法，还包括基于公共时钟信号和感测数据的时间戳来同步事件格式数据与感测数据。4.根据权利要求1所述的方法，还包括由snn基于dnn的输出来标识事件格式数据中的重大事件。5.根据权利要求1所述的方法，还包括由snn基于dnn的输出来在事件格式数据中的重大事件和非重大事件之间进行区分。6.一种计算设备，包括：深度神经网络（dnn），被训练用于对图像帧进行图像处理；尖峰神经网络（snn），基于dnn的输出来执行事件格式图像数据的图像处理；以及损失检测模块，确定dnn的输出与snn的输出之间的损失，其中，当损失在阈值内时禁用dnn。7.根据权利要求6所述的计算设备，还包括事件处理器，其将事件格式图像数据与图像帧同步。8.根据权利要求7所述的计算设备，其中，事件处理器基于公共时钟信号和图像帧的时间戳将事件格式图像数据与图像帧同步。9.根据权利要求6所述的计算设备，其中，snn基于包括在dnn的输出中的元数据来标识事件格式图像数据中的重大事件。10.根据权利要求6所述的计算设备，其中，事件捕捉传感器基于指示事件格式数据中的显著改变的阈值将事件格式数据提供给snn。11. 一种编码有可由处理器执行的指令的非暂时性机器可读存储介质，所述机器可读存储介质包括：向尖峰神经网络（snn）提供事件格式图像数据的指令；以及由snn对事件格式图像数据执行图像处理的指令，其中，基于被训练用于图像帧的图像处理的深度神经网络（dnn）的输出，snn被训练用于来对事件格式图像数据进行图像处理。12.根据权利要求11所述的机器可读存储介质，还包括基于dnn的输出与snn的输出之间的损失来确定snn由dnn完全训练的指令。13.根据权利要求11所述的机器可读存储介质，还包括当snn由dnn完全训练时禁用dnn的指令。14.根据权利要求11所述的机器可读存储介质，其中，在不使用dnn的输出的情况下snn处理事件格式图像数据。15.根据权利要求11所述的机器可读存储介质，其中，snn被预训练用于基于dnn的输出对事件格式图像数据进行图像处理，并且其中，snn被包括在没有dnn的计算设备中。
技术总结
本文描述了使用深度神经网络的输出的基于事件的处理的示例。在一些示例中，事件格式数据可被提供给尖峰神经网络（SNN）。SNN可以对事件格式数据执行处理。可以基于针对感测数据的处理训练的深度神经网络（DNN）的输出来针对处理事件格式数据训练SNN。处理事件格式数据训练SNN。处理事件格式数据训练SNN。


技术研发人员：M
受保护的技术使用者：惠普发展公司,有限责任合伙企业
技术研发日：2018.11.28
技术公布日：2021/6/29