事件相机，我说它是相机中的战斗机，大家没意见吧？

前言

第一次听到“事件”相机，你一定会吐槽它的名字：“什么玩意？”、“不知所云”、“太拗口了！”

没办法，event camera 直译过来就是事件相机，虽然我觉得这个称呼不太直接，或许翻译为“微动”相机之类的更贴切吧。但不妨碍，它是一个神奇的存在，和目前我们常见的视觉相机在原理上大相径庭，目前能够量产事件相机的公司又屈指可数，当然价格也非常“鹤立鸡群”，在动态感知方面能够拍摄到“飞行的子弹”，说它是相机中的战斗机大家应该没有意见吧？

下面是关于事件相机的起源设计思路、原理、特点和分类的概述。欢迎留言区交流

1 事件相机定义与设计

1.1 事件相机的定义及潜在应用

        事件相机（event cameras）是一种生物启发的视觉传感器，以完全不同于标准相机的方式工作。事件相机不是以恒定速率输出强度图像帧，而是仅输出局部像素级亮度变化的相关信息。这些像素级亮度变化（称为事件）超过设定阈值时，事件相机以微秒级分辨率标记时间戳，并输出异步事件流。

事件相机相比于普通相机的优势:

• 低数据率
• 低能耗
• 低延迟
• 高动态范围(HDR)

        普通相机问题:

• HDR: DVS (Dynamic Vision Sensor) 的动态范围约120dB, 而普通相机的动态范围只有60dB -> 抵抗极端环境.
• 低延迟: 极高的时间分辨率使得事件相机可以实时高速感知周围环境并提供准确的输出--->达成无人驾驶的目的
• 低数据率: 高速的普通相机每秒会生成至少上百张图片，而事件相机每秒只生成几百kb的数据--->无人机
• 低能耗: 事件相机只消耗非常少的能量，例如当普通的frame-based相机功率为1~2W时，事件相机的功率只有24mW. -> VR/AR设备

1.2 事件相机设计

        事件摄像机的设计模仿了生物视网膜的特点，并提供了一个从普通基于帧的(frame-based)相机的范式转变.

1.2.1 神经形态硅视网膜

        在生物学的器官中，人类这样的脊椎动物的视网膜是眼睛内表面的一层薄薄的组织，能将光转换成电脉冲.

视网膜可以被分成以下三个部分:

• 光感受器层

        组成元件: 视杆细胞和视锥细胞（神经细胞） 

        层级功能: 将接收到的光转化为电脉冲

• 外丛状层

        组成元件:双极细胞(on- 和 off- 型) 

        层级功能: 将时空间的亮度变化进行编码

• 内丛状层

        组成元件：水平细胞和神经节细胞 

        层级功能: 进行亮度调节，并将电脉冲传递至多条并行通路进行处理

         这些细胞可以按其结构大致分为以下功能:

• 对亮度的瞬间变化敏感的细胞,

• 对持续不变亮度敏感的单元，根据环境光调整其他单元

• 对特定运动方向敏感的细胞

• 对局部区域空间变化敏感的细胞

• 对颜色的特定波长的光敏感的细胞

        这种生物性视网膜有许多令人满意的特性，使其具有潜在的极大优于传统的图像传感器的应用价值。

1.2.2 事件相机设计

        区别于普通相机，事件相机测量的不是绝对的光照强度，而测量的是光强的变化

• 一个相机像素处的光强变化会触发事件相机发送二进制信号，0表示变暗，1表示变亮
• 每个像素是独立的，因此一旦发生变化，二进制信号就立即被发送出去
• 发送出去的信号是连续的且不基于相机帧的

        事件相机的每个像素都有实现三个逻辑功能的模拟电路:

• 光感受器 : 将光转化为电流
• 差分电路 : 计算从上一个事件开始至今的变化量（差分），并通过与预设的内部阈值进行对比来选择是否触发事件
• 比较器: 在触发事件后，将差分电路复位并开始计算下一个事件的差分

2 事件相机分类:

2.1 DVS (Dynamic Vision Sensor)

        DVS是一个纯基于事件的相机

        上图是使用DVS在一个时间间隔内累积事件的一个可视化图像输出

        DVS 电路:

• 光度测量
  第一步是将光电流转换成与光强的对数成比例的电压:

• 差分电路

  检查光电流对数的变化量是否超过用户在传感器配置中预先设置的事件阈值.

  通过 被放大，每当超过事件阈值时，处集成的电荷被重置

• 事件触发

  如果光强变化超过阈值，则触发有符号的异步事件输出

  当一个事件在时被触发时，并且光的变化量满足, 其中

        这可以解释为DVS像素可以检测到的最小对比度。然而，在实际应用中，这受到光感受器噪声和传感器带宽的限制。事件摄影机测量的对比度可以视为标准化的时间差：

        因为 , 在弱光环境中，事件的触发比在明亮场景中的变化要小

2.2 DAVIS (Dynamic and Active Vision Sensor)

DAVIS 与DVS相比，结合了一个基于帧(frame-based)的相机 (与事件相机非同步),通过曝光生成的像素可以提供事件数据中所缺少的丰富纹理信息。

        上方左图是DAVIS相机在一定的时间间隔内收集到的事件的可视化输出图像，右图是其中所带的基于帧的相机采集的图像。

        下图是一个DAVIS相机的逻辑电路，其中APS为普通相机部分，DVS为事件相机部分

2.3 ATIS (Asynchronous Time-based Image Sensor)

ATIS在DVS的基础上巧妙地引入了基于时间间隔的光强测量电路来实现图像重构

        每次 DVS 电路产生事件时，触发光强测量电路进行工作；光强测量设定了两个不同的参考电压， 通过对光强进行积分，并记录达到两个电压发放的事件；由于不同光强的条件下，电压变化相同量所需的时间不同，通过建立光强与时间的映射可以推断出光强大小，从而输出光强变化像素处的光强信息，ATIS 引入了一套全局发放机制，即所有像素可被强制发放一次脉冲，这样在 ATIS 初始工作时可获得一整幅图像作为背景，然后运动区域不断产生脉冲进而不断的触发光强测量电路获得运动区域的灰度来更新背景。

以下是一个ATIS相机的输出:

        从上图左边和中间部分显示了在一个时间间隔内累积事件和解码强度测量的图像。

        ATIS相比于DVS的主要优势在于它的分辨率更高(304×240), 动态范围更高(143 dB) 有更低的能耗(3 )，最重要的是事件能够触发一次全局的HDR输出。

2.4 几种事件相机的对比与总结

• 性能参数
  
  

  
  

• 

• 价格

3 事件相机数据处理

3.1 事件数据

事件相机生成与基于帧相机完全不同的信号.

• 事件相机的输出是基于目标的运动的.

• 事件相机只知道该像素处的亮度发生了变化，但不知道亮度有多大

这使得事件相机难以检测边缘信息，并且在具有复杂纹理的背景下表现不好

3.2 地址事件表示

        事件相机的输出信号是异步且稀疏的。为了解决传感器的动态行为，事件摄像机类型硬件中的一个常见策略是使用地址事件表示（AER）协议。

• 每个阵列的元素都被分配了一个地址，对应于它在图像中的-位置.
• 每个阵列单元以随机方式生成一个信号，该信号在模块间高速异步AER总线上传输
• 所有元素共享相同的物理总线来传输它们的信号，并附加上时间信息

        AER的示意图如下:

        DVS事件摄像机与标准USB设备一样，可以通过其VID和PID进行识别，并使用下表中列出的预定义命令与标准PC上运行的应用程序进行通信。

        与AER事件包不同的是，通过DVS USB接口传输的每个事件都增加了一个微秒级别分辨率的时间戳，并编码在一个4字节长的数据包中，如下图所示，带有图像中的位置、事件的极性和时间戳.

3.3 事件相机模拟器

        事件相机模拟器是通过线性插值和高斯噪声的方式模拟出事件流来，在此选用的是UZH发布的ESIM模拟器。

        在模拟中的转换方法概述如下图所示。首先，我们将从文件夹中的输入视频中提取各个帧。其次，运行ESIM，提供图像文件夹作为模拟事件的输入。最后，将看使用dvs_render渲染器节点可视化模拟事件。

【参考资料】

[1] Kim H, Leutenegger S, Davison A J. Real-time 3D reconstruction and 6-DoF tracking with an event camera[C]//European Conference on Computer Vision. Springer, Cham, 2016: 349-364.

[2] Gallego, G., Delbruck, T., Orchard, G., Bartolozzi, C., Taba, B., Censi, A.,Leutenegger, S., Davison, A., Conradt, J., Daniilidis, K., Scaramuzza, D.,Event-based Vision: A Survey,IEEE Trans. Pattern Anal. Machine Intell. (TPAMI), 2020.

[3] Bardow P A. Estimating general motion and intensity from event cameras[D]. Imperial College London, 2018.

[4] 孔德磊,方正.基于事件的视觉传感器及其应用综述[J/OL].信息与控制:1-15[2020-12-29].

[5] 李家宁,田永鸿.神经形态视觉传感器的研究进展及应用综述