逐帧捕捉场景的传统摄像机与我们的眼睛几乎没有共同之处,它们不断地看到世界。一种称为“事件相机”的新型设备以大致相同的方式工作,将移动视为恒定的信息流。现在,Eth Zurich的科学家通过以高达每秒5,400帧的速度捕捉超级慢动作视频,展示了传感器的真正潜力。这项研究可以带来廉价的高速摄像机和更精确的机器视觉。

事件相机不是捕获单个帧,而是不断地处理场景中光强度的变化。这不仅在数据方面更经济 - 因为场景的静态部分不占用空间 - 但是像普通相机这样的帧之间没有任何损失。这使得像高速摄影,改善HDR性能和机器视觉这招数快得令人难以置信。

事件相机具有讽刺意味的是,虽然它们像我们的眼睛一样工作,但是不可能在屏幕上显示原始数据。首先,需要将其“重建”为可视视频,这是新研究的结果.ElZ苏黎世团队首先使用模拟事件数据训练神经网络,而不是尝试手动提取帧。然后,他们使用结果创建一个高速网络,以实时处理事件相机数据。

结果是图像质量提高了20%,同时实时运行。此外,他们能够以高达5400 fps的速度生成高速视频,捕获子弹击中陶瓷侏儒。在另一示例中,该算法在困难的照明条件下产生高动态范围视频。

该团队展示了一些不属于他们论文的实际应用,如物体识别(停车标志和交通信号灯)和没有双目视觉的深度识别。该研究对于自动驾驶和机器视觉看起来特别有前途,允许车辆在不处理大量数据的情况下查看和检测物体。该技术仍处于早期阶段,但他们已经发布了重建代码和预训练模型,因此其他研究人员可以尝试一下。