视频 | CVPR 2021：光流+事件相机完成视频帧间插值

点击左上方蓝字关注我们

全网搜集目标检测相关，人工筛选最优价值内容

编者荐语

基于事件的帧插值方法通常采用一种基于合成的方法，其中预测的帧残差直接应用于关键帧。然而，虽然这些方法可以捕捉到非线性运动，但它们容易受到重影的影响，在事件少的低纹理区域表现不佳。

转载自 | 计算机视觉life

通常视频帧插值方法通过从连续的关键帧推断图像中的物体运动来生成中间帧。在没有额外信息的情况下，必须使用一阶近似，即光流，但这种选择限制了可以建模的运动类型，导致在高度动态的情况下出现错误。事件相机是一种新型传感器，通过在帧之间的盲时提供辅助视觉信息来解决这一限制。基于事件的帧插值方法通常采用一种基于合成的方法，其中预测的帧残差直接应用于关键帧。然而，虽然这些方法可以捕捉到非线性运动，但它们容易受到重影的影响，在事件少的低纹理区域表现不佳。这项工作提出了Time Lens（联合使用合成和光流），与最先进的基于光流和基于事件相机的方法相比，本文方法有高达5.21dB的PSNR改进。

END

双一流大学研究生团队创建，专注于目标检测与深度学习，希望可以将分享变成一种习惯！

整理不易，点赞三连↓