非视线成像 - 基于飞秒摄影技术
点击下方“AI算法与图像处理”，一起进步！
重磅干货，第一时间送达
你有没有想过，如果能让司机在驾驶汽车转弯时提前知道另外一个车道上的情况，那应该会减少大量的车祸:
如果能让搜救人员在无法进入某个房间时，观察到里面的人员情况，一定会抢救出更多的受害者：
在医学上，各种内窥镜检查过程中，顶端的摄像机很难到达狭窄的空间(心内镜、结肠镜和支气管镜)。如果有某种手段，能够让摄像机观察到直接无法看到的区域，一定能让诊断更加准确：
然而我们都知道，光是沿着直线传播的，要实现上面的技术场景，意味着我们需要观察到视线外的物体：
这就是我接下来会介绍的技术：非视线成像(None-Line-Of-Sight Imaging, NLOS Imaging)
人们很早就会用简单的手段来进行非视线成像了——例如你可能在一些战争片、动作片里面看到，狙击手通过伸出一面镜子来观察躲在墙角的敌人——这种成像只是简单的二维观察。而我今天要介绍的技术，利用了之前介绍过的飞秒摄影技术，第一次实现了对视线外的物体进行三维成像：
这个技术的介绍来自于：
其官网是：CORNAR: Looking Around Corners，而这个持续多年的项目的领导者之一，就是我们之前多次提到的Ramesh Raskar教授
我们先来看看在这个项目里面，作者们是如何进行成像场景的布局的：
你可以看到，有一个隐藏的目标躲在一个角落里面，相机无法直接看到它。而高频激光发出的光打到墙面上的L点，经过漫反射，其中一束光线反射到目标上的s点，它会再次漫反射，其中一束光线又返回墙面的w点，然后进入到相机中。
如果这是一个普通相机的话，它是完全无法区分接收到的光线到底是由墙面上L点的漫反射直接导致的，还是由物体上的反射导致的，也无法区分是由物体上的哪一点导致的反射。因此，这里需要使用我之前在51. 瞬态成像 - 飞秒摄影(TOF系列 1）中介绍的条纹相机。稍微复习下条纹相机的原理：
通过这样的相机，可以达到2ps的时间解析力，从而准确的知道每一条光路的距离，并进一步进行分析：
这里条纹相机对焦的是墙面上的虚线段
当光路确定时，单个物体点导致的成像是一条曲线，其中横坐标是线段上的位置，纵坐标则是光子到达的时间。
从下面刨面图可以看到，物点s漫反射出的光会在不同时刻到达条纹相机，从而形成曲线图。
而通过控制反光镜可以不断改变L点的位置，从而在条纹相机上呈现不同的像。下面是一个示意图，可以看到改变三次激光的方向，可以得到三个不同的图像。
作者们通过多次改变激光打到墙面上的位置点L并变换和统计结果图像，就可以对物体的三维信息进行分析。
这里面，他们设计了一种叫做"Back Projection"的算法来完成这种分析。
由于飞秒相机的超高的时间分辨率，这套非视线成像的系统也能得到很高的三维重建的分辨率，按作者论文的描述，在垂直于墙面方向的三维重建分辨率可以到400微米，而在平行于墙面方向上的重建分辨率可以到0.5-1厘米，至少在当时这已经是很了不起的成就了，因此它可以用于进行更精准的三维重建：
让我们再欣赏一次完整的演示视频：
看到这里，你可能会想，非视线成像确实有趣，也可能很有用。但飞秒相机价格昂贵，很难应用到实际场景吧，难道没有别的手段来实现非视线成像吗？
还真有！我接下来还会给你介绍其他的非视线成像的方法，敬请期待。
今天这篇文章的参考资料来自于：
原始论文：https://www.nature.com/articles/ncomms1747
Youtube演示视频：https://www.youtube.com/watch?v=nxNzAHNPFvI
教授的演讲：https://www.youtube.com/watch?v=9xjlck6W020&t=224s
项目网页：https://web.media.mit.edu/~raskar/
CMU 2017 Fall Computational Photography Course 15-463, Lecture 26
交流群
欢迎加入公众号读者群一起和同行交流，目前有美颜、三维视觉、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群
个人微信（如果没有备注不拉群！） 请注明：地区+学校/企业+研究方向+昵称
下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：终身受益的编程指南：Google编程风格指南
在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！
下载3 CVPR2021 在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文
