ADOP可微神经渲染管道

ADOP 全称 Approximate Differentiable One-Pixel Point Rendering，是一种新的基于点的可微（differentiable）神经渲染管道，用于场景细化和新颖的视图合成。它的输入是点云和相机参数的初始估计，输出是来自任意相机姿势的合成图像。

• 点云渲染由使用多分辨率单像素点光栅化的可微渲染器执行。
• 离散光栅化的空间梯度由幻影几何的新概念近似。
• 渲染后，神经图像金字塔通过深度神经网络进行着色计算和孔填充。
• 然后，可微分、基于物理的色调映射器将中间输出转换为目标图像。

由于管道的所有阶段都是可微的，因此 ADOP 优化了所有场景的参数，即相机模型、相机姿势、点位置、点颜色、环境贴图、渲染网络权重、渐晕、相机响应函数、每张图像曝光和每张图像白平衡。ADOP 系统能够合成比现有方法更清晰、更一致的新视图，因为初始重建在训练期间得到了改进。高效的单像素点光栅化能够使用任意相机模型并实时显示超过 1 亿点的场景。