打败一切NeRF!3D高斯论文大盘点
共 2224字，需浏览 5分钟
·
2024-04-11 03:07
几个月内超越NeRF的3D Gaussian Spaltting成为计算机视觉的大热方向，而现在有个新的开创性研究，在VR里实时控制3D高斯泼溅生成的物体，距离真正实现又前进了一大步。
为了让大家跟上AI日新月异的发展脚步， 我盘点了最新的3D高斯论文+综述【附PDF】 ，希望对大家的学习有所帮助。
加课程回复“3D高斯”
领取论文合集
深入探讨了3D GS背后的基本原理和驱动力
简述：对3D GS技术的最新进展和关键贡献进行了系统的概述。文中深入探讨了3D GS背后的基本原理和驱动力，以帮助读者更好地理解这一技术的重要性。文章聚焦于3D GS在实际应用中的可行性，包括其在实时性能方面的优势。
用于实时辐射场渲染的3D高斯溅射
SIGGRAPH 2023 best paper，3D高斯开山作
简述：目前合成技术的方法，要么需要昂贵的神经网络进行训练和渲染，要么牺牲速度以换取质量。作者提出了三个关键元素来实现高质量的实时渲染：使用3D高斯表示场景，优化各向异性协方差以准确表示场景，并开发快速的可见性感知渲染算法。
0 3 Segment Any 3D Gaussians
分割一切「3D高斯」版
简述： 论文介绍了一种新的3D交互式分割方法——Segment Any 3D GAussians（SAGA），它无缝融合了基于2D分割的基础模型和最近在辐射场中取得突破的3D高斯散射（3DGS）。SAGA通过精心设计的对比训练将基础模型生成的多粒度2D分割结果高效地嵌入到3D高斯点特征中。并且相对于先前的SOTA实现了近1000倍的加速。
无别名的3D高斯溅射
简述：3D高斯散射在新的视图合成方面达到了高保真度和高效率。然而，当改变采样率时会出现明显的伪影。作者发现这种现象的主要原因是缺乏3D频率约束和使用2D膨胀滤波器。为了解决这个问题，作者引入了一个3D平滑滤波器，根据输入视图引起的最大采样频率来限制3D高斯原语的大小，从而消除缩放时的高频伪影。
超快速单视图3D重建
简述：论文介绍了Splatter Image，一种超快速的单视图3D重建方法，运行速度为38 FPS。该方法基于高斯溅射，将输入图像映射为每个像素的一个3D高斯，生成的图像称为Splatter Image。该方法使用2D图像到图像网络进行学习，并在测试时只需要前向评估神经网络即可进行重建。
用于生成动力学的物理集成3D高斯分布
简述：论文介绍了PhysGaussian，一种将基于物理的牛顿动力学无缝集成到3D高斯分布中的方法，以实现高质量的新运动合成。该方法使用自定义的物质点方法（MPM），通过连续力学原理对3D高斯核进行丰富的物理有意义的运动变形和机械应力属性。
因篇幅限制，仅展示前6篇论文介绍，领取全部论文合集+代码：
扫码回复“3D高斯”
领取论文合集
另外我还邀请了 顶会审稿人 Simon老师开了一场Gaussian·Splatting的前沿直播课 ，时间是2月28日晚20：00点，直播主题是 《 NeRE 和 Gaussian·Splatting在三维计算机视觉中的应用》 。
直播课内容：
一.传统的三维表达方法的简要回顾
-
点云、体素、表面网格的概念
-
传统表示方法的局限性，以及引入新式表达方法的动机与准则
二.当前的主流三维表达方法
-
符号距离函数
-
辐射神经场
-
三维高斯泼溅
-
发展脉络总结和预测
三.应用工作和未来的研究点
-
机器人导航:与 SLAM 等问题的结合
-
数字人建模:与动态场景/物体表达的结合
-
场景理解:与大语言模型(视觉语言模型)的结合
0.01元 预约2月28日直播课
加课程进交流群学习交流最新技术