超逼真渲染！虚幻引擎技术大牛解读全局光照系统Lumen

共 3475字，需浏览 7分钟

·

2022-08-26 09:23

新智元报道

编辑：David 桃子

【新智元导读】虚幻引擎5中，多亏有了全局光照系统Lumen才能让更多人人沉浸在虚拟世界中。对于它的研发过程，创立者Krzysztof Narkowicz对其进行了解读。

实时全局光照（Real-time GI）一直是计算机图形学的圣杯。

多年来，业界也提出多种方法来解决这个问题。

常用的方法包通过利用某些假设来约束问题域，比如静态几何，粗糙的场景表示或者追踪粗糙探针，以及在两者之间插值照明。

在虚幻引擎中，全局光照和反射系统Lumen这一技术便是由Krzysztof Narkowicz和Daniel Wright一起创立的。

目标是构建一个与前人不同的方案，能够实现统一照明，以及类似烘烤一样的照明质量。

近期，在SIGGRAPH 2022上，Krzysztof Narkowicz和团队讲述了他们构建Lumen技术之旅。

软件光线追踪——高度场

当前的硬件光线追踪缺少强大的GPU算力支持。我们不知道硬件光线追踪速度有多快，甚至不知道新一代控制台是否支持它。

因此，软件光线追踪方法运用而出。事实证明，它确实是一个非常好用的工具，可以用于缩放或支持有大量重叠实例的场景。

软件光线追踪提供了一种可能性，那便是可以使用各种各样的追踪结构，比如三角形、距离场（distance fields）、面元（surfels），或者高度场（heightfields）。

在此，Krzysztof Narkowicz放弃了研究三角形，简要研究了面元，但是对于那些需要相当高密度才能表示的几何图形，对其进行更新或追踪面元是相当昂贵的。

经过初步探索，高度场是最合适的，因其能够很好地映射到硬件中，并提供表面表示和简单的连续 LOD。

因为我们可以使用所有的POM算法，比如最小-最大四叉树，因此它的追踪速度是非常快的。

此外，多个高度场可以表示复杂几何，类似于栅格化边界卷层次结构。

若将其视为面元的加速结构也非常有趣，一个单独的texel就是一个受限于常规网格的面元。

除了高度场，Lumen还有其他属性，如反照率或照明，这样就能够计算出每次的照明。

在Lumen中，开发者将这张带有表面数据的完整贴花式投影命名为卡（Cards），即捕获位置。

栅格化的三角形

Raymarched cards光线步进卡（高度场）

对于场景中的每一张卡来说，进行光线步进太慢。因此需要一种卡的加速结构，开发者选择了一个4节点的BVH。它是为一个完整的场景构建的，每一帧都在 CPU 上，并上传到 GPU。

然后在追踪着色器中，我们将进行基于堆栈的遍历，并对节点进行动态排序，以便首先遍历最接近的节点。

BVH 调试视图

捕获位置

这里最棘手的部分是如何放置高度场，以便捕捉整个网格。

Krzysztof Narkowicz称，「其中一个想法是基于GPU的全局距离场。每一帧我们都会追踪一小组主射线来寻找没有被卡覆盖的射线。

接下来，对于每一个未发现的射线，我们将使用表面梯度遍历全局距离场，以确定一个最佳的卡方向和范围，从而产生一个新的卡。

全局距离场的捕获位置

一方面，它被证实可以为整个合并场景生成卡，而不必为每个网格去生成卡。另一方面，事实证明它在实践中相当挑剔，因为每次相机移动时都会产生不同的结果。

另一个想法就是把每个网格的卡作为一个网格导入步骤。通过构建几何学的 BVH 来做到这一点，其中每个节点将被转换为 N 张卡。

如下：

栅格化的三角形

光线步进卡(高场)

卡位置视图

这一方法在在寻找一个好的位置时遇到了问题，因为BVH节点并不是放置卡的好代理。

那么，研究人员又提出了另一个想法：遵循紫外线展开技术，并尝试聚类表面元素。

因为要处理数百万个由Nanite提供的多边形，因此他们将三角形换成面元。

同时，他们还切换到了一个较少的约束自由导向卡，以尝试与表面匹配更好。

自由导向的卡位置

通过尝试，这个方法对于简单的形状非常有效，但是在在收敛到更复杂的形状上就出现了问题。

最后，Narkowicz又切换回轴对齐的卡片，但是这次是由面元集群和每个网格生成的。

锥形追踪

追踪高度场的独特性质还可以实现锥形追踪。

锥形追踪对于降低噪声非常有效，因为一个预先过滤的单个锥体跟踪代表了数千条单独的射线。

光线追踪

锥形追踪

对于每个卡，开发者还存储了一个完整的预过滤 mip-map链表面高度、照明和材料属性。

在追踪时，根据圆锥足迹选择合适的步进光线，并对其进行射线追踪。

无卡边和带卡边的跟踪

合并场景表示

在软件中追踪大量的非相干射线是非常慢的。理想情况下，可以使用单一的全局结构，而非多个高度场。

当锥形足迹越来越大时，实际上并不需要精确的场景表示，可以用更近似的表示替代，以获得更快的速度。

一个更复杂的场景，有几十张卡片来追踪每个光线

第一个成功的方法是实现纯体素圆锥跟踪，整个场景在运行时是体素化的，就像经典的「Interactive Indirect Illumination Using Voxel Cone Tracing」一文中的那样实现。

栅格化的三角形

光线步进卡 (高度场)

体素圆锥追踪

光线步进卡继续与体素锥跟踪

而这种方法的主要缺点是，由于场景几何体的过度融合而导致泄漏，这种现象在跟踪粗低映射时尤其明显。

第一种降低图像泄漏的技术是，对全局距离场进行跟踪，只在靠近表面的地方进行体素采样。在采样过程中，随着采样范围扩大积累不透明度，停止追踪时，不透明度将达到1。这样总是在几何体附近进行精确采样，实现降低图形泄露的目的。

第二种技术是对网状内部进行体素化。这大大减少了在较厚的壁处的泄露，不过这样也会造成一些过度遮挡。

其他的实验包括跟踪稀疏体素位块和每面透明通道的体素。这两个实验的目的都是为了解决射线方向体素插值问题，即对于不垂直于壁面的射线，轴对齐的实心壁将变得透明。

体素位砖是将每个体素存储一个位在一个8x8x8的砖块中，以指示给定的体素是否为空。然后使用两级 DDA 算法进行光线步进。具有透明面的体素相似，但 DDA相同，并且沿着光线方向透明度不断上升。结果表明，这两种方法在表示几何体方面的效果都不如距离域，而且速度相当慢。

带有透明度的体素

最早的跟踪合并表示的方法是，对全局距离字段和使用全局每个场景卡的着色命中进行锥形跟踪。即遍历一个 BVH，找出场景中的哪些卡影响采样点，然后根据锥形足迹对每张卡的适度滑步水平进行采样。

本文放弃了这种方法，因为当初没有考虑只用它来表示远场轨迹，而是把它看作是高场光线步进的直接替代。有点讽刺的是，这种被抛弃的方法与我们两年后最终达成的解决方案最为接近。

第一个演示

到这里，已经可以产生一些相当不错的结果了:

尽管如此，还是遇到了很多图形泄漏的问题，而且在这个简单的场景中，即使在一个高端 PC GPU 上，性能也不是很理想。

为了解决泄漏问题，以处理更多的实例、在PS5上以8毫秒以下时间完成处理。这个demo堪称是真正的催化剂。

与以往的方案相比，第一个变化也是最大的变化是，用距离场跟踪取代高度场跟踪。

为了遮蔽生命点，从卡片上插入生命点的光线，因为距离场没有顶点属性，这样，未覆盖的区域只会导致能源损失，而不是泄漏。

出于同样的考虑，将体素锥形追踪改为全局距离场射线追踪。

与此同时，我们还做了很多不同的优化，并通过缓存方案对Lumen的不同部分进行了时间分流。值得注意的是，如果没有锥体追踪，我们必须更积极地去噪和缓存追踪，但这又是一个漫长而复杂的故事。

这是我们发送第一个演示后的最终结果，在PS5上一直低于8ms，包括所有共享数据结构的更新，如全局距离字段。目前的性能表现甚至更好了，比如最新demo的完成时间接近4毫秒，质量上也有明显的改进。

尾声

总之，本文对整个Lumen进行了全面重写，还有许多不同的想法没有实施。另一方面，有些东西被重新利用。就像最初我们用卡片作为追踪表示，但现在用来作为缓存网格表面的各种计算方式。和软件追踪类似，开始是我们主要的追踪方法，主要是圆锥体追踪，但最后成为一种缩小规模和支持具有大量重叠实例的、复杂重度场景的方法。

参考资料：

https://knarkowicz.wordpress.com/2022/08/18/journey-to-lumen/

https://advances.realtimerendering.com/s2022/index.html#Lumen

https://www.youtube.com/channel/UC9V4KS8ggGQe_Hfeg1OQrWw

浏览 51

点赞

收藏

分享

举报

评论

图片

表情

kajiya实时全局光照渲染器

kajiya是Rust和Vulkan实现的实时全局光照渲染器。特性混合使用光栅、计算和光线追踪的混合渲染动态全局照明多次反弹时间循环体素的漫反射高频细节的短程光线追踪漫反射单次反弹镜面反射，第一次命中

kajiya实时全局光照渲染器

Unreal Engine虚幻引擎

UnrealEngine虚幻引擎是一个面向PC、Xbox360、iOS和PlayStation3的完整开发框架，其中提供了大量核心技术、内容创建工具以及支持基础设施内容。虚幻引擎各方面功能的设计思想都

Unreal Engine虚幻引擎

kajiya实时全局光照渲染器

kajiya 是 Rust 和 Vulkan 实现的实时全局光照渲染器。特性混合使用光栅、计算和光线

kajiya实时全局光照渲染器

Horde3D3D 渲染引擎

Horde3D是一个用C++写成的3D渲染引擎，致力于成为一款轻量型、概念清晰的软件。Horde3D需要一个完全兼容OpenGL2.0的显卡。在DirectX上，意味着至少支持ShaderModel2

Horde3D3D 渲染引擎

libRSVGSVG 渲染引擎

libRSVG 是一个使用 C 语言编写的非常快速的 SVG 渲染引擎。当前支持大多数 SVG 1.

libRSVGSVG 渲染引擎

TempoJSON 渲染引擎

Tempo 是一个简单、直观的JavaScript 渲染引擎，使你能够以纯 HTML 格式制作数据模

TempoJSON 渲染引擎

libRSVGSVG 渲染引擎

libRSVG是一个使用C语言编写的非常快速的SVG渲染引擎。当前支持大多数SVG1.2规范，除了动画部分。libRSVG在很多项目中用于SVG渲染，诸如GNOME。

libRSVGSVG 渲染引擎

Genesis3D3D渲染引擎

Genesis3D 是实时3D渲染环境，所有的实时3D的需要。有大量的在线社区，免费网上论坛，许多链

Genesis3D3D渲染引擎

HazelWindows 渲染引擎

Hazel是一个Windows交互应用程序和渲染引擎，项目的内容分为两个方面：创建一个强大的3D引擎，作为游戏引擎设计和架构搭建的教学工具。Hazel目前还处于初期开发阶段，功能不完备，但是每一步的开

HazelWindows 渲染引擎

Horde3D3D 渲染引擎

Horde3D 是一个用 C++ 写成的 3D 渲染引擎，致力于成为一款轻量型、概念清晰的软件。Ho

Horde3D3D 渲染引擎

点赞

收藏

分享

举报