AMD FidelityFX™ Hybrid Stochastic Reflections 示例
本示例展示了如何将 AMD FidelityFX Stochastic Screen Space Reflections (SSSR) 与光线追踪相结合，以创建高质量的反射。
创建逼真的图像一直是计算机图形学中一个持续的挑战，尤其是在渲染具有复杂光照的场景时。光线追踪通过模拟光线在场景中反弹并与不同材料相互作用的方式来实现照片级真实感渲染，但它也需要大量的计算才能生成清晰的图像。这就是神经超采样和降噪发挥作用的地方。在这篇博文中，我们将描述我们的神经超采样和降噪如何协同工作，以推动实时光线追踪的界限。
渲染背后的数学
渲染方程 [1] 描述了从表面点 (x) 离开的辐射出射度 (Lo) 是发射出的辐射度 (Le) 和入射辐射度 (Li) 被材料 (fr) 和几何 (ωi⋅n) 术语在表面点周围的半球 (Ω) 上积分。
Lo(x,ωo)=Le(x,ωo)+∫Ωfr(x,ωi,ωo) Li(x,ωi) (ωi⋅n) d(ωi)蒙特卡洛积分是一种随机技术，用于估算域内具有随机样本的积分。光线追踪使用蒙特卡洛积分，通过从虚拟摄像机原点散射的表面发出的所有可能的光线路径中投射随机光线样本来估算渲染方程中的积分。光线追踪概念上简单，无偏，并能为各种场景提供复杂的物理基于渲染的效果，如反射、折射和阴影。
图 1. 每像素 32768 次采样后的光线追踪照片级真实感渲染。（由 AMD Capsaicin Framework [10] 渲染的教室。） – 全尺寸图像链接（4MB）
光线追踪图像中的噪点
蒙特卡洛积分的样本随机性在散射光线多次反弹后未击中光源时会产生固有的噪点。因此，在蒙特卡洛光线追踪中，需要许多每像素采样数（spp）才能实现高质量像素，通常需要几分钟到几小时才能渲染一张图像。尽管每像素采样数越高，图像中噪点越少的可能性越大，但在许多情况下，即使有数千次采样，仍然无法收敛到高质量并显示出视觉上令人讨厌的噪点。
图 2. 每像素 32768 次采样后的光线追踪仍可能显示噪点。（由 AMD Capsaicin Framework [10] 渲染的 Evermotion Archinteriors。） – 全尺寸图像链接（2.3MB）
重构噪点渲染中的像素
降噪是解决蒙特卡洛光线追踪所需高采样数问题的技术之一。它通过使用少量每像素采样数渲染的噪点图像来重构高质量像素。通常，像反照率、法线、粗糙度和深度等辅助缓冲区用作引导信息，这些信息在延迟渲染中可用。通过在远短于完整光线追踪所需的时间内从噪点图像重构高质量像素，降噪成为实时光线追踪中不可或缺的组成部分。
现有的降噪技术分为两类：离线和实时降噪器，具体取决于其性能预算。离线降噪器侧重于从每像素采样数较高的噪点图像（例如，超过 8 次）进行生产电影质量的重构。实时降噪器针对在有限时间内对每像素采样数非常少（例如，1-2 次或更少）的噪点图像进行降噪。
通常使用噪点的漫射和镜面信号作为输入，用不同的滤波器分别对其进行降噪，然后将降噪后的信号复合到最终的彩色图像中，以更好地保留细节。许多实时渲染引擎包含针对每种效果（如漫射光照、反射和阴影）的分离降噪滤波器，以获得质量和/或性能。由于每种效果可能有不同的输入和噪点特性，因此专用滤波可能更有效。
神经降噪
神经降噪器 [3,4,5,6,7,8] 使用深度神经网络在训练过程中对大型数据集进行训练，以预测降噪滤波器权重。与手工设计的分析降噪滤波器 [2] 相比，它们在降噪质量方面取得了显著的进步。根据神经网络的复杂性以及它与其他优化技术的协作方式，神经降噪器正越来越受到关注，并被用于实时蒙特卡洛光线追踪。
统一的去噪和超采样[7]技术，能够处理在低分辨率和低每像素采样数下渲染的噪点图像，并生成去噪和超采样至目标显示分辨率的图像。使用单个神经网络进行这种联合去噪和超采样，其优势在于可以在特征空间共享学习到的参数，从而高效地预测去噪滤波器权重和超采样滤波器权重。大部分性能提升来自于低分辨率渲染和低每像素采样数，这为神经去噪提供了更多的时间预算来重建高质量像素。
AMD 当前研究
我们正在积极研究用于蒙特卡洛去噪的神经技术，目标是在 AMD RDNA™ 2 架构或更高版本的 GPU 上实现实时路径追踪。我们的研究设定了以下几个目标：
- 在给定每像素仅 1 个采样数的极度噪点图像的情况下，重建在空间和时间上具有出色质量和精细细节的像素。
- 通过仅输入噪点彩色图像，而不是分离的噪点漫反射和镜面反射信号，来使用最少的输入。
- 使用单个去噪器处理来自所有光照效果的各种噪点，而不是为不同效果使用多个去噪器。
- 支持单个神经网络实现仅去噪模式和去噪/超采样模式，以适应更广泛的使用场景。
- 针对 4K 分辨率的实时路径追踪进行高度优化的性能。
本着这些目标，我们研究了一种神经超采样和去噪技术，该技术使用单个神经网络，生成比渲染分辨率更高的高质量去噪和超采样图像，用于实时路径追踪。输入包括一个以每像素 1 个采样数渲染的噪点彩色图像，以及一些在渲染引擎中易于获取的引导缓冲区，例如低分辨率的 albedo、法线、粗糙度、深度和镜面命中距离。时间累积的噪点输入缓冲区可以增加噪点图像的有效每像素采样数。历史输出也通过运动向量进行重投影，以实现时间累积。该神经网络通过大量的路径追踪图像进行训练，以预测多个滤波权重，并决定如何对极度噪点的低分辨率图像进行时间累积、去噪和超采样。我们的技术可以通过单次低分辨率的去噪来替代渲染引擎中用于不同光照效果的多个去噪器。根据使用场景，可以选择仅去噪的输出，这通过跳过超采样滤波器，等同于 1 倍超采样。我们在此处展示我们质量结果的预览。
图 3. 我们的神经超采样和去噪工作流程。 – 链接到全尺寸图像 (450K)
图 4. Bistro 场景 [9] 的去噪和超采样结果，达到 4K 分辨率。输入是使用 1920×1080 分辨率和每像素 1 个采样数路径追踪的噪点图像。 – 链接到全尺寸图像 (17.3MB)
多分支多尺度特征网络
在我们的研究中，我们设计了一个多分支多尺度的 U-Net，以结合噪点彩色输入和无噪点别名引导缓冲区中的不同特征，同时学习用于去噪和超采样滤波的特征。一个引导分支从独立的辅助引导缓冲区提取特征，而一个辐射分支则从单个特征提取网络内的噪点辐射输入中提取特征。由于辅助缓冲区没有噪点，只是有别名，并且包含冗余信息，因此我们为引导分支设计了相对较小且较浅的层。这使得能够创建一个轻量级的特征提取网络。
为了证明我们特征提取神经网络的有效性，我们将我们的结果与一些先前的工作进行了比较。下图比较了去噪和超采样（图 5）以及仅去噪（图 6）的视觉质量，并计算了全分辨率图像的质量指标（SSIM↑/LPIPS↓）。我们的结果在保留精细细节方面显示出卓越的质量。关于时间稳定性，请参阅图 7 中的视频。
更多细节请参阅我们在 I3D 2025 上发表的论文 [11]。
图 5. 与先前工作相比，在 4K 分辨率下的去噪和超采样质量比较。
图 6. 在 1920x1080 分辨率下，与最先进的去噪器相比的仅去噪质量比较。
图 7. 我们将噪点的 1920x1080 分辨率图像去噪和超采样到 4K 分辨率的结果。
参考文献
- James T. Kajiya. 1986. 渲染方程。SIGGRAPH ‘86：第 13 届年度计算机图形学和交互技术会议论文集。第 143–150 页。
- Christoph Schied, Anton Kaplanyan, Chris Wyman, Anjul Patney, Chakravarty R. Alla Chaitanya, John Burgess, Shiqiu Liu, Carsten Dachsbacher, Aaron Lefohn, Marco Salvi. 2017. 时空方差引导滤波：用于实时全局光照路径追踪重建。高性能图形学会议论文集，2017 年 7 月，第 1–12 页。
- Yuchi Huo, Sung-eui Yoon. 2021. 基于深度学习的蒙特卡洛去噪综述。Comp. Visual Media，第 7 卷，第 169–185 页。
- Steve Bako, Thijs Vogels, Brian Mcwilliams, Mark Meyer, Jan NováK, Alex Harvill, Pradeep Sen, Tony Derose, and Fabrice Rousselle. 2017. 用于去噪蒙特卡洛渲染的核预测卷积网络。ACM 图形事务汇刊，36，4，文章 97，第 1–14 页。
- Thijs Vogels, Fabrice Rousselle, Brian Mcwilliams, Gerhard Röthlin, Alex Harvill, David Adler, Mark Meyer, and Jan Novák. 2018. 具有核预测和非对称损失函数的去噪。ACM 图形事务汇刊，37，4，文章 124，第 1–15 页。
- Mustafa Işık, Krishna Mullia, Matthew Fisher, Jonathan Eisenmann, and Michaël Gharbi. 2021. 使用神经特征亲和性的交互式蒙特卡洛去噪。ACM 图形事务汇刊，40，4，文章 37，第 1–13 页。
- Manu Mathew Thomas, Gabor Liktor, Christoph Peters, Sungye Kim, Karthik Vaidyanathan, and Angus G. Forbes. 2022. 时空稳定的实时联合神经去噪和超采样。ACM 计算机图形学和交互技术会议论文集，5，3，文章 21，第 1–22 页。
- Martin Balint, Krzysztof Wolski, Karol Myszkowski, Hans-Peter Seidel, and Rafał Mantiuk. 2023. 用于去噪蒙特卡洛渲染的神经分区金字塔。ACM SIGGRAPH 2023 会议论文集，文章 60，第 1–11 页。
- Amazon Lumberyard. 2017. Amazon Lumberyard Bistro，开放研究内容档案 (ORCA)。
- AMD Capsaicin Framework.
- Pawel Kazmierczyk, Sungye Kim, Wojciech Uss, Wojciech Kalinski, Tomasz Galaj, Mateusz Maciejewski, and Rama Harihara. 2025. 通过多分支多尺度特征网络实现联合去噪和超采样。ACM SIGGRAPH 交互式 3D 图形和游戏年会。
