NVIDIA Image Scaling英伟达开发的图像缩放技术-技术圈

NVIDIA Image Scaling SDK 为跨平台支持提供了单一的空间缩放和锐化算法。缩放算法使用 6-tap 缩放过滤器，结合了 4 个方向缩放和自适应锐化过滤器，可创建平滑的图像和锐利的边缘。此外，SDK 提供了最先进的自适应方向锐化算法，用于不需要缩放的应用程序。

色彩空间和范围

NVIDIA Image Scaling 着色器可以处理存储为 LDR 或 HDR 的颜色纹理，但有以下限制：

LDR
- 颜色值的范围必须在 [0, 1] 范围内
- 应用色调映射和 OETF（伽马校正）后，输入颜色纹理必须处于显示参考颜色空间中
HDR PQ
- 颜色值的范围必须在 [0, 1] 范围内
- 在应用了 Rec.2020 PQ OETF 的色调映射后，输入颜色纹理必须在显示参考颜色空间中
HDR 线性
- 推荐的颜色值范围是 [0, 12.5]，其中亮度值（根据 BT.709）1.0 映射到 80nits（sRGB 峰值）的亮度值，12.5 映射到 1000nits
- 输入颜色纹理可能具有线性和场景参考或线性和显示参考（色调映射后）的亮度值

资源状态、缓冲区和采样器：

调用 NVIDIA Image Scaling SDK 着色器的游戏或应用程序必须确保纹理处于正确状态。

输入颜色纹理必须处于像素着色器读取状态。DirectX 中的着色器资源视图 (SRV)
输出纹理必须处于读/写状态。DirectX 中的无序访问视图 (UAV)
NVScaler 的系数纹理必须处于读取状态。DirectX 中的着色器资源视图 (SRV)
配置变量必须作为常量缓冲区传递。DirectX 中的常量缓冲区视图 (CBV)
……

最佳着色器设置

为了在当前和未来的硬件上获得 NvScaler 和 NvSharpen 的最佳性能，建议使用以下 API 来获取 NIS_BLOCK_WIDTH、NIS_BLOCK_HEIGHT 和 NIS_THREAD_GROUP_SIZE 的值。

enum class NISGPUArchitecture : uint32_t { NVIDIA_Generic = 0, AMD_Generic = 1, Intel_Generic = 2 };

struct NISOptimizer { bool isUpscaling; NISGPUArchitecture gpuArch; NISOptimizer(bool isUpscaling = true, NISGPUArchitecture gpuArch = NISGPUArchitecture::NVIDIA_Generic); uint32_t GetOptimalBlockWidth(); uint32_t GetOptimalBlockHeight(); uint32_t GetOptimalThreadGroupSize(); };

HDR 着色器设置

使用以下枚举值设置 NIS_HDR_MODE

enum class NISHDRMode : uint32_t { None = 0, Linear = 1, PQ = 2 };

NVScaler 的集成

编译 NIS_Main.hlsl 着色器

NIS_SCALER 应该设置为 1，并且 isUscaling 应该作为 true 传递。

NISOptimizer opt(true, NISGPUArchitecture::NVIDIA_Generic); uint32_t blockWidth = opt.GetOptimalBlockWidth(); uint32_t blockHeight = opt.GetOptimalBlockHeight(); uint32_t threadGroupSize = opt.GetOptimalThreadGroupSize(); Defines defines; defines.add("NIS_SCALER", true); defines.add("NIS_HDR_MODE", hdrMode); defines.add("NIS_BLOCK_WIDTH", blockWidth); defines.add("NIS_BLOCK_HEIGHT", blockHeight); defines.add("NIS_THREAD_GROUP_SIZE", threadGroupSize); NVScalerCS = CompileComputeShader(device, "NIS_Main.hlsl”, &defines);

创建 NVIDIA Image Scaling SDK 配置常量缓冲区

struct NISConfig { float kDetectRatio; float kDetectThres; float kMinContrastRatio; float kRatioNorm; ... }; NISConfig config; createConstBuffer(&config, &csBuffer);

为缩放器和 USM 相位系数创建 SRV 纹理

const int rowPitch = kFilterSize * 4; const int imageSize = rowPitch * kPhaseCount; createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_scaler, rowPitch, imageSize, &scalerTex); createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_usm, rowPitch, imageSize, &usmTex); createSRV(scalerTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &scalerSRV); createSRV(usmTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &usmSRV);

创建采样器

createLinearClampSampler(&linearClampSampler);

更新 NVIDIA Image Scaling SDK NVScaler 配置和常量缓冲区

使用以下 API 调用更新 NVIDIA Image Scaling SDK 配置

void NVScalerUpdateConfig(NISConfig& config, float sharpness, uint32_t inputViewportOriginX, uint32_t inputViewportOriginY, uint32_t inputViewportWidth, uint32_t inputViewportHeight, uint32_t inputTextureWidth, uint32_t inputTextureHeight, uint32_t outputViewportOriginX, uint32_t outputViewportOriginY, uint32_t outputViewportWidth, uint32_t outputViewportHeight, uint32_t outputTextureWidth, uint32_t outputTextureHeight, NISHDRMode hdrMode = NISHDRMode::None );

每当输入大小、清晰度或比例发生变化时更新常量缓冲区

NVScalerUpdateConfig(m_config, sharpness, 0, 0, inputWidth, inputHeight, inputWidth, inputHeight, 0, 0, outputWidth, outputHeight, outputWidth, outputHeight, NISHDRMode::None); updateConstBuffer(&config, csBuffer.Get());

构造

$> cd samples $> mkdir build $> cd build $> cmake ..