Deep Learning Super Sampling

Deep Learning Super Sampling (DLSS), auch AI super resolution,[1] ist eine von Nvidia entwickelte Echtzeit-Upscaling-Technologie für Computerspiele. Dabei wird das Bild in einer geringeren Auflösung berechnet und anschließend mithilfe von KI-Algorithmen auf die eingestellte Auflösung hochskaliert.[2] Mit dieser Technologie sollen deutlich mehr Bilder pro Sekunde (fps) bei nahezu gleichbleibender Bildqualität erreicht werden.[3] Da DLSS auch ein KI-gestützes Anti-Aliasing-Verfahren anwendet,[4] kann die wahrgenommene Bildqualität bei Verwendung von DLSS je nach Spiel und Qualitätsstufe sogar höher ausfallen als bei nativ gerenderter Auflösung.[5]

Geschichte

DLSS wird seit 2018 von Spielen unterstützt.[1] Eine neue, verbesserte Version namens DLSS 2.0 wurde erstmals 2020 bei einigen Spielen eingeführt.[6] Diese Weiterentwicklung soll für höhere Bildraten sorgen und besser aussehen.[1] Laut Nvidia sei die Bildqualität bei DLSS 2.0 mit der von nativ gerenderten Auflösungen vergleichbar.[6] Ein Deep Neural Network wird dabei mithilfe eines neuronalen Grafik-Frameworks von Nvidia namens NGX mit Spielszenen trainiert, die von einem Supercomputer offline gerendert werden.[6] Die KI greift dann auf diese Daten zurück, um Bilder hochzuskalieren.[6]

Nvidias Konkurrent AMD verkündete, dass ab dem 22. Juni 2021 eine ähnliche KI-basierte Upscaling-Technologie namens FidelityFX Super Resolution (FSR) als GPUOpen-Technologie für Grafikkarten der RX-6000-, RX-5000-, RX-500- und Vega-Serie verfügbar sein soll.[7] Zu Beginn sollen 10 Spiele und Spiel-Engines diese Funktion unterstützen.[7]

Da die Technologie von AMD im Gegensatz zu Nvidias DLSS auf Open Source basiert, ist sie auch mit GeForce-Grafikkarten von Nvidia kompatibel.[8]

Auf dem Architecture Day 2021 kündigte Intel eine ähnliche Anti-Aliasing-Technologie namens Xe Super Sampling, kurz XeSS, an, die ebenso Open-Source-basiert ist, um ihre Verbreitung zu fördern.[9]

2022 stellte Nvidia auf ihrer GPU Technology Conference die nächste Iteration namens DLSS 3 vor, die erstmals KI-gestützte Bewegungsinterpolation unterstützt, welche die fps bis zu vervierfachen soll.[10] Dabei wird mittels des Optical Flow Accelerators (OFA) zwischen zwei nativ gerenderten Bildern jeweils ein KI-generiertes Bild erzeugt.[11] Diese als Frame Generation bezeichnete Funktion in DLSS 3 ist optional. Sie benötigt den überarbeiteten OFA in GPUs mit der Mikroarchitektur Ada Lovelace.

Auf der Gamescom 2023 stellte Nvidia schließlich DLSS 3.5 vor, welches die Funktion Ray Reconstruction unterstützt, die Beleuchtungseffekte mit Raytracing detaillierter aussehen lassen und dabei eine höhere Performance bieten soll.[12] Dabei werden für jeden Frame zunächst Materialien und Geometrie gerendert, danach die Beleuchtung mittels Raytracing berechnet und das daraus entstandene Bild anschließend hochskaliert.[12] Das Feature ist für alle RTX-Grafikkarten von Nvidia verfügbar.[12]

Qualitätsstufen

Nutzern stehen bei der Verwendung von DLSS neben der Option, die intern gerenderte, hochzuskallierende Auflösung selbst festzulegen, verschiedene Qualitäts-Voreinstellungen zur Verfügung:[13][14]

Standardmäßige DLSS-Voreinstellungen
QualitätsstufeSkalierungsfaktorRenderskalierung
Ultra-Qualität (in Unreal Engine 4 integriert[15]); in Spielen DLAA genannt[16]1x100%
Qualität1.50x66.7%
Ausgeglichen1.72x58.0%
Leistung2.00x50.0%
Ultra-Leistung; nur für Auflösungen ab 8K empfohlen[17]3.00x33.3%
AutomatischGerenderte Auflösung passt sich in Echtzeit dynamisch an, um vom Nutzer festgelegte FPS-Zielwerte (z. B. 144 fps bei 144-Hz-Monitor) zu erreichen.[18]

Spiele

Die folgenden Spiele unterstützen DLSS:[19][20][21]

Kritik

Bei frühen Versionen von DLSS wurde kritisiert, dass die Hochskalierung zu unscharfen Darstellungen führen kann.[22] Dies sei insbesondere bei ohnehin bereits relativ niedrigen Ausgangsauflösungen wie Full HD stark auffällig, da die nativ gerenderte Auflösung dabei je nach ausgewählter Qualitätsstufe weit unter Full HD liegt. Andrew Edelsten, Angestellter bei Nvidias Deep-Learning-Abteilung, nahm deshalb 2019 in einem Blogpost Stellung zur Problematik, versprach, dass man an der Verbesserung der Technologie arbeite, und sprach damals die Empfehlung aus, DLSS ausschließlich bei hohen Auflösungen wie etwa Ultra HD zu verwenden und nur bei weniger als 60 fps, da sonst die Hochskalierung eines Bildes länger dauern kann als dessen eigentliche Berechnung.[22] Dass die Verwendung von DLSS bei niedrigeren Auflösungen zu besonders unscharfen Bildern führt, läge daran, dass dem Algorithmus dabei im Vergleich zu höheren Auflösungen weit weniger Bildinformationen zur Verfügung stehen, um ein angemessenes Bild zu berechnen.[22]

Des Weiteren wurde kritisiert, dass Spielentwickler durch die Implementierung von DLSS in ihre Spiele keinen Anreiz mehr dazu hätten, diese entsprechend zu optimieren, damit sie auch in nativer Auflösung auf aktueller PC-Hardware flüssig laufen.[23] So wird beispielsweise für das Spiel Alan Wake II in Ultra-HD-Auflösung auf höchster Detailstufe mit Raytracing selbst mit aktuellen High-End-Grafikkarten wie der Nvidia GeForce RTX 4080 die Verwendung von DLSS im Performance-Modus empfohlen, um beim Spielen 60 fps zu erreichen.[24]

Darüber hinaus wird bei der Verwendung von Frame Generation kritisiert, dass dies zu Eingabeverzögerungen führen kann, da das KI-berechnete Zwischenbild erst dann generiert werden kann, wenn das darauffolgende Bild bereits gerendert wurde.[25] Außerdem können durch Frame Generation gegebenenfalls vereinzelte visuelle Artefakte auftreten.[26]

Einzelnachweise

  1. ↑ a b c Wunderwaffe DLSS 2.0: Nvidia will mit überarbeitetem Algorithmus alles besser machen. 23. März 2020, abgerufen am 25. März 2021.
  2. ↑ DLSS: Was ist das überhaupt – und macht die Nvidia-Technologie Sinn? 17. Februar 2020, abgerufen am 25. März 2021.
  3. ↑ DLSS: Was ist das überhaupt – und macht die Nvidia-Technologie Sinn? 17. Februar 2020, abgerufen am 25. März 2021.
  4. ↑ Corinna Oettinger: Nvidia DLSS: Was ist es, was kann es und wer kann es nutzen? 28. November 2023, abgerufen am 13. Juni 2024 (deutsch).
  5. ↑ Matthew S. Smith: What Is DLSS and Why Does it Matter for Gaming? 28. Dezember 2023, abgerufen am 13. Juni 2024 (englisch).
  6. ↑ a b c d NVIDIA DLSS 2.0: Ein großer Fortschritt im KI-Rendering. Abgerufen am 25. März 2021 (deutsch).
  7. ↑ a b Maximilian Schreiner: AMD Super Resolution: Alternative zu Nvidia DLSS erscheint bald. 1. Juni 2021, abgerufen am 2. Juni 2021 (deutsch).
  8. ↑ Manuel Christa: Fidelity FX Super Resolution: AMDs "DLSS" funktioniert auch mit Geforce-GPUs. In: www.pcgameshardware.de. PC Games Hardware, 1. Juni 2021, abgerufen am 25. Juni 2021.
  9. ↑ Open-Source-DLSS von Intel: XeSS in Aktion, alle Informationen. In: www.pcgameshardware.de. PC Games Hardware, 19. August 2021, abgerufen am 20. August 2021.
  10. ↑ Alan Dexter: Nvidia unveils DLSS 3 promising 4x frame rate increases for RTX 40-series GPUs. In: PC Gamer. 20. September 2022 (pcgamer.com [abgerufen am 9. Dezember 2023]).
  11. ↑ Andreas Schilling: DLSS 3 und Frame Generation: Die KI-Revolution ist losgebrochen. 26. April 2023, abgerufen am 9. Dezember 2023.
  12. ↑ a b c Martin Böckmann: Nvidia stellt DLSS 3.5 mit Ray Reconstruction vor. Abgerufen am 9. Dezember 2023.
  13. ↑ Sebastian Schenzinger und Thiago Trevisan: DLSS 3 erklärt: So beschleunigt Nvidias KI-basierte RTX-Technik PC-Spiele. In: PC-Welt. 21. Juni 2023, abgerufen am 16. März 2024.
  14. ↑ Raffael Vötter: "Game Changer" DLSS? Der ultimative Praxistest von DLSS 2.3 mit Benchmarks und Video-Vergleichen. In: PC Games Hardware. 20. Dezember 2021, abgerufen am 16. März 2024.
  15. ↑ Marc Sauter: Nvidia integriert DLSS mit Ultra-Qualität. In: Golem.de. 15. Februar 2021, abgerufen am 16. März 2024.
  16. ↑ DLAA für Deep Learning Anti-Aliasing; diese Option steht beispielsweise in Cyberpunk 2077 und Alan Wake II zur Verfügung. DLAA verwendet dieselbe Anti-Aliasing-Technik, die auch bei DLSS zum Einsatz kommt, allerdings bei nativer Auflösung, was das Bild schärfer wirken lässt: https://www.digitaltrends.com/computing/what-is-nvidia-dlaa/
  17. ↑ NVIDIA preparing Ultra Quality mode for DLSS, 2.2.9.0 version spotted. In: videocardz.com. 30. Juni 2021, abgerufen am 26. Juni 2024 (englisch).
  18. ↑ Thiago Trevisan: DLSS 3 explained: How Nvidia's AI-infused RTX tech turbocharges PC gaming. In: PCWorld. 11. Juli 2023, abgerufen am 16. März 2024 (englisch).
  19. ↑ DLSS kommt in Fahrt: immer mehr Spiele mit Unterstützung angekündigt. In: www.nvidia.com. Nvidia, abgerufen am 25. März 2021.
  20. ↑ Dominik Zwingmann: Red Dead Redemption 2: DLSS-Support von Nvidia bestätigt. In: www.pcgames.de. PC Games, 1. Juni 2021, abgerufen am 28. April 2022.
  21. ↑ Battlefield V wird um DLSS erweitert für eine bis zu 40 % bessere Leistung und Metro Exodus erscheint mit Raytracing und DLSS. Abgerufen am 16. März 2024.
  22. ↑ a b c Fabian Vecellio del Monego: Kritik an DLSS: Nvidia verspricht schärfere Bilder und Updates für Spiele. 17. Februar 2019, abgerufen am 6. Februar 2024.
  23. ↑ Chad Norton: Up For Debate - Are developers using DLSS as a crutch for bad optimization? 20. März 2021, abgerufen am 6. Februar 2024 (englisch).
  24. ↑ Alan Wake 2 on PC is an embarrassment of riches. 26. Oktober 2023, abgerufen am 6. Februar 2024 (englisch).
  25. ↑ Wolfgang Andermahr: Nvidia GeForce RTX 4090 FE im Test: Brachial schnell: DLSS Frame Generation: Technik, Bildqualität und Leistung. 11. Oktober 2022, abgerufen am 18. März 2024.
  26. ↑ Nvidia DLSS 3 Revisit: We Try It Out in 9 Games. 8. März 2023, abgerufen am 10. Juli 2024 (amerikanisches Englisch).