DLSS 3.0 im ersten Praxis-Test: Wie gut ist Nvidias neues Upsampling mit KI-Frameraten-Boost? (2024)

Nvidias DLSS erfreut sich spätestens seit der zweiten Generation hoher Beliebtheit - mit unter anderem AMDs FSR 2.x sowie Intels XeSS sind dem proprietären Upsampling-Verfahren allerdings jüngst Konkurrenten gegenübergetreten. Und neben den Grafikkartenherstellern gibt es außerdem auch andere Entwickler, die an modernen Temporal-Upsampling-Verfahren arbeiten. Zuletzt hat DLSS 2.x also ein wenig an Vormachtstellung eingebüßt, es wurde also gewissermaßen Zeit für Nvidia, an dieser Stelle mit neuen Ideen für einen frischen Anstoß zu sorgen.

DLSS 3.0: So funktioniert das neue KI-Upsampling

Nvidias jüngster Streich ist also DLSS 3.0. Das neue Deep Learning Supersampling wird von Nvidia als Ultimo der aktuellen, KI-unterstützten Bildaufbereitungen gehandelt, und ohne zu viel zu versprechen, ist DLSS 3.0 sicherlich die aktuell fortschrittlichste Technologie dieser Art. DLSS 3.0 baut auf den Vorgängern auf. DLSS 3.0 basiert also insbesondere auf DLSS 2.0, die generelle Bildqualität der Upsampling-Verfahren ähnelt sich stark, inklusive einiger Auffälligkeiten, darunter etwa die relativ starke Weichzeichnung des Bildes - insbesondere bei höheren Faktoren - sowie hier und dort Neigung zu Schlierenbildung und Moiré-Artefakten. Zwar nutzt Nvidia schon in DLSS 2.0 wie Intel auf der Grafikkarte verbaute Einheiten, um das temporal aufbereitete Bild beim Upsampling zu bereinigen, anders als bei XeSS ist die Schärfung und Säuberung des Bildes aber nicht mehr das KI-Hauptmerkmal von DLSS 3.0.

In DLSS 3.0 werden während des Einsatzes ganze Frames von der KI erzeugt und zwischen die "echten", also tatsächlich von der CPU und Grafikkarte berechneten Bilder eingefügt. Das funktioniert folgendermaßen: Die Grafikkarte berechnet etwa mit DLSS Performance ein Bild in Viertelauflösung, darauf wird dieses als erstes Bild zurückgehalten. Wenn der zweite, ebenfalls mittels DLSS in reduzierter Auflösung erstellte, zweite Frame von der Grafikkarte berechnet wurde, wird der erste, bislang zurückgehaltene Frame, dazu genutzt, aus den Informationen des ersten mithilfe des zweiten Frames einen komplett neuen, von der KI erstellten Frame zu interpolieren.

Darauf wird Frame 1, der generierte KI-Frame (Nvidia nennt diesen "Frame 1.5"), vor dem zweiten Frame ausgegeben. Letzterer dient zugleich wieder als Basis für die folgende KI-Berechnung ("Frame 2.5"). DLSS 3.0 rendert also immer einen Frame, darauf folgt ein KI-Frame, darauf ein weiterer berechneter Frame, dann wieder ein KI-Frame. Jeder zweite Frame mit DLSS 3.0 ist also ein von der KI erzeugtes, "unechtes" Bild, das zwischen tatsächlich gerenderten Frames, aus deren Informationen der KI-Frame erstellt wurde, eingeschoben wird. Vereinfacht sieht das Ganze so aus - Ausgang ist Viertelauflösung, also DLSS Performance. In diesem Fall rendert die Grafikkarte also nur ein Achtel der tatsächlich auf dem Bildschirm sichtbaren Pixel. Der Rest entstammt dem Upsampling und den im Wechsel eingeschobenen KI-Frames.

Quelle: NvidiaDLSS 3 im ersten Praxis-Test: Wie gut ist Nvidias neues Upsampling mit KI-Frameraten-Boost? (3)

Für diese Technologie erweitert Nvidia die Inputs von DLSS um einen vierten. Neben den drei mittlerweile zum Standard-Repertoire aktueller temporaler Upsampling-Verfahren gehörigen Inputs des Color-, Depth-Buffers und den Motion Vectors nutzt DLSS 3.0 obendrein sogenannte Optical Flow Fields. Dabei handelt es sich um eine unter anderem in der Robotik zur Bewegungserkennung oder bei Video-Codes zur Vermeidung von Artefakten genutzte Technologie. Gegenüber Motion Vectors haben Flow Fields den Vorteil, dass sie deutlich akkurater arbeiten können, etwa Bildpunkte genau erfassen, und so auch Elemente berücksichtigen können, die bei den anderen Upsampling-Verfahren nicht oder nur schlecht erfasst werden können - bestimmte Effekte wie Partikel etwa.

Allerdings setzt Nvidia wiederholt auf eigene Hardware und Herangehensweisen, neben den Tensor Cores außerdem den auf GPUs der RTX-4000er-Reihen verbauten Optical Flow Accellerator. Dieser ist neben den weit ausgebauten Tensor-Einheiten der Grund, weshalb DLSS 3.0 exklusiv mit Nvidia-GPUs ab Ada-Lovelace funktioniert. Der neben Depth- und Color-Buffer sowie den Motion Vectors zusätzliche Input ist obendrein der Grund dafür, dass Entwickler ihre Spiele und Engines spezifisch für DLSS 3.0 optimieren müssen. DLSS 3.0 kann also nicht ganz so umstandslos in Titel integriert werden, die bisher nur DLSS, ein anderes Upsampling-Verfahren oder gar lediglich ein TAA nutzen.