Licht, Material und das gerechnete Bild
Rendern macht aus einem Modell ein Bild. Ein Weg ist, nachzubilden, wie Licht sich ausbreitet, und auf ein fotografisches Ergebnis zu zielen. Ein anderer ist, mit Absicht einen künstlerischen Stil anzuwenden. Genau das meint nicht-fotorealistisches Rendern (Non-Photorealistic Rendering). In einem realistischen Renderer sind die beiden Grundoperationen der Transport, wie viel Licht von einem Ort an einen anderen gelangt, und die Streuung, wie eine Fläche mit dem Licht umgeht, das ankommt. Erledigt wird die Arbeit von 3D-Software oder von einer Programmierschnittstelle für 3D-Grafik (3D-Grafik-API). Die Szene in eine Form zu bringen, die der Renderer benutzen kann, umfasst auch die Projektion: eine dreidimensionale Beschreibung, gezeigt in zwei Dimensionen. Manche Modellierer rendern zugleich. 3ds Max und Blender sind Beispiele. Manche Programme rendern nur. Octane und Redshift sind Beispiele dieser zweiten Art.
Rasterisierung
Echtzeitgrafik in 3D bildet das Bild gewöhnlich durch Rasterisierung. Jedes Polygon wird ins Einzelbild projiziert, bedeckt einige Pixel, und ein Tiefentest behält die nächste Fläche. Die Frage, die die Maschine stellt, ist örtlich und wiederholt sich. Deckt dieses Dreieck dieses Pixel, und liegt es vor dem, was schon da war?
Die Schattierung nach Gouraud berechnet eine Farbe an den Eckpunkten und interpoliert sie über die Fläche. Die Schattierung nach Phong interpoliert die Normalen und wertet den Glanzpunkt an jedem Abtastwert aus. Die zweite kostet mehr, und auf einer gekrümmten Fläche, die durch ebene Facetten angenähert ist, sitzt der Glanzpunkt überzeugender. Reyes, die Architektur hinter einem großen Teil der Spielfilmanimation seit den späten 1980er-Jahren, zerlegt jede Fläche in Mikropolygone und prüft die Sichtbarkeit danach im Bildschirmraum mit einem Z-Puffer. Das Zerlegen ist der Punkt. Sind die Stücke klein genug, lässt sich eine grobe Beschreibung einer gekrümmten Fläche so schattieren, als wäre die Kurve wirklich da.
Den Strahlen nach
Strahlverfolgung (Raytracing) bildet das Bild, indem Strahlen von der Kamera durch die Szene verfolgt werden. Ein primärer Strahl verlässt die Kamera durch ein Pixel. Im Modell von Whitted kann der Shader, das kleine Programm, das die Farbe festlegt, danach einen Reflexionsstrahl erzeugen, einen Brechungsstrahl und einen Schattenstrahl zu jedem Licht. Die Rekursion endet bei einer Grenze der Rekursionstiefe oder wenn ein Strahl die Szene ganz verfehlt. Das Bild ist das, was diese Strahlen vorgefunden haben.
Pfadverfolgung (Path Tracing) schätzt die Rendering-Gleichung, indem viele zufällige Wege des Lichts gemittelt werden. Weil jedes Pixel nur ein Mittel zufälliger Abtastwerte ist, bleibt das Bild verrauscht, wenn der Mittelwert früh abgebrochen wird. Das Rauschen ist keine Textur. Es ist die unfertige Rechnung, im Bild an der Stelle, an der ein späterer Abtastwert den Mittelwert geändert hätte.
Bis 2017 waren viele Studios der Produktion vom Rendern mit Mikropolygonen im Stil von Reyes zur physikalisch basierten Pfadverfolgung übergegangen. Steve Bako und Kollegen trainierten ein Faltungsnetz (Convolutional Network) auf Einzelbildern aus Finding Dory und prüften es an Cars 3. Aus einigen Dutzend Abtastwerten pro Pixel sagt dieses Netz einen Filter voraus, der einen großen Teil des Monte-Carlo-Rauschens entfernt. Open Image Denoise von Intel leistet verwandte Arbeit, und Renderer, darunter Arnold, Blender und V-Ray, binden es ein. 2025 verlieh die Academy of Motion Picture Arts and Sciences einen Technical Achievement Award, einen Preis für technische Leistung, an Attila T. Áfra für Open Image Denoise und an Timo Aila für die Anwendung von U-Nets auf das Entrauschen. Der Preis ist eine nützliche Markierung. Das Aufräumen eines Renders war ein eigenes Stück Filmtechnik geworden, kein Feld zum Ankreuzen.
Strahlen, während zugesehen wird
Nvidia kündigte RTX am 19. März 2018 an, zuerst für GPUs der Reihe Volta, Prozessoren, die die CPU bei der Grafikrechnung unterstützen, zusammen mit DirectX Raytracing von Microsoft. Eigene RT-Kerne, für Schatten, Reflexionen, Brechungen und globale Beleuchtung per Strahlverfolgung, kamen mit der Serie GeForce RTX, angekündigt am 20. August 2018. Bevor ein Spiel ein ganzes Einzelbild per Pfadverfolgung rechnen konnte, war die übliche Praxis enger. Schatten, oder Reflexionen, oder indirektes Licht wurden als getrennte Effekte per Strahlverfolgung gerechnet, und nur für eine begrenzte Zahl von Lichtern. Der Rest des Einzelbildes blieb rasterisiert.
Ray Tracing: Overdrive, hinzugefügt in Cyberpunk 2077 mit Patch 1.62 am 11. April 2023, verfolgt die Pfade für das ganze Einzelbild. Die Funktion ist standardmäßig aus, weil der Modus sehr anspruchsvoll ist. CD PROJEKT RED empfahl diese Vorschau für Karten der GeForce-RTX-40-Serie ab der 4070 Ti aufwärts und für eine GeForce RTX 3090 bei 1080p und 30 Bildern pro Sekunde. Diese Zahlen werden altern. Die Gestalt der Tatsache nicht. Pfadverfolgung über das volle Einzelbild war in einem Spiel an diesem Datum eine Vorschau am oberen Ende, nicht die gewöhnliche Art, auf der ein Bild auf einen Fernseher kam.
Materialien
Materialien und Texturen sind das, was der Renderer befragt, wenn zu entscheiden ist, wie eine Fläche mit Licht umgeht. Ein Material ist die Anweisung. Eine Textur liefert oft die Zahlen, die über die Fläche hinweg wechseln. Eine Farbkarte, auch Albedo-Karte genannt, bemalt die Fläche. Eine Bump Map oder eine Normal Map deutet kleinere Formen an, als das Netz enthält. Eine Displacement Map geht weiter und verschiebt die Fläche tatsächlich. Die ersten beiden sind eine Fiktion der Beleuchtung. Die dritte ändert die Form, die gezeichnet werden wird, und sie kann die Silhouette ändern, was eine Normal Map nicht kann.
Das Modell von Cook-Torrance, von 1982, behandelt eine Fläche als eine Ansammlung von Mikrofacetten. Es trägt der relativen Helligkeit von Materialien Rechnung, die zusammen gezeigt werden, der richtungsabhängigen Streuung des reflektierten Lichts und einer Farbverschiebung, wenn der Einfallswinkel sich ändert. Steht ein Becher aus Kunststoff neben einem aus Messing unter demselben Licht, hat das Modell zu beiden etwas zu sagen, statt einer einzigen Zahl für „Glanz“, über jeden Stoff gezogen.
Die principled BRDF von Brent Burley, beschrieben in einem Kurs der SIGGRAPH 2012, wurde bei den Walt Disney Animation Studios um eine kurze Liste von Entwurfsregeln gebaut. Die Parameter sollen intuitiv sein statt streng physikalisch. Es sollen wenige sein. Gewöhnlich sollen sie zwischen null und eins liegen, dürfen diesen Bereich aber verlassen. Kombiniert sollen sie plausibel bleiben. Das Studio setzte den entstandenen Shader auf nahezu jedem Material in Wreck-It Ralph ein. Das Interessante an dieser Liste ist das Wort „plausibel“. Ein Shader für den Film muss sich an einem Dienstag von der Person steuern lassen, die ihn gestaltet. Ein physikalisch vollständiges Modell, das sich nicht steuern lässt, ist das falsche Werkzeug, auch wenn das Integral hübscher ist.
Drei spätere Aufgaben, und eine, die nicht dieselbe ist
Entrauschen, Rekonstruktion und Text-zu-3D werden zusammengelegt, weil an allen ein Netz beteiligt ist. Es sind verschiedene Aufgaben. Entrauschen stellt ein Bild wieder her, das der Renderer schon simuliert hat. Rekonstruktion passt eine Szene an Fotografien an. Text-zu-3D erzeugt aus einer geschriebenen Vorgabe (Prompt) ein neues Asset. Abseits von allen dreien sitzt ein Generator, der nur ein flaches Bild zurückgibt und kein geometrisches Modell behält, das ein zweiter Blickpunkt mitbenutzen könnte, auch wenn das Bild dreidimensional aussieht. Diese letzte Art wird bei flachen Bildern besprochen. In eine Datei von Modellen gehört sie nicht.
Beim Entrauschen schreibt ein Netz ein gereinigtes Einzelbild aus dem verrauschten Render und, wenn der Renderer sie ausgibt, aus Hilfspuffern wie Albedo und Flächennormalen. Was es schätzt, ist das Bild, gegen das eine viel größere Zahl von Abtastwerten gelaufen wäre. Es erfindet keine Szene. Es rät das Ende einer Rechnung, die abgeschnitten wurde.
Rekonstruktion geht von Fotografien aus, deren Kameraposen bekannt sind. Ein neuronales Strahlungsfeld (Neural Radiance Field), 2020 eingeführt von Ben Mildenhall, Pratul Srinivasan, Matthew Tancik, Jonathan Barron, Ravi Ramamoorthi und Ren Ng, bildet einen 3D-Punkt und eine Blickrichtung auf eine Dichte und eine blickabhängige Farbe ab. Entlang jedes Kamerastrahls tastet gewöhnliches Volumenrendering diese Funktion ab und bildet ein Bild. Die Darstellung ist genau und teuer. Bernhard Kerbl und seine Kollegen, schreibend über das, was danach kam, beschreiben neuronale Strahlungsfelder als teuer beim Trainieren und beim Rendern.
Gaußsches Splatting in drei Dimensionen (3D Gaussian Splatting), 2023 veröffentlicht von Kerbl, Georgios Kopanas, Thomas Leimkühler und George Drettakis, ersetzt das Netz durch anisotrope 3D-Gaußfunktionen. Sie werden optimiert und dann durch Splatting gezeichnet. Für die Szenen, die die Autoren geprüft haben, berichten sie neue Ansichten in Echtzeit bei 1080p, mit 30 Bildern pro Sekunde oder darüber. Die Gaußfunktionen sind die gespeicherte Szene. Sie sind ein Strahlungsfeld, gezeichnet durch Splatting, kein Netz aus Dreiecken. In glTF kann die Erweiterung KHR_gaussian_splatting diese Splats tragen. Deshalb tauchen sie in der Liste der Modelldateien auf.
DreamFusion, das Verfahren für Text-zu-3D von Ben Poole, Ajay Jain, Jonathan Barron und Ben Mildenhall, optimiert ein zufällig initialisiertes neuronales Strahlungsfeld, bis Bilder aus zufälligen Kameras unter einem eingefrorenen Text-zu-Bild-Modell gut abschneiden. Weil dieser Prior, das vorausgesetzte Modell, auf gewöhnlichen Bildern trainiert wurde, braucht die Optimierung keinen Korpus aus 3D-Modellen. Jeder Prompt ist eine eigene Optimierung. Ein bekanntes Versagen ist das Janus-Artefakt: mehr als eine Vorderseite an einem einzigen Objekt. Es tritt auf, wenn jede abgetastete Ansicht auf eine kanonische Vorderseite zusammenfällt. Peihao Wang und Kollegen führen dieses Versagen auf einen Zusammenbruch in der Zielfunktion der Score-Distillation zurück, die DreamFusion bekannt gemacht hat. Das Objekt wird nicht von mehreren Seiten fotografiert. Jede „Seite“ wird zu der Vorderseite gezogen, die das Bildmodell am besten kennt.
Ein Einzelbild aus der Produktion ist die meiste Zeit noch eine der älteren Antworten. Rasterisieren, wenn es sich bewegen muss, während jemand zusieht. Pfade verfolgen, wenn das Warten sich leisten lässt, und danach entrauschen. Die neueren Darstellungen zählen, wenn Fotografien vorliegen oder ein Satz, und nicht ein Netz, das jemand gebaut hat. Vom Modell zum Pixel ist das Vokabular, in dem diese Wahlen aufgeschrieben sind.