Işık, malzeme ve hesaplanan görüntü
İşleme, bir modeli görüntüye çevirir. Bir yol, ışığın nasıl yol aldığını benzetmek ve fotoğrafik bir sonuca yönelmektir. Bir diğeri, bilerek bir sanat üslubu uygulamaktır. Fotogerçekçi olmayan işleme bundan ibarettir. Gerçekçi bir işleyicide iki temel işlem vardır: taşınım, ışığın bir yerden bir yere ne kadar vardığı, ve saçılma, yüzeyin gelen ışığa ne yaptığı. İşi 3B yazılım ya da bir 3B grafik API'si yapar. Sahneyi işleyicinin kullanabileceği bir biçime sokmak izdüşümü de içerir. İki boyutta gösterilen üç boyutlu bir betim. Kimi modelleyiciler işlemeyi de yapar. 3ds Max ile Blender bu türdendir. Kimi programlar yalnızca işler. Octane ile Redshift ikinci türün örnekleridir.
Rasterleştirme
Gerçek zamanlı 3B grafik, görüntüyü genellikle rasterleştirmeyle kurar. Her çokgen kareye izdüşürülür, bazı pikselleri kaplar ve bir derinlik sınaması en yakın yüzeyi tutar. Makinenin sorusu yerel ve yinelemelidir. Bu üçgen bu pikseli örtüyor mu ve orada önceden ne varsa onun önünde mi?
Gouraud gölgelendirmesi köşe noktalarında bir renk hesaplar ve onu yüz boyunca aradeğerler. Phong gölgelendirmesi normalleri aradeğerler ve parlamayı her örneklemde hesaplar. İkincisi daha pahalıdır ve düz yüzlerle yaklaşıklanan eğri bir yüzeyde parlama daha inandırıcı oturur. 1980'lerin sonundan beri uzun metraj canlandırmanın büyük bölümünün arkasındaki mimari Reyes, her yüzeyi mikroçokgenlere böler, sonra görünürlük sınamasını ekran uzayında bir z tamponuyla yapar. Mesele bu bölmedir. Parçalar yeterince küçükse, eğri bir yüzeyin kaba betimi, eğri gerçekten oradaymış gibi gölgelenebilir.
Işınların ardından
Işın izleme (ray tracing), görüntüyü kameradan sahneye ışın izleyerek kurar. Birincil ışın kameradan bir pikselin içinden çıkar. Whitted modelinde gölgelendirici ardından bir yansıma ışını, bir kırılma ışını ve her ışığa doğru bir gölge ışını türetebilir. Özyineleme bir derinlik sınırında biter ya da ışın sahneyi tümüyle ıskalarsa. Resim, bu ışınların bulduğu şeydir.
Yol izleme (path tracing), ışığın çok sayıda rastgele yolunun ortalamasını alarak işleme denklemini kestirir. Her piksel yalnızca rastgele örneklerin ortalaması olduğu için ortalamayı erken kesmek görüntüyü gürültülü bırakır. Gürültü bir doku değildir. Yarıda kalmış aritmetiktir. Sonraki bir örneğin ortalamayı değiştireceği yerde, karenin içinde durur.
2017'ye gelindiğinde pek çok yapım stüdyosu, Reyes tarzı mikroçokgen işlemeden fizik tabanlı yol izlemeye geçmişti. Steve Bako ve meslektaşları, Finding Dory kareleri üzerinde bir evrişimli ağ eğitti ve onu Cars 3 üzerinde denedi. Piksel başına birkaç düzine örnekten bu ağ, Monte Carlo gürültüsünün büyük bölümünü gideren bir süzgeç öngörür. Intel'in Open Image Denoise'u ilgili işi yapar. Arnold, Blender ve V-Ray dahil işleyiciler onu bütünleştirir. Academy of Motion Picture Arts and Sciences, 2025'te Open Image Denoise için Attila T. Áfra'ya ve gürültü gidermeye U-net uyguladığı için Timo Aila'ya bir Technical Achievement Award verdi. Ödül, işe yarar bir işarettir. Bir işlemenin temizlenmesi, bir onay kutusu olmaktan çıkıp film teknolojisinin ayrı bir parçası olmuştu.
İzlerken ışınlar
Nvidia, RTX'i 19 Mart 2018'de duyurdu. Önce Volta GPU'ları içindi ve Microsoft'un DirectX Raytracing'i ile birlikte geldi. Işın izlemeli gölgeler, yansımalar, kırılmalar ve genel aydınlatma için ayrılmış RT çekirdekleri, 20 Ağustos 2018'de duyurulan GeForce RTX serisiyle geldi. Bir oyun bütün kareyi yol izlemeyle hesaplayabilmeden önce alışılmış uygulama daha dardı. Gölgeler, ya da yansımalar, ya da dolaylı ışık, ayrı etkiler olarak ve yalnızca sınırlı sayıda ışık için ışın izlemeyle hesaplanıyordu. Karenin geri kalanı hâlâ rasterleştiriliyordu.
Cyberpunk 2077 yaması 1.62 ile 11 Nisan 2023'te eklenen Ray Tracing: Overdrive, kareyi yol izlemeyle hesaplar. Kip çok ağır olduğu için öntanımlı olarak kapalıdır. CD PROJEKT RED bu önizlemeyi, 4070 Ti ve üzeri GeForce RTX 40 serisi kartlar için ve 1080p ile saniyede 30 karede bir GeForce RTX 3090 için önerdi. Bu sayılar eskir. Olgunun biçimi eskimez. Bir oyunda tam kare yol izleme, o tarihte, resmin televizyona çıkmasının olağan yolu değil, üst düzey bir önizlemeydi.
Malzemeler
İşleyici, bir yüzeyin ışığa nasıl davranacağına karar vereceği zaman malzemelere ve dokulara başvurur. Malzeme, talimattır. Doku, çoğu zaman yüzey boyunca değişen sayıları verir. Renk haritası, albedo haritası da denir, yüzeyi boyar. Kabartma haritası ya da normal haritası, örgünün içerdiğinden daha küçük ayrıntılar önerir. Yer değiştirme haritası daha ileri gider ve yüzeyi gerçekten hareket ettirir. İlk ikisi bir aydınlatma kurgusudur. Üçüncüsü çizilecek biçimi değiştirir ve silueti de değiştirebilir. Normal haritası bunu yapamaz.
1982'den Cook-Torrance modeli, bir yüzeyi mikroyüzeyler topluluğu sayar. Bir arada gösterilen malzemelerin göreli parlaklığını, yansıyan ışığın yönlere yayılmasını ve geliş açısı değiştikçe renk kaymasını hesaba katar. Aynı ışığın altında plastik bir kap ile pirinç bir kap yan yana konduğunda modelin ikisi hakkında da söyleyecek bir şeyi vardır. Her maddeye gerilmiş tek bir “parlaklık” sayısı değil.
Brent Burley'nin ilke temelli BRDF'i, bir SIGGRAPH 2012 dersinde anlatıldığı gibi, Walt Disney Animation Studios'ta kısa bir tasarım kuralı listesinin çevresinde kuruldu. Parametreler katı biçimde fiziksel olmaktan çok sezgisel olmalıydı. Sayıları az olmalıydı. Normalde sıfır ile bir arasında durmalı, ama bu aralığın dışına da çıkabilmeliydi. Birlikte kullanıldıklarında akla yatkın kalmalıydılar. Stüdyo çıkan gölgelendiriciyi Wreck-It Ralph içindeki neredeyse her malzemede kullandı. Listenin ilginç yeri “akla yatkın” sözcüğüdür. Bir film gölgelendiricisini bir sanatçı salı günü denetleyebilmelidir. Sanatçının yönlendiremediği, fiziksel olarak eksiksiz bir model, integral daha güzel olsa bile yanlış araçtır.
Üç sonraki iş ve aynı olmayan bir tane
Gürültü giderme, yeniden kurma ve metinden üç boyut, hepsi bir ağ içerdiği için aynı kefeye konur. Ayrı işlerdir. Gürültü giderme, işleyicinin zaten benzettiği bir resmi onarır. Yeniden kurma, bir sahneyi fotoğraflara uydurur. Metinden üç boyut, yazılı bir istemden yeni bir varlık üretir. Üçünün de kenarında, yalnızca düz bir görüntü döndüren ve resim üç boyutlu görünse bile ikinci bir bakışın paylaşacağı geometrik modeli tutmayan bir üreteç durur. Bu son tür, düz resimlerle birlikte ele alınır. Model dosyasının içinde yeri yoktur.
Gürültü gidermede bir ağ, gürültülü işlemeden temiz bir kare yazar. İşleyici onları dışa aktardıysa, albedo ve yüzey normalleri gibi yardımcı tamponlardan da. Kestirdiği şey, çok daha büyük bir örnek sayısının yakınsayacağı görüntüdür. Sahne icat etmez. Yarıda kesilmiş bir hesabın sonunu tahmin eder.
Yeniden kurma, kamera pozları bilinen fotoğraflardan başlar. Ben Mildenhall, Pratul Srinivasan, Matthew Tancik, Jonathan Barron, Ravi Ramamoorthi ve Ren Ng'nin 2020'de tanıttığı sinirsel ışıma alanı, üç boyutlu bir noktayı ve bir bakış yönünü bir yoğunluk ile bakışa bağlı bir renge eşler. Her kamera ışını boyunca olağan hacim işleme bu işlevi örnekler ve bir görüntü kurar. Temsil doğru ve pahalıdır. Bernhard Kerbl ve meslektaşları, ardından geleni yazarken, sinirsel ışıma alanlarını eğitmesi ve işlemesi pahalı diye anlatır.
Kerbl, Georgios Kopanas, Thomas Leimkühler ve George Drettakis'in 2023'te yayımladığı üç boyutlu Gauss sıçratması, ağın yerine anizotrop 3B Gauss'lar koyar. Eniyilenir, sonra sıçratılarak çizilir. Yazarların denediği sahnelerde, 1080p'de, saniyede 30 kare ya da üzerinde, gerçek zamanlı yeni görünümler bildirdiler. Saklanan sahne Gauss'lardır. Üçgen örgü değil, sıçratılarak çizilen bir ışıma alanıdır. glTF içinde KHR_gaussian_splatting uzantısı bu sıçratmaları taşıyabilir. Model dosyaları listesinde bu yüzden görünürler.
Ben Poole, Ajay Jain, Jonathan Barron ve Ben Mildenhall'ın metinden üç boyuta yöntemi DreamFusion, rastgele ilklendirilmiş bir sinirsel ışıma alanını, rastgele kameralardan alınan resimler dondurulmuş bir metinden görüntüye modelde iyi puan alana kadar eniyiler. Bu önsel sıradan görüntülerle eğitildiği için eniyileme bir 3B model derlemine ihtiyaç duymaz. Her istem, kendi eniyilemesidir. Bilinen bir aksaklık Janus artefaktıdır: tek bir nesnede birden fazla ön yüz. Örneklenen her bakış kanonik bir öne çöktüğünde belirir. Peihao Wang ve meslektaşları bu aksaklığı, DreamFusion'un yaygınlaştırdığı skor damıtma amaç işlevindeki bir çökmeye bağlar. Nesne birkaç yandan fotoğraflanmamaktadır. Her “yan”, görüntü modelinin en iyi bildiği öne doğru çekilir.
Bir yapım karesi, çoğu zaman hâlâ eski yanıtlardan biridir. Biri izlerken hareket etmesi gerekiyorsa rasterleştirilir. Beklemeye güç yetiyorsa yollar izlenir, ardından gürültü giderilir. Yeni temsiller, elde birinin kurduğu bir örgü değil de fotoğraflar ya da bir cümle varsa önem kazanır. Modelden piksele, bu seçimlerin yazıldığı söz dağarcığıdır.