CES 2025期間,NVIDIA在拉斯維加斯邀請了全球范圍內(nèi)的核心媒體參加時隔已久的NVIDIA Editor’s Day。這也是疫情之后,全球媒體再次相聚。能在忙碌的CES 2025展會期間,讓大多數(shù)科技媒體空出寶貴的一天時間,僅針對GeForce RTX 50系列的硬件和技術(shù)展開討論,足以見得其重要性。
這場盛會的主角,自然包括了NVIDIA Blackwell,GeForce RTX 50系列臺式機(jī)GPU,乃至GeForce RTX 50系列Laptop GPU,以及圍繞其所構(gòu)建的一大堆技術(shù),比如DLSS 4,Reflex 2,RTX Neural Shaders神經(jīng)著色器。而這些新硬件和新技術(shù)也帶來了很多問題,GeForce RTX 5090是如何做到最高畫質(zhì)4K 240FPS的,神經(jīng)網(wǎng)絡(luò)渲染究竟是什么,未來的游戲究竟會變成什么樣子?
神經(jīng)網(wǎng)絡(luò)渲染:未來十年圖形技術(shù)新基石
在CES 2025主題演講開篇,黃仁勛就展示了一段名為Zorah的DEMO,整個DEMO由GeForce RTX 5090在后臺通過DLSS 4進(jìn)行實(shí)時運(yùn)算,同時也昭示著神經(jīng)網(wǎng)絡(luò)渲染登上游戲?qū)崟r計(jì)算的舞臺,將僅由硬件堆疊的粗暴渲染方式送入淘汰進(jìn)程。
神經(jīng)網(wǎng)絡(luò)渲染其實(shí)很好理解,就是將神經(jīng)網(wǎng)絡(luò)集成到渲染過程中,讓性能、圖像質(zhì)量、游戲互動性上獲得質(zhì)的提升,從而獲得更好的游戲沉浸感。
神經(jīng)網(wǎng)絡(luò)渲染最好的體現(xiàn)之一就是DLSS,通過低分辨率渲染幀輸入給訓(xùn)練過的神經(jīng)網(wǎng)絡(luò),然后以全分辨率的圖像輸出。重點(diǎn)是,DLSS不僅能做到生成完整的幀,還能夠理解場景的組成,包括場景中的陰影、反射和遮擋,讓生成的圖像效果足以媲美原生 。
DLSS從2019年正式實(shí)裝游戲至今,也已經(jīng)發(fā)生了質(zhì)的變化。最初的DLSS 1.0版本需要針對游戲進(jìn)行專門的訓(xùn)練,在經(jīng)過調(diào)整之后可以正式運(yùn)行在Tensor Core中。從DLSS 3開始增加了光流加速器作為協(xié)助,使得GeForce RTX 40系列以后的GPU可以自然的在實(shí)際渲染幀之間插入生成幀,也就是大名鼎鼎的DLSS 3 幀生成技術(shù)。DLSS 3.5增加了光線重建功能,并開始引入AI模型取代降噪算法,并將訓(xùn)練量提升至DLSS 3的五倍。
DLSS 4則是在DLSS 3.5的基礎(chǔ)上更進(jìn)一步,第一次引入多幀生成的技術(shù)。在DLSS 3上,幀生成占據(jù)1/8的內(nèi)容,到了DLSS 4,則硬件渲染實(shí)際上只占據(jù)1/16,也就是在DLSS 4游戲中,每16幀游戲畫面中,實(shí)際上有15幀是由AI加速完成的。這意味著即使硬件性能變化不大的前提下,實(shí)際游戲幀率仍然可以有質(zhì)的提升。再加上DLSS本身對場景中的陰影、反射和遮擋有了很好的理解,實(shí)際生成效果也遠(yuǎn)比純靠硬件生成的效果好很多。
有意思的是,DLSS也僅僅是一個開始。在NVIDIA Blackwell上,工程師將神經(jīng)網(wǎng)絡(luò)集成到可編程著色器中,從而構(gòu)成了GeForce RTX 50系列神經(jīng)網(wǎng)絡(luò)著色器(RTX Neural Shaders)。同時也可以看到,所有的Blackwell CUDA Core均支持FP32/INT32,不像Ada Lovelace CUDA Core在一個SM中,只有一半CUDA Core支持FP32/INT32,另一半僅支持FP32。
RTX Neural Shaders被認(rèn)為是未來十年推動圖形技術(shù)創(chuàng)新的基石,它可以將紋理壓縮7倍,進(jìn)而節(jié)省出大量的圖形的顯存。RTX Neural Shaders的應(yīng)用范圍很廣泛,除了處理紋理壓縮(Texture Compression)之外,也能兼顧到輻射緩存 (Radiance Caching),材質(zhì) (Materials)和輻射場 (Radiance Fields)的計(jì)算。
RTX Neural Shaders SDK允許開發(fā)者能夠在RTX AI PC上訓(xùn)練游戲數(shù)據(jù)和著色器代碼,并通過Tensor Core加速神經(jīng)表示和模型權(quán)重,在訓(xùn)練過程中,神經(jīng)網(wǎng)絡(luò)訓(xùn)練的游戲數(shù)據(jù)還會與傳統(tǒng)渲染的游戲數(shù)據(jù)進(jìn)行對比,從而獲得多次迭代進(jìn)化。開發(fā)團(tuán)隊(duì)還可以使用著色語言Slang簡化訓(xùn)練過程,將大型復(fù)雜的函數(shù),拆分成更小、更容易處理的部分。利用RTX Neural Shaders還能創(chuàng)造出高質(zhì)量的紋理,幫助游戲場景實(shí)現(xiàn)更先進(jìn)的光照效果。
微軟也進(jìn)而表示,DirectX也將很快對這套技術(shù)提供支持,以確保進(jìn)一步發(fā)揮Tensor Core的能力,讓游戲開發(fā)團(tuán)隊(duì)能夠在Windows平臺上更好的使用神經(jīng)網(wǎng)絡(luò)著色器(Neural Shaders)。
因此可以看到RTX Neural Shaders可以專注于三個方向的應(yīng)用,即:
RTX神經(jīng)網(wǎng)絡(luò)紋理壓縮(RTX Neural Texture Compression)
RTX神經(jīng)網(wǎng)絡(luò)材質(zhì)(RTX Neural Materials)
RTX神經(jīng)網(wǎng)絡(luò)輻射緩存(RTX Neural Radiance Cache,RTX NRC)
簡單的展開,可以這么理解:
RTX神經(jīng)網(wǎng)絡(luò)紋理壓縮(RTX Neural Texture Compression):利用AI在不到一分鐘的時間內(nèi)壓縮成千上萬的紋理,他們的神經(jīng)網(wǎng)絡(luò)表示可是實(shí)時存儲、訪問,并且可以直接加載到顯 存中,無需進(jìn)一步修改。神經(jīng)壓縮紋理在相同的視覺質(zhì)量下,可以比傳統(tǒng)塊壓縮紋理節(jié)省7倍的顯 存。
RTX神經(jīng)網(wǎng)絡(luò)材質(zhì)(RTX Neural Materials):利用AI壓縮離線材質(zhì)的復(fù)雜著色器代碼,這些材質(zhì)通常由多個層次構(gòu)成,比如渲染陶瓷、絲綢的場景。神經(jīng)網(wǎng)絡(luò)材質(zhì)處理速度相對傳統(tǒng)方式提升了5倍,這讓游戲級的幀率渲染,擁有電影級畫質(zhì)成為了可能。要知道,以往好萊塢一幀高質(zhì)量畫面通常需要數(shù)小時甚至更多才能完成。
RTX神經(jīng)網(wǎng)絡(luò)輻射緩存(Neural Radiance Cache,NRC):利用實(shí)時游戲數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò),可以更準(zhǔn)確高效地估算游戲場景中的間接光照。NRC通過追蹤1到2條光線,隨后將其存儲在輻射緩存中,并推斷出無線數(shù)量的光線和反彈,進(jìn)而更準(zhǔn)確的表達(dá)出游戲場景的間接光照效果。這么處理,不僅讓路徑追蹤的間接光照效果得到了改善,同時也減少了需要追蹤的光線數(shù)量,性能也進(jìn)一步得到提升。
值得一提,NRC現(xiàn)在已經(jīng)可以在RTX全局光照SDK中使用,NVIDIA計(jì)劃在未來幾個月內(nèi)通過RTX Remix推出一個全新版本的《Portal with RTX》作為RTX NRC的DEMO供業(yè)界參考。
RTX Neural Faces:讓虛擬人更像真人
在現(xiàn)場,NVIDIA舉了一個例子,工程師利用RTX Neural Shaders構(gòu)架一套名為RTX Neural Faces(RTX神經(jīng)網(wǎng)絡(luò)面孔)方案,通過AI生成的方式提升游戲任務(wù)的面部質(zhì)量。這套方案與傳統(tǒng)的渲染不同,為RTX Neural Faces獲取簡單的光柵化面孔和3D姿勢后,再利用生成式AI模型構(gòu)建出更為自然的面孔,也進(jìn)而釋放了GPU的硬件性能。
渲染人類面孔其實(shí)是實(shí)時圖形中一個非常具有挑戰(zhàn)的任務(wù),因?yàn)槿祟悓θ祟愄煜ち耍瑢?dǎo)致人類可以輕易差距到虛擬人類臉上的細(xì)微偏差,如果處理得不好,就會導(dǎo)致陷入恐怖谷效應(yīng),作為3D游戲的老玩家,這一大段長長的記憶一般都深有體會。
RTX Neural Faces提供了一種創(chuàng)新的方法,通過生成式AI來改善面部質(zhì)量。與直接渲染不同,RTX Neural Face只需要簡單的光柵化面孔和3D姿態(tài)數(shù)據(jù)作為基礎(chǔ),就可以實(shí)時通過生成式AI模型推斷出自然的面孔展現(xiàn)。而在此之前,模型已經(jīng)經(jīng)過數(shù)千張離線數(shù)據(jù)的學(xué)習(xí)和訓(xùn)練,涵蓋不同角度、光照、情感和遮擋條件。
這一訓(xùn)練流程可以使用真是的照片或者AI圖像完成,并通過擴(kuò)散模型生成不同的版本。訓(xùn)練好后的模型也會經(jīng)過NVIDIA TensorRT優(yōu)化,從而確保自然的效果。
不僅如此,RTX Neural Faces與用于頭發(fā)和皮膚的RTX角色渲染(RTX Character Rendering)SDK相輔相成。因?yàn)橛螒蚪巧念^發(fā)、皮膚如果希望獲得真實(shí)的展現(xiàn),也同樣具有很高的挑戰(zhàn)性。但如果按照傳統(tǒng)方式,即便使用最先進(jìn)的頭發(fā)技術(shù),也需要每根發(fā)束30個三角形,整個發(fā)型400萬個三角形完成,如果利用光線追蹤的包圍體層次加速結(jié)構(gòu)(BVH,Bounding Volume Hierarchy)解決,代價非常高,速度也非常慢。
這里GeForce RTX 50系列使用了一套名為線性掃掠球體(Linear-Swept Spheres,LSS)的方式,LSS通過減少渲染發(fā)束的數(shù)量,通過球體代替三角形,能夠更為精準(zhǔn)的展現(xiàn)頭發(fā)的形狀,也使得在占用較少顯存的前提下,針對頭發(fā)的光線追蹤成為可能。
針對皮膚也是如此,NVIDIA使用了一套名為次表面散射(Subsurface Scattering,SSS)的方式模擬了光線穿透半透明材料的效果,從而獲得皮膚的柔和、自然感。這里現(xiàn)場工作人員利用了一個獵頭蟹DEMO作為展示 。
AI驅(qū)動光照和RTX Mega Geometry
隨著虛幻引擎5 Nanite幾何體系統(tǒng)的推出,開發(fā)者可以構(gòu)建數(shù)億個三角形的開放世界,光線追蹤場景的復(fù)雜度也是指數(shù)級上升,每一幀不同細(xì)節(jié)層次(LOD)構(gòu)建層次包圍盒(BVH)的成本也呈指數(shù)級增長,按照這么發(fā)展,實(shí)時幀率將變得不可能。
對于這個復(fù)雜環(huán)境下的光照效果挑戰(zhàn),NVIDIA的做法是提供了一套名為RTX Mega Geometry進(jìn)行更高效的組織加速結(jié)構(gòu),讓開發(fā)者能夠生成最多100倍的光線追蹤三角形,并借助NVIDIA Opacity Micro-Maps更好的編碼復(fù)雜材質(zhì)的透明度,進(jìn)而確保復(fù)雜場景中逼近現(xiàn)實(shí)的真實(shí)光照。
復(fù)雜結(jié)合體通過RTX動態(tài)光照獲得了準(zhǔn)確的照明效果,并通過最新的ReSTIR路徑追蹤算法,將算力集中在主要的光線路徑上,RTX全局光照則使用AI驅(qū)動,從而減少光線追蹤反射所需的計(jì)算量。
現(xiàn)在RTX Mega Geometry已經(jīng)可以智能的通過GPU上批量生成三角形集群,進(jìn)而減少CPU負(fù)擔(dān),提升光線追蹤場景中的性能和圖像質(zhì)量。NVIDIA也表示RTX Mega Geometry很快也會加入到NvRTX的虛幻引擎分支中,幫助虛幻引擎Nanite幾何體系統(tǒng)更好的完成光線追蹤項(xiàng)目。
DLSS 4:神經(jīng)網(wǎng)絡(luò)圖形進(jìn)化的新形態(tài)
NVIDIA DLSS由GeForce RTX Tensor Core所驅(qū)動,進(jìn)階到近期的版本之后已經(jīng)擴(kuò)展成為一套相當(dāng)完整的解決方案,包括提升游戲幀率,提供更清晰和更高質(zhì)量的圖像,目前已經(jīng)有超過700款RTX游戲和應(yīng)用對DLSS提供了支持。
DLSS 4最大的變化之一就是帶來了多幀生成技術(shù)(Multi Frame Generation),這是GeForce RTX 50系列GPU的專屬功能,意味著未來的一段時間中,只有采用GeForce RTX 50系列的臺式機(jī)和筆記本才能獲得對應(yīng)的功能。NVIDIA表示,在DLSS 4發(fā)布時,會有75款游戲和應(yīng)用率先支持DLSS多幀生成技術(shù)(DLSS Multi Frame Generation)。
NVIDIA應(yīng)用與深度學(xué)習(xí)研究院副總裁,Bryan Catanzaro
(傳說DLSS性能越強(qiáng),他的頭發(fā)越長)
如前面所說,DLSS多幀生成技術(shù),是在傳統(tǒng)渲染的基礎(chǔ)上,通過AI在每一幀的基礎(chǔ)上多生成三幀的額外幀,并且與其他的DLSS技術(shù)套件協(xié)同工作。由于DLSS本身就允許游戲?qū)嶋H渲染以低分辨率進(jìn)行,再以全分辨率高質(zhì)量輸出,因此實(shí)際獲得的效果是傳統(tǒng)渲染能力的8倍,從而讓GeForce RTX 5090獲得在開啟光線追蹤最高畫質(zhì)的前提下,以4K 240FPS的極高幀率運(yùn)行游戲。
在現(xiàn)場,NVIDIA用采用了DLSS 4的《賽博朋克2077》作為參考,幀率比傳統(tǒng)渲染提升了8倍以上,同時PC系統(tǒng)延遲減少了50%,畫質(zhì)也有了進(jìn)一步提升。
DLSS 4同時也是2020年DLSS 2.0發(fā)布以來,最大的AI模型升級,在DLSS 3.5上所構(gòu)建的DLSS光線重建技術(shù)(DLSS Ray Reconstruction),DLSS超分辨率(DLSS Super Resolution),以及DLAA(Deep Learning Anti-Aliasing)深度學(xué)習(xí)抗鋸齒技術(shù)全部引入到實(shí)時計(jì)算的Transformers模型中,用來代替此前的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)。
Transformers在商用領(lǐng)域倍廣泛采用,前沿的AI模型,比如ChatGPT、Flux和Gemini均是在Transformers架構(gòu)下實(shí)現(xiàn)的。NVIDIA表示,DLSS Transformers的引入,可以獲得更好的穩(wěn)定性,更少的鬼影,更高質(zhì)量的運(yùn)動細(xì)節(jié),圖像質(zhì)量也因此獲得進(jìn)一步提升。
讓人高興的是,DLSS Transformers并非GeForce RTX 50系列GPU獨(dú)占,所有支持DLSS光線重建技術(shù)(DLSS Ray Reconstruction),DLSS超分辨率(DLSS Super Resolution),以及DLAA的游戲后續(xù)都會轉(zhuǎn)換到DLSS Transformers架構(gòu)下,意味著老款GeForce RTX GPU的用戶,在不花錢的前提下也能獲得更好的效果。
同時,由于新技術(shù)帶來的顯存需求降低,幀生成技術(shù)的表現(xiàn)也可以同時在GeForce RTX 50系列和GeForce RTX 40系列上獲得提升。只不過多幀生成技術(shù)是最新的GeForce RTX 50系列獨(dú)占。
致勝新法寶:DLSS多幀生成
DLSS 3的幀生成技術(shù)是通過AI模型,利用游戲中的數(shù)據(jù),比如運(yùn)動矢量、深度,以及通過GeForce RTX 40系列GPU中的光流加速器硬件生成的光流場來獲得一個額外的幀。這樣的幀生成方式成本是非常高昂的,因?yàn)槊恳粋€幀生成,都需要光流加速器、AI模型共同協(xié)作,意味著GPU要花費(fèi)額外的開銷,進(jìn)而也影響輸入幀率。
Transformer模型的好處是,新幀生成通過DLSS Transformer AI模型速度提升了40%,顯存使用減少了30%,并且每個渲染幀只需要運(yùn)行一次,就可以生成多個幀。比如在《戰(zhàn)錘40K:暗潮》中,利用新模型可以獲得10%的幀率提升,在4K最高畫質(zhì)的環(huán)境下使用DLSS幀生成,能夠進(jìn)一步減少400MB的顯存占用。
此外,DLSS 4利用DLSS Transformer AI模型代替了原來的硬件光流加速器,加速了光流場的生成,并通過兩個AI模型協(xié)作,顯著降低了額外幀生成的計(jì)算成本。
即便如此,GPU在渲染每一個游戲幀的時候,還是需要執(zhí)行5個以上的AI模型,比如DLSS光線重建技術(shù),DLSS超分辨率這些AI模型都必須在幾毫秒之內(nèi)完成,否則DLSS多幀生成就會成為性能瓶頸。
解決這個問題的首要方案就是提升硬件性能。GeForce RTX 50系列GPU的第五代Tensor Core支持FP4精度,在AI性能上能有高達(dá)2.5倍提升。與此同時,為了規(guī)避多幀生成導(dǎo)致CPU與GPU之間節(jié)奏的不同步,所導(dǎo)致的節(jié)奏波動,Blackwell中采用了硬件翻轉(zhuǎn)計(jì)量方式,將幀節(jié)奏的控制邏輯轉(zhuǎn)移到顯示引擎中,確保Blackwell GPU可以更精確的管理顯示時序,同時像素處理能力也獲得增強(qiáng),以支持更高分辨率和刷新率。
從NVIDIA展示的最終結(jié)果來看,DLSS 4帶來的多幀生成、光線重建、超級分辨率,可以讓其幀率相對傳統(tǒng)渲染方式提升8倍,從幀生成到多幀生成可以提升1.7倍。
DLSS Transformer模型:突破CNN極限
DLSS Transformer之前,DLSS使用的是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)局部分析前后幀內(nèi)容在區(qū)域內(nèi)的連續(xù)變換,從而推導(dǎo)生成新的像素。從2019年至今的6年中,NVIDIA發(fā)現(xiàn)DLSS CNN架構(gòu)已經(jīng)到達(dá)極限,DLSS Transformer正是時候。
DLSS Transformer模型主要利用的是視覺Transformer,能夠同時評估整個幀中每個獨(dú)立像素相對重要性,并進(jìn)行跨幀判斷。由于DLSS Transformer模型參數(shù)比CNN多一倍,新的模型可以更好的理解場景,進(jìn)而確保生成像素的穩(wěn)定性,并獲得更多運(yùn)動細(xì)節(jié),以及平滑的場景邊緣。
特別是在高強(qiáng)度的光線追蹤畫面中,依靠DLSS Transformer構(gòu)建的光線追蹤重建可以更好的提升圖像質(zhì)量。在現(xiàn)場,NVIDIA通過《心靈殺手2》進(jìn)行了展示,可以看到使用DLSS Transformer后,鐵絲網(wǎng)表現(xiàn)得更穩(wěn)定,同時風(fēng)扇葉片鬼影減少,電線上的閃爍也被消除。
另外一個展示是《地平線:西之絕境》中,DLSS Transformer可以給女主角帶來很好的紋理效果。
由于DLSS Transformer本身以及多幀生成技術(shù)與DLSS有很好的兼容性,因此GeForce RTX 50系列上市時候,就能獲得至少75款游戲和應(yīng)用的支持,與此同時,所有GeForce RTX用戶也可以在超過50款游戲中體驗(yàn)到DLSS Transformer帶來的DLSS光線重建、DLSS超級分辨率和DLAA的提升。
其中,與GeForce RTX 50系列GPU首發(fā)支持DLSS 4多幀生成技術(shù)的游戲包括:
《心靈殺手2》
《賽博朋克2077》
《奪寶奇兵:古老之圈》
《星球大戰(zhàn) 絕地:幸存者》
《黑神話:悟空》
預(yù)告支持DLSS 4多幀生成技術(shù)的游戲包括:
《永劫無間》
《漫威爭鋒》
《微軟飛行模擬2024》
即將推出,且將會原生支持的DLSS 4多幀生成技術(shù)的游戲包括:
《黑色國度》
《毀滅戰(zhàn)士:黑色時代》
《沙丘:覺醒》
NVIDIA Reflex 2:用Frame Warp實(shí)現(xiàn)乾坤大挪移
與DLSS 4對應(yīng)的是NVIDIA Reflex 2,如前面所說,為了應(yīng)付多幀生成帶來的延遲,以及CPU與GPU之間的節(jié)奏問題,Blackwell中采用了硬件翻轉(zhuǎn)計(jì)量,將幀節(jié)奏的控制邏輯轉(zhuǎn)移到顯示引擎中,確保Blackwell GPU可以更精確的管理顯示時序。
不僅如此,NVIDIA Reflex 2的低延遲模式還和全新的Frame Warp結(jié)合,在渲染的游戲幀發(fā)送到顯示器之前,就將鼠標(biāo)輸入的關(guān)鍵幀提交給最終判定,從而提升關(guān)鍵操作的成功率,進(jìn)一步降低系統(tǒng)延遲。
在了解Frame Warp和NVIDIA Reflex 2如何實(shí)現(xiàn)之前,我們先簡短的回顧游戲中操控指令的實(shí)現(xiàn)方式。在游戲中,玩家每一個動作都需要通過復(fù)雜的渲染管道處理之后,最終呈現(xiàn)在屏幕上。并且每一個步驟都會帶來延遲。能做出關(guān)鍵操作的鍵盤和鼠標(biāo)輸入也需要先經(jīng)過CPU判斷,然后放在渲染隊(duì)列中,最終輸出到顯示器上。整個過程執(zhí)行通常需要數(shù)十毫秒,如果停頓和等待復(fù)雜的渲染隊(duì)列,延遲還會進(jìn)一步增加。因此最初、最淳樸的降低系統(tǒng)延遲的方式就是提升GPU性能,提升游戲幀率。
NVIDIA Reflex的做法是在游戲引擎SDK中集成對鼠標(biāo)到顯示器的延遲管道優(yōu)化,讓Reflex可以更好的控制CPU,防止CPU超前運(yùn)行,讓關(guān)鍵幀以最短的時間到達(dá)屏幕,獲得更低的系統(tǒng)響應(yīng)。
NVIDIA Reflex 2使用了不同的方式降低延遲,并且源自于一項(xiàng)有意思的發(fā)現(xiàn)。大約在2021年,NVIDIA的電子競技研究團(tuán)隊(duì)發(fā)現(xiàn),當(dāng)游戲幀在渲染后根據(jù)更近期的鼠標(biāo)輸入進(jìn)行更新時,玩家完成瞄準(zhǔn)任務(wù)的速度更快,并且可以額外的減少80毫秒延遲,以及提升40%左右的關(guān)鍵操作準(zhǔn)確率。
舉個例子。當(dāng)玩家將鼠標(biāo)移向右側(cè)的時候,通常需要等待一段時間系統(tǒng)才會接受到對應(yīng)的操作指令,并針對新的視角進(jìn)行渲染。那么這時候一個大膽的方法來了,如果這時候系統(tǒng)不渲染新畫面,而是對現(xiàn)在的游戲幀向右移動或者扭曲,是不是可以更快呢?
NVIDIA Reflex 2 Frame Warp大致就是這個思路。當(dāng)GPU正在渲染一個幀的時候,CPU會基于最新的鼠標(biāo)、鍵盤輸入的關(guān)鍵指令獲得下一幀的相對位置,F(xiàn)rame Warp直接從CPU獲得對應(yīng)的新視角,并將GPU渲染的幀直接扭曲到對應(yīng)的位置。這個處理過程在渲染管道中盡可能晚進(jìn)行,從而確保鼠標(biāo)輸入指令能夠更快的在屏幕上獲得反應(yīng)。
Frame Warp本質(zhì)就是別急著渲染下一幀,而是節(jié)省資源對當(dāng)前幀進(jìn)行變化,這意味著實(shí)際游戲圖像中會產(chǎn)生一些未被渲染的空白,如果這些空白太多,會直接影響到游戲的整體感受。這里NVIDIA使用了一套延遲優(yōu)化的預(yù)測渲染算法,利用當(dāng)前幀的相機(jī)、顏色、深度數(shù)據(jù)來彌補(bǔ)這些空白處,從而在體感和操控上獲得一致。
從最終結(jié)果來看,NVIDIA Reflex 2可以做到讓PC系統(tǒng)延遲降低75%,在《無畏契約》中可以做到3毫秒的延遲,這個成績是目前全球范圍內(nèi)所有第一人稱射擊游戲中最低的。
NVIDIA ACE和數(shù)字助手
在CES 2025現(xiàn)場,NVIDIA ACE和數(shù)字助手也是被重點(diǎn)宣傳的方向。雖然游戲AI在游戲世界中已經(jīng)用了幾十年,但實(shí)際上游戲中的NPC都是按照固定的程序套路化和玩家進(jìn)行交互,NVIDIA ACE出現(xiàn)打破了NPC只有固定說話方式的可能性,提供了一種全新的自主交互方式。
NVIDIA ACE在2023年首次推出,是一套將生成式AI對話應(yīng)用于游戲角色的技術(shù)。在生成式AI幫助下,NVIDIA ACE塑造的游戲人物會更有自主互動感,配合本地小語言模型,還可以即時響應(yīng)玩家文字、音頻甚至視覺互動。
這套技術(shù)現(xiàn)在應(yīng)用到了更廣的范圍,CES 2025現(xiàn)場提供了《絕地求生》、《永劫無間手游》PC 版的NVIDIA ACE AI隊(duì)友試玩,另外現(xiàn)場還展示《MIR5》則是由AI驅(qū)動的BOSS,根據(jù)對手的動作做出類似人類的判斷。
有意思的是,《暗影火炬城》的制作團(tuán)隊(duì)也使用NVIDIA ACE打造了一個《動物朋克》的DEMO,通過語音或者文字與NPC進(jìn)行交互。
Project G-Assist數(shù)字助手則是圍繞GeForce RTX PC打造的系統(tǒng)級助手,你可以將它看成NVIDIA app的AI版本,通過語音、文字交互就能實(shí)時判斷當(dāng)前PC的性能、優(yōu)化設(shè)置、效率、游戲設(shè)置等等。
Project G-Assist數(shù)字助手本質(zhì)上也是由NVIDIA ACE構(gòu)建,并由GeForce RTX GPU進(jìn)行本地驅(qū)動,通過專門調(diào)優(yōu)的本地小語言模型SLM,GeForce RTX PC可以高效的理解自然語言指令,并幫助玩家進(jìn)行對應(yīng)的操作。在AI PC概念盛行的當(dāng)下,NVIDIA ACE加持無疑可以比一些小打小鬧的AI應(yīng)用助手要靠譜得多。
NVIDIA也表示,Project G-Assist數(shù)字助手在未來會直接集成到NVIDIA app中,可以通過快捷鍵被直接調(diào)用。
好戲還在后頭
有意思的是,NVIDIA Editors Day現(xiàn)場內(nèi)容并不局限于新硬件和新技術(shù),從Blackwell架構(gòu),到生成式AI創(chuàng)作,以及圍繞RTX AI PC構(gòu)建的生態(tài),都在NVIDIA Editors Day上有所展示。
就在這個月,GeForce RTX 5090、GeForce RTX 5090D評測內(nèi)容將會解禁,我們還會圍繞評測對Blackwell架構(gòu)更穩(wěn)深入的解析,比如在生成式AI創(chuàng)作中,GeForce RTX 5090如何利用FP4的優(yōu)勢,DLSS 4游戲和傳統(tǒng)游戲的實(shí)際表現(xiàn)。
即便如此,我們已經(jīng)可以窺見到Blackwell和GeForce RTX 50系列GPU所構(gòu)建出的龐大生態(tài),在AI、游戲、內(nèi)容創(chuàng)作等消費(fèi)端領(lǐng)域全面開花,展現(xiàn)出旗艦級產(chǎn)品應(yīng)有的姿態(tài),也讓整個市場更加期待RTX 50系GPU的上市。
正如NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在Keynote所說:”今天的 AI,其基礎(chǔ)是 GeForce 建立的,是 GeForce 讓 AI 走進(jìn)千家萬戶,現(xiàn)在,AI 也在回歸 GeForce。”
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.