在GeForce RTX 5060系列正式發布之后,NVIDIA在消費端第二條解禁的消息是TensorRT正式引入GeForce RTX平臺,這意味著GeForce RTX用戶也能獲得經過優化的推理后端,從而獲得更快的推理性能。沒有錯,個人PC運行AI的效率將會越來越高。
通過TensorRT,現有的AI應用可以獲得高于現在DirectML的2倍性能提升,同時TensorRT本身也原生支持Windows ML,TensorRT-LLM已經在Windows上展開部署。值得一提的是,Windows ML推理框架是目前AI PC軟件堆棧中理想的選擇之一,可以同時兼顧硬件支持和性能優化,讓AI應用變得更為方便。
由于Windows ML本身基于ONNX Runtime構建,NVIDIA TensorRT支持Windows ML還意味著對所有ONNX模型有很好的兼容性。
TensorRT for RTX除了可以給PC帶來更好的AI性能,新的后端也可以將庫文件大小壓縮8倍,GPU可以提供即時優化,TensorRT for RTX功能最快會在6月通過developer.nvidia.com面向所有NVIDIA GeForce RTX GPU發布。
除此之外,NVIDIA還提供了超過150個AI SDK支持,以及在5月份推出5個新的ISV集成,包括NVIDIA Broadcast Effects對Bilibili的支持,以及CUDA在LM Studio中性能提升30%,兩款專業軟件Chaos Enscape與AutoDesk VRED對DLSS 4提供支持,Topaz Video AI的GenAI視頻加速功能支持CUDA等等。
NVIDIA還同步推出了全新的NIM和未來的AI規劃,包括游戲助手Project G-Assist的新插件,支持對Discord、Gemini、IFTTT、Twitch、Spotify和SignalRGB的集成。
對于PC玩家而言,我們只需要知道在近期,使用GeForce RTX GPU可以在不產生任何花費的前提下,獲得更好的AI性能,包括B站直播可以更好的調用GeForce RTX GPU獲得更好的直播效果,除了游戲之外,GeForce RTX GPU正在為用戶創造出更多潛在收益。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.