NVIDIA přináší optimalizace výkonu pro lokální využití AI pod Windows

V nadcházejících měsících budou uvedeny na trh Copilot+ PC vybavené GPU z rodiny RTX. Uživatelům nabídnou vyšší výkon pro lokální práci s AI modely, a to díky novým funkcím systému Copilot+ společnosti Microsoft. Další podrobnosti lze nalézt na blogu společnosti.

NVIDIA dnes také oznámila nové optimalizace výkonu a integrace funkcí pro lepší běh AI pod systémem Windows. Patří mezi ně:

• Zvýšení rychlosti rozsáhlých jazykových modelů (LLM): LLM nyní běží až třikrát rychleji díky ONNX Runtime (ORT) a DirectML v kombinaci s novými NVIDIA R555 Game Ready ovladači. PyTorch bude podporovat backend pro spouštění DirectML, což umožní vývojářům pro Windows nativně trénovat a odvozovat složité AI modely přímo v systému Windows. NVIDIA a Microsoft společně pracují na škálování výkonu na GPU z rodiny RTX. ORT a DirectML jsou vysoce výkonné nástroje pro lokální spouštění AI modelů na PC se systémem Windows.
• Optimalizace Pracovních Postupů AI ve WebNN: NVIDIA optimalizovala pracovní postupy AI v rámci WebNN. Jde o standard, který pomáhá vývojářům webových aplikací akcelerovat modely hlubokého učení pomocí akcelerátorů pro AI, jakými jsou jádra Tensor Cores. Tím je zajištěn vysoký výkon GPU z rodiny RTX pro funkce běžící přímo v prohlížečích.

Tyto pokroky vycházejí ze špičkové platformy společnosti NVIDIA pro AI, která akceleruje více než 500 aplikací a her na více než 100 milionech počítačů a pracovních stanic s GPU z rodiny RTX po celém světě. Nové možnosti navíc poskytují vývojářům nové způsoby přístupu k akceleraci AI pomocí RTX prostřednictvím standardních knihoven a API společnosti Microsoft.

Celý blog: https://blogs.nvidia.com/blog/rtx-advanced-ai-windows-pc-build/