Megdöbbentő újításról számol be az Nvidia kutatócsoportja, amely egy vadonatúj, 4 bites adatformátumot, az NVFP4-et mutatott be. A videó részletezi, hogy miért jelent hatalmas kihívást az LLM-ek (nagy nyelvi modellek) esetében a számábrázolás pontosságának drasztikus csökkentése, és milyen technikai nehézségek merülnek fel a 4 bites tanulásnál: például a stabilitás és a tanulási képesség megőrzése.
Az NVFP4 fejlesztése során több matematikai technikát ötvöztek: a 2D blokk-kvantizáció, az ún. head ema transzformáció, valamint a sztochasztikus kerekítés mind hozzájárulnak ahhoz, hogy a modell képes legyen stabilan és pontosan tanulni a korábbinál jóval alacsonyabb pontosság mellett is. Ezek a trükkök segítenek elkerülni, hogy egy-egy nagy érték kiugró hatással legyen, és növelik a rendszer általános stabilitását.
Érdekes módon a súlyfrissítéseket továbbra is nagy pontosságú formátumban számolják, hogy hosszú távon is biztosítsák a modell megbízhatóságát. Az NVFP4 előnyeit szemléltetik összehasonlító ábrákkal: a fejlesztés révén ugyanannyi tanító adat mellett az új formátum kevesebb memóriát és energiát igényel, miközben az elért pontosság gyakorlatilag azonos marad a korábbi, 8 bites modellekével.
Felmerül a kérdés: vajon ezek a matematikai megoldások miként változtatják meg a jövő AI modelljeinek fejlesztését? Mire lehetnek még képesek ilyen alacsony pontosság mellett a mesterséges intelligencia rendszerek, és milyen új alkalmazásokat tesznek lehetővé ezek a technikák?
