Reggelente sokan böngésznek az X közösségi oldalán, de néha igazi technológiai érdekességekbe is belefuthat az ember. Felkapott témává vált, hogy a Tencent nevű kínai technológiai óriás sikeresen lecsökkentette egy 1,5 terabájtos mesterséges intelligencia modell méretét mindössze 214 gigabájtra.
Az Angel Slim nevű eszköz és a Sherry kvantálási módszer áll a háttérben, amelyek komoly mérnöki megoldásokat alkalmaznak, nem varázslatot. Ezek lehetővé teszik, hogy hatalmas, egyébként csak nagy szervereken futtatható modelleket sokkal kisebb méretben, jóval szélesebb körben elérhetővé tegyenek.
Felmerül a kérdés: hogyan lehetséges megőrizni egy ilyen óriási AI modell szinte teljes tudását az adatmennyiség drasztikus csökkentése mellett? A videó bemutatja, miként csoportosítják és egyszerűsítik a modell súlyait, hogy tertián (három értékű) struktúrában tárolhassák azokat, sőt azt is, milyen trükkök révén lehet a tárolás hatékonyságát tovább fokozni.
A dokumentáció nehezen érthető, bonyolult ábrákkal és kevert nyelvű magyarázatokkal nehezíti a megértést. A bemutató azonban arra irányul, hogy mindezt közérthető módon világítsa meg, megválaszolva: vajon miért ilyen forradalmi a Sherry módszer? És képes lehet-e más vállalat is ilyen hatékonysággal alkalmazni ezt a megközelítést?
