A
A
  • Angol
  • Magyar
  • 10 perc

Ernie 4.5 helyi AI telepítése és tesztelése modern GPU-kkal

Egy új, 21 milliárd paraméteres mesterséges intelligenciamodellt mutatnak be, amely összetett feladatokban bizonyíthatja hatékonyságát, mindezt helyi környezetben, modern GPU-kkal tesztelve.

Ebben a bemutatóban egy 21 milliárd paraméteres, gondolkodási képességekkel felvértezett mesterséges intelligencia modellt állítanak középpontba, amely rendkívül hatékony működés mellett képes összetett következtetésekre. Egyedülálló architektúrája csak 3 milliárd paramétert aktivál minden token esetén, így erőforrás-hatékony, miközben a teljesítménye erős marad.

A tesztelés során részletesen bemutatták a helyi telepítési folyamatot, különböző könyvtárakat és GPU-kat alkalmazva, melyek között az Nvidia H100-at is érdemes kiemelni. Külön felhívják a figyelmet a gyors telepítésre és a szükséges VRAM mennyiségére, amely elengedhetetlen ekkora modellek futtatásához.

A bemutatott modellel különféle feladatokra futtattak teszteket, ezek között szerepelt egy valós idejű, látványos, szintetizátor hullámos órát ábrázoló HTML-fájl generálása, valamint egy komplett vállalati stratégiai terv kidolgozása is. A válaszok és a futtatás sebessége minden esetben kiemelkedőnek bizonyult, izgalmas kérdéseket vetve fel az MI kreatív, valamint üzleti alkalmazhatóságával kapcsolatban.

A prezentáció során több eszköz integrációjára is sort kerítettek, miközben a nézők számára inspiráló betekintést nyújtottak a modellek fejlesztési és felhasználási perspektíváiba, érintve a különféle munkafolyamat-automatizálási megoldások lehetőségét is. Végig élő, gyakorlati példákon keresztül szemléltették a rendszer képességeit és a telepítés egyes lépéseit.