Egy izgalmas új, 35 milliárd paraméteres MI modell telepítésének teljes folyamatát fedezhetjük fel ebben az útmutatóban, amely részletesen bemutatja, hogyan működik a Mixture of Experts (MoE) architektúra, és hogyan terhel kevesebb erőforrást a rendszerre anélkül, hogy közben veszteséget szenvedne a teljesítményben.
A bemutató során a szerző elmagyarázza, milyen előnyökkel jár az, hogy az összes paraméterből egyszerre csak egy kisebb rész aktiválódik, és hogy ez miként teszi lehetővé a villámgyors válaszokat, illetve a hatalmas tudást adatolvasáskor is.
A telepítési folyamat során felbukkan az Ubuntu és a GPU konfiguráció is – ezáltal választ kapunk arra, miként lehet egy ekkora modellt valóban lokális gépen futtatni. Konkrét példákon keresztül szemlélteti, milyen adatmodellezési, kódgenerálási kihívásokat old meg az MI, emellett szóba kerül a biztonságos, szabályozott működés is, amikor potenciálisan veszélyes kéréseket blokkol a rendszer.
Az is izgalmas téma, milyen nyelvi és számítási feladatokra képes a modell: a bemutatott példák között szerepel többnyelvű számsor előállítása, kalkulus feladat megoldása és fizikai animációs kód generálása. Felmerül a kérdés, mennyire tud a gépi tanulásban használt különböző architektúrák közül ez az új modell tovább fejlődni, illetve mi a helye a meglévő modellek között a gyakorlati alkalmazásokban.
