Ebben a részletes bemutatóban a szerző egy hatalmas, 122 milliárd paraméteres mesterséges intelligencia modellt telepít és futtat helyileg, egyetlen modern GPU-n. Kiemeli, hogy ez néhány hónappal ezelőtt még elképzelhetetlen lett volna, és hangsúlyozza a technológiai fejlődés ütemét.
A telepítés lépésein keresztül betekintést nyerhetünk az olyan kulcsfontosságú eszközök használatába, mint a llama.cpp. Szó esik arról is, hogy a különféle modellek (például a sűrű és a mixture of experts architektúrák) mikor alkalmasak adott feladatokra. A kvantálás, a memóriafelhasználás, illetve a teljesítmény-kiegyensúlyozás kérdéseit is érinti a szerző.
Érdekes programozási kihívásként a videóban egy HTML alapú, egyedi kinézetű landing oldal generálását is kipróbálja a modell segítségével, egy GPU bérléssel foglalkozó, Egyiptomhoz kötődő startup számára. Mindeközben szóba kerül a lokalizáció, a többnyelvűség, illetve a kreatív mesterséges intelligencia válaszok elemzése is.
Felmerül a kérdés, hogyan érdemes választani az egyre fejlettebb modellek között, milyen kompromisszumokat igényel a maximális kapacitás és a gyakorlati erőforrás-használat. A videó gondolatébresztő példákat, teszteket mutat be, de a végső döntést a nézők tapasztalataira bízza.
