Ebben a részletes bemutatóban egy nyílt forráskódú, 9 milliárd paraméteres mesterséges intelligencia-modellt ismerhetünk meg, amelyet Claude Mytho példáiból, azaz „trace”-ekből finomhangoltak. A célja, hogy képes legyen logikai feladatokat és problémákat hasonlóan megközelíteni, mint az eredeti Claude modellek.
Megtudhatjuk, miként lehet a QuaiThos modellt helyi gépen, például Ubuntu rendszeren, különböző kvantizált (Q4, Q6, Q8) verziókban futtatni a llama.cpp segítségével, és hogyan viselkedik eltérő VRAM igények mellett. Külön érdekesség, hogy több tokenes előrejelzést tud adni, ami gyorsabb kódgenerálást és egyedi ellenőrzési lehetőségeket biztosít.
A bemutató során több tesztesetet is végrehajtanak: hibakeresés és hibajavítás egy full stack call center alkalmazásnál; kódgeneráció egy speciális animációhoz; valamint egy SQL lekérdezés optimalizáció. Mindegyik teszt külön dilemmákat vet fel az MI képességeivel kapcsolatban, mint például az átfogó hibajavítási hatékonyság, a programkód létrehozásának kreativitása vagy az adatbázis-teljesítmény elemzése. Felmerül a kérdés is, hogy mennyire alkalmasak ilyen eszközök tényleges fejlesztők támogatására, és hol szükséges még emberi kontroll a végső minőséghez.
Szóba kerül a gyakorlati használat, a hardverigény, valamint a fogyasztói GPU-kkal kapcsolatos tapasztalatok. Kitekintést kapunk arra is, milyen hétköznapi problémák és kihívások jelentkezhetnek a helyi futtatás vagy a különféle ügynökök használata során, például a folyamatok kezelése, alkalmazásindítás vagy adatbázis-műveletek kapcsán.
