Az Ornith 1.0 35B modellt vizsgálja a bemutató, amely egy új, közepes méretű, nyílt forráskódú kódolási nagy nyelvi modellcsalád tagja. Az alkotó összehasonlítja a kisebb, 9 milliárd paraméteres elődjével, kiemelve azt, hogy a 35 milliárdos változat okosan működtetett szakértői rétegeivel nagy teljesítményt kínál, mégis elérhető erőforrások mellett is.
Az anyag részletesen bemutatja, hogyan lehet ezt a modellt lokálisan futtatni – például Ubuntu rendszeren, Nvidia H100 GPU-val, akár Q8-as tömörítésben, vagy szerényebb VRAM-mal rendelkező kártyán is alacsonyabb minőséggel. Fontos téma a telepítés és az integráció ismert eszközökkel, például a llama.cpp és a Hermes agent révén.
Az egyik kulcstéma, hogy a modell miként képes azonosítani hibákat egy call center alkalmazás komplex kódbázisában, ahol szándékosan elrejtett hibákat kell megtalálnia a háttérrendszerben és a frontendben egyaránt. Közben szó esik a modell kiképzésének sajátos megközelítéséről is: nem egy fix sémát követ, hanem képes saját feladathoz illő megoldási tervet kialakítani, megtanulva, hogy mely taktikák működnek az eltérő problémákra.
Stresszteszt során egy óriási promptot kap a modell, amelyben egy önálló HTML szimulációs feladatot kellene teljesítenie – itt érdekes kérdés, hogyan birkózik meg az összetett, nagy kreativitást igénylő generálási feladattal. Egy SQL optimalizációs teszt is szerepel, ahol az adatbázis-lekérdezés teljesítményét kell javítania, miközben hatalmas adatmennyiséget dolgoz fel – felmerül a kérdés, milyen mélyre lát a kód teljesítményproblémáiban, és hogyan oldja meg okosan a komplexitást.
