Az OpenAI a közelmúltban valóban nyílt forráskódú, úgynevezett következtetési modelleket adott ki, amelyek nemcsak hétköznapi feladatokra, hanem összetett, ügynökszerű AI-folyamatokhoz is kiválóan alkalmasak. A videó bemutatja, hogyan telepíthetők és használhatók ezek az új modellek néhány perc alatt akár helyileg, asztali gépen is – teljesen Docker vagy terminál parancsok nélkül.
Az Olama asztali alkalmazás, amelyen keresztül különböző modellek (például GPT-OSS, GMA 4B) egyszerűen letölthetők és azonnal futtathatók, kiemelt szerepet kap. Itt szó esik a Turbo előfizetésről is, amely jelentősen felgyorsítja a válaszidőt és nagyobb modellekhez biztosít hozzáférést.
Egyéb alternatív lehetőségek – mint például az OpenRouter – is bemutatásra kerülnek, amelyek lehetővé teszik több modell egyidejű elérését egyetlen API-n keresztül, illetve a Groq (Groq with a Q), ahol szintén számos nyílt forráskódú modell érhető el különböző inferencia-költségekkel.
Praktikus példákon keresztül – például AI segítségével történő weboldalkészítés, automatizációs eszközökben (Make.com, Zapier) – követhetjük nyomon ezeknek az eszközöknek a lépéseit és lehetőségeit. Felmerül a modellek összehasonlítása is, mint a 20B versus 120B változatok, valamint a következtetési és „hallucinációs” kérdések.
A fejlesztői munkafolyamatok, a workflow automatizáció, valamint a promptolási stratégiák is központi témákat képeznek, előkészítve azokat a kérdéseket, hogy ezek a modellek mennyire hatékonyak, és hol vannak az aktuális korlátok.
