Ebben a bemutatóban egy rendkívül kompakt mesterséges intelligencia nyelvi modell telepítésének és kipróbálásának lépéseit ismerhetjük meg. A Granite 4.0-H 350M modell, amely az IBM nano modelljeinek sorába tartozik, különösen alkalmas edge eszközökön való futtatásra, és alacsony erőforrás-igényű környezetekhez fejlesztették ki.
A telepítési folyamat során szó esik a szükséges szoftverekről, például a Python virtuális környezetről, valamint a Torch és a Transformers könyvtárakról, és a modell letöltéséről a Hugging Face platformról. A szerző kitér arra, hogy milyen egyszerű és gyors a modell letöltése, illetve hogyan tölthető be a számítógép CPU-jára vagy GPU-jára.
Különféle benchmark teszteken keresztül kerül bemutatásra a modell teljesítménye. Figyelemre méltó, hogy a modell több nyelvet is támogat, például angolt, németet, spanyolt és japánt, emellett instrukciókövetési és funkcióhívási képességeit is tesztelik.
Az architektúra részletei között szerepel a hibrid Mamba-attenciós megoldás és a sparse mixture of expert komponen, amelyek a modell hatékonyságát és kontextus-feldolgozó képességét növelik. Külön említésre kerül a teljesítmény valódi nyelvi, logikai, valamint matematikai feladatokban, és felmerül, hogy mennyire pontosak az egyes válaszok, illetve hogyan boldogul egyszerűbb vagy összetettebb utasításokkal.
Végül a magyar felhasználókat is érintő kérdésként vetődnek fel a lehetséges alkalmazási területek és továbbfejlesztési irányok, amelyek a bemutatott technológiából kiindulva adódhatnak.
