A
A
  • Angol
  • Magyar
  • 15 perc

Mistrol Small 3.2: helyi telepítés és tesztelés Ubuntu rendszeren

Ismerje meg, hogyan működik a Mistrol Small 3.2 legújabb multimodális AI modellje helyi telepítés során, és milyen izgalmas képességeket kínál nyelvi, logikai, kódolási és képfeldolgozási feladatokra.

A Mistrol Small 3.2 modell legújabb, 24 milliárd paraméteres változatát járja körül ez a videó, amely számos fejlesztést és optimalizációt kínál az előző verzióhoz képest. A bemutatott fejlesztések közé tartozik a javított utasításkövetés, valamint a jelentősen csökkentett ismétlődő vagy végtelen generálási hibaarány.

A videó telepítési útmutatót is biztosít, végigvezetve a helyi rendszeren (Ubuntu, Nvidia H100 GPU-val) történő telepítés lépésein, és bemutatja a virtuális környezet és egyéb szükséges csomagok használatát. Megemlíti, hogy az ilyen modellek futtatásához jelentős VRAM szükséges, ezért érdemes lehet például GPU-t bérelni.

A tesztek során különféle benchmarkokat és feladatokat próbálnak ki, többek között nyelvi, logikai, matematikai és kódgenerálási feladatokat. Az eredmények alapján kiemelik a modell koherens válaszait, kiváló funkcióhívási képességeit és a multimodális feldolgozást, amely lehetővé teszi képekkel és szöveggel kapcsolatos kérdések megválaszolását.

Külön figyelemre méltó a felhasználó által definiált funkciók meghívása és a képek leírására, szövegek felismerésére (OCR) vonatkozó tesztsorozat, amely tovább tágítja a modell alkalmazási lehetőségeit. Néhány kihívás, például az idő pontos felismerése egy képen, még mindig problémás lehet, míg más feladatokban, például látvány leírásában és lokalizációban, jól teljesít.