A
A
  • Angol
  • Magyar
  • 23 perc

Korlátlan AI modellek futtatása otthon: Előnyök, kihívások és gyakorlati útmutató

Milyen előnyei és kihívásai vannak a korlátozások nélküli AI modelleknek, és miért érdemes őket lokálisan futtatni? A videó bemutatja a Super Gemma 4 26B Uncensored modellt, és azt is, hogyan lehet saját gépünkön futtatni valóban felszabadított nyelvi modelleket.

Ebben a videóban David Andre bemutatja, miként futtathatók korlátozások nélküli mesterséges intelligencia (AI) modellek lokálisan, illetve ismerteti az uncensored, vagyis mindent megválaszolni képes nyelvi modellek előnyeit. A témához kapcsolódóan felmerül, hogy ezek a modellek miért váltak az érdeklődés középpontjává, és milyen társadalmi, etikai kérdéseket vet fel használatuk.

Kitér arra is, hogy a mainstream, felhőben működő AI modellek – például ChatGPT, Claude – miként alkalmaznak szűrőket és szabályozásokat, amelyek sok értelmes vagy ártalmatlan kérdés esetén is megtagadhatják a választ. Ugyanakkor, ha valaki saját gépén futtat egy teljesen nyílt súlyokkal rendelkező modellt, teljes kontrollt szerezhet és megkerülheti a beépített korlátozásokat.

Felvázolja, mi a különbség az AI modellek tiltásra irányuló súlyainak „sebészi” eltávolítása (obliterálás) és az utánhangolás (fine-tuning) között, és miként kombinálhatók ezek a technikák egy valóban „felszabadított” modell létrehozásához. Példaként bemutatja a Super Gemma 4 26B Uncensored GGUF V2 modellt, amely a Google Gemma 4-en alapul és nyílt forráskódú, szabadon letölthető.

Részletesen bemutatja, hogyan lehet telepíteni és elindítani ezt a modellt, milyen eszközök (pl. Olama, Llama CPP) támogatják a helyi futtatást, milyen hardverigény merül fel, és hogyan lehet kiválasztani a géphez leginkább illő változatot.

A szerző továbbá leír egy saját fejlesztésű, nyílt forrású „auto research” környezetet is, amely képes automatizáltan tesztelni, hogy miként lehet minél kevesebb restrikcióval válaszra bírni különböző AI modelleket, valamint bemutatja az ehhez kapcsolódó promptolási stratégiákat.

Felveti azt a filozófiai kérdést is, hogy ki jogosult eldönteni, milyen válaszok, témák veszélyesek vagy elfogadottak, illetve mennyire egészséges hosszú távon az egyoldalú, gyakran ideológiailag meghatározott modellezés a mesterséges intelligenciában. Végül kiemeli, hogy bár a technológia önmagában semleges, felelősségteljes és jogszerű használata mindenkinek saját döntése és kötelessége.