A
A
  • Angol
  • Magyar
  • 10 perc

Több AI modell futtatása egyszerre a Transformers könyvtárral helyben

Hogyan lehet egyszerre több AI modellt futtatni és kiszolgálni egy helyi számítógépen a megújult Hugging Face Transformers segítségével? A videó lépésről lépésre mutatja be a telepítést és a webes adminisztrációt.

Milyen új lehetőségeket kínál a Hugging Face frissített Transformers könyvtára? A friss fejlesztéseknek köszönhetően immár a helyi számítógépen is egyszerre több modellt lehet kiszolgálni, ráadásul külön külső szoftverek nélkül. A bemutató során egy Ubuntu rendszer, egy nagy teljesítményű GPU segítségével vezeti végig a nézőt a telepítésen, kiemelve az alapvető könyvtárakat, mint a torch, rich és AIO HTTP.

Az új szerver és kliens felépítés lehetővé teszi, hogy bármilyen helyi vagy felhőalapú szerveren beállítsuk az AI modellek kiszolgálását, majd bármilyen eszközről hozzájuk kapcsolódjunk. Ez jelentős előrelépést jelent azok számára, akik egyszerre több modellt szeretnének elérni és tesztelni, például fejlesztési vagy kutatási célokra.

Fókuszba kerül a modellek letöltése és használata, például a [quen/quen 3] 6 milliárd paraméteres változatával, valamint a Menlos gen nano modellel. Az integráció webes felületekkel – például az open web UI-val – lépésről lépésre kerül bemutatásra, így mindenki kipróbálhatja a saját rendszerén is.

Új kérdés, hogy mennyire alkalmasak ezek a lehetőségek éles környezetben, miközben a stabilitás és a skálázhatóság is szóba kerül más, bevált könyvtárak (mint a VLM vagy az SG lang) mellett. Felmerül a kérdés, hogy mik az előnyei a nyílt forráskódú és ingyenes, helyben futó megoldásoknak kereskedelmi szolgáltatásokkal szemben.