Az AI eszközök kínálata folyamatosan bővül, emiatt azonban egyre nehezebb átlátni az újdonságokat, és megtalálni azokat, amelyek tényleg megkönnyítik a fejlesztők munkáját. Az új Superlinked SIE (Superlinked Inference Engine) egy komplex problémára kínál letisztult megoldást: a több funkciót integráló lokális embedding szerver célja, hogy a szokásos három AI modult – embedding, re-rank és entitáskinyerés – egyetlen konténerben, egyszerűen használhatóvá tegye.
Fejlesztőként gyakran kell szövegeket vektorizálni, eredményeket relevancia szerint sorba rendezni, majd strukturált adatokat kinyerni szabad szövegből. Eddig mindez több különálló, erőforrás-igényes szerveren futó modellt és folyamatos API- és memória-kezelést igényelt, ami jelentősen megnehezítette a fejlesztést és lassította a folyamatokat.
Az SIE egyik fő előnye, hogy több mint 150 előre konfigurált AI modellt kínál – köztük BGE, Gwen, Mistral, xBread, valamint OpenAI modelleket is –, amelyeket egyetlen Docker konténerben lehet futtatni. A szoftver három alapfunkcióra koncentrál (encode, score, extract), és CPU-n vagy GPU-n egyaránt hatékonyan működhet, még kisebb modellek esetében is.
Felmerül például, hogy valójában mekkora teljesítményre van szükség ezekhez a modellekhez, illetve mennyire pontosan képesek a kérdés-válasz párokat rangsorolni vagy entitásokat kinyerni mindenféle előzetes tanítás nélkül. A videó a beüzemelés gyakorlati oldalát is bemutatja, külön kitérve a rendszerkövetelményekre, a Docker használatára, valamint a Python SDK integrálására és a három kiemelt AI-funkció kipróbálására is.
