A videó bemutat egy nyílt forráskódú LLM gatewayt, a TensorZero-t, amely kifejezetten arra készült, hogy több különböző nagynyelvű modell szolgáltatót egyesítsen egységes API-n keresztül. Felmerül a kérdés, miként lehet megkönnyíteni az inferencia optimalizálását és növelni az átláthatóságot a mesterséges intelligencia alapú alkalmazások fejlesztésénél.
Részletesen ismertetésre kerül az eszköz telepítése Ubuntu rendszeren, különös tekintettel a helyi és felhőalapú LLM szolgáltatók (például OpenAI és Ollama) integrációjára. A gyakorlatban is bemutatásra kerül, hogyan csatlakoztatható egyszerre több modell, és miként végezhető el az A/B tesztelés különböző nyelvi modellek és promptok között.
Az architektúra ismertetése mellett olyan funkciók is előkerülnek, mint az inferencia és felhasználói visszajelzések automatikus adatgyűjtése a ClickHouse adatbázisba, a felhasználói élmény méréséhez szükséges megfigyelési lehetőségek, valamint a funkcionalitás finomhangolása valós használati adatok alapján.
A beállítási folyamat közben szóba kerülnek a szükséges előfeltételek (mint a Docker), a lépések lépésről lépésre történő megismerése, valamint a helyi gépen zajló kísérleti tesztek (különböző modellekkel végzett lekérdezések és monitorozásuk a webes felületen). Többek között az is fókuszba kerül, hogy a hálózati elrendezés miként befolyásolhatja a válaszidőket helyi és távoli modellek esetén, felvetve a hatékonysági fejlesztés kérdését is.
