Egyre gyakrabban fordul elő, hogy az AI ügynökökre és nagy nyelvi modellekre (LLM) épített alkalmazásokat nemcsak fejleszteni kell, hanem nagyvállalati környezetben, éles helyzetben is üzemeltetni. Ez azonban számtalan rutinfeladat elvégzését követeli meg: útvonalválasztás, rendelési naplók kezelése, biztonsági szűrők kiépítése és a naplózás – mind külön fejlesztést igényelnek.
A videó egy új, nyílt forráskódú eszközt, a Planót ismerteti, amely azt ígéri, hogy ezeket a funkciókat teljesen elszeparálja az alkalmazás kódjától. Felmerül a kérdés, hogyan lehet egy ilyen rendszerrel leegyszerűsíteni a modellek közötti útválasztást, hogyan biztosíthatók a guardrail-funkciók (pl. biztonsági szűrők), illetve miként jeleníthető meg a teljes megfigyelhetőség és naplózás egyetlen köztes rétegben.
Az eszköz telepítése Ubuntu rendszeren történik, fizikai GPU (Nvidia A6000) támogatással, továbbá integrálásra kerül helyi LLM-modellekkel, például az Olama platform GLM 4.7 Flash modelljével. Izgalmas kérdés, hogy mennyire egyszerűvé válik a beállítás és a rendszer mennyiben támogatja a skálázható vállalati alkalmazásokat.
További érdekes tényező, hogy a Plano nem kis- vagy hobbiprojektekhez készült, hanem főként nagyszabású, például Kubernetes-alapú vállalati megoldásokhoz. Példaként az ügyfélszolgálati chatbotok, utazási asszisztens rendszerek vagy pénzügyi szolgáltatók szerepelnek, ahol kritikus a modellek közötti dinamikus és biztonságos váltás.
A bemutató során szó esik más, hasonló eszközökről is, amelyek régóta próbálják automatizálni ezt a middleware-réteget. Érdemes elgondolkodni azon, milyen hosszú távú előnyöket biztosíthat egy ilyen rendszer, különösen, ha nyílt forráskódú és nincs egyetlen gyártóhoz kötve.
