Az anyLLM egy Python fejlesztői eszköz, amely lehetővé teszi, hogy különböző nagy nyelvi modelleket (LLM-eket) egyetlen felületen keresztül használjunk. Segítségével könnyedén válthatunk a modellek vagy szolgáltatók között, mindössze egy szöveges beállítás módosításával.
Az anyLLM fő célja, hogy egyszerűsítse a fejlesztők munkáját. Teljes körű gépelt támogatást, átlátható hibakezelést és hivatalos szolgáltatói SDK-k használata révén megbízható és hosszú távon is karbantartható megoldást kínál. Maga a könyvtár keretrendszer-független, így szinte bármilyen projektbe könnyen beilleszthető.
Külön érdekessége, hogy támogatja mind a felhőalapú, mind a helyben futó modelleket. A videó példát mutat a helyi Olama modellek használatára NVIDIA RTX A6000 GPU-n, valamint az API-alapú szolgáltatások – például OpenAI, Anthropic vagy Mistral – integrációjára.
Felmerül a kérdés: miben tér el az anyLLM más, hasonló eszközöktől, mint a LightLLM, OpenRouter vagy Portkey? Vizsgálja az eltérő architekturális megoldásokat, a hivatalos SDK-k használatát, valamint hogy szükséges-e köztes proxy szerver beállítása. A könyvtár célja a széttagolt LLM ökoszisztéma standardizálása, egy konzisztens fejlesztői élmény biztosításával.
Végül demonstrációként bemutatásra kerül, hogy miként lehet több, egymástól független LLM szolgáltatót sorban kapcsolni, például amikor egy történetet először az OpenAI GPT modellje generál, majd egy Olama Quen modell továbbfejleszt. Ezáltal olyan kreatív munkafolyamatok is kialakíthatók, ahol különböző modellek előnyeit kombinálhatjuk.
