Egyre bővül a lehetőségek tárháza, ha nagy nyelvi modelleket („large language models”, LLM) szeretnénk helyileg vagy távoli API-n keresztül futtatni. Rengeteg eszköz és könyvtár segíti, hogy az ilyen modelleket otthon vagy szerveren is kipróbáljuk, gyakran egyszerűen, néhány parancs beírásával.
A bemutatott LLM nevű könyvtár különlegessége, hogy egységes felületen keresztül teszi lehetővé számos különböző szolgáltató modelljeinek használatát – legyen szó akár helyi letöltésről, akár API-alapú elérésről. Fontos újdonság, hogy a bővítmények révén egyszerűen telepíthető például a GPT for All is, amelyen keresztül saját gépünkön futó modelleket próbálhatunk ki.
Az eszköz nemcsak egyszeri kérdések feltevését támogatja, hanem interaktív, csevegésjellegű használatot is, ezzel közelebb hozva a modelleket a mindennapi felhasználáshoz. Bemutatásra kerül, hogyan konfigurálható az OpenAI vagy más szolgáltatók API-jával, továbbá miként használható Python szkriptek magyarázatára vagy szöveges fájlok összegzésére is.
A videó kiemeli az LLM könyvtár rugalmasságát, egyben érinti a helyi futtatás hardveres igényeit, illetve bemutat támogatott bővítményeket, amelyek segítik a különböző modellek kezelését. A számos alkalmazási lehetőség mellett szóba kerülnek a telepítés és használat praktikus lépései is.
