Sokan, akik helyi AI-t futtatnak, különböző eszközöket használnak a gépi tanulási modellek közötti váltáshoz, mint például az Ollama, az LM Studio vagy az Open Web UI. Ezek azonban különféle hátrányokat hordoznak magukban, például többszörös modell-tárolást, valamint konténerek kezelését.
Érdekességként felmerül, hogyan lehetne mindezt megvalósítani közvetlenül a llama.cpp segítségével, további külső eszközök nélkül. A router mód pontosan ezt teszi lehetővé, hiszen natívan és integráltan valósítja meg a modellek közötti váltást.
A videó részletesen bemutatja, miként működik a router mód, milyen zászlókkal (flag-ekkel) kapcsolható be, és hogyan konfigurálható a modellek könyvtára, a modellek automatikus betöltése, az egyéni beállításokat tartalmazó INI fájl és a VRAM-ba egyszerre tölthető modellek száma. Bemutatásra kerül továbbá a modellek kezelésének folyamata, illetve szó esik a modellváltás közbeni VRAM fogyasztás ellenőrzéséről is.
Technikai szempontból kitér arra, milyen előnyöket kínál ez a router mód az AI modellek gyors összehasonlításához, és felveti a kérdést, hogy mikor lehet célszerű több modellt futtatni egyidejűleg. Bemutatja a konfigurációs INI fájl szerepét, és részletes példán keresztül vezet végig a teljes folyamaton.
A videó során felmerül, hogyan választhatók ki, tölthetők be és hasonlíthatók össze különböző helyi AI modellek egyetlen szerveren, anélkül, hogy körülményes konténerkezelésre vagy párhuzamos eszközhasználatra lenne szükség. Így lehetőséget ad arra, hogy a felhasználók egyszerűen, könnyen és gyorsan próbáljanak ki több modellt ugyanazon erőforráson.
