Napjainkban egyre több, különböző tulajdonságokra és felhasználási célokra finomhangolt nagy nyelvi modell (LLM) jelenik meg: egyesek a gyorsaságra, mások a kreativitásra vagy éppen a programkód generálására specializálódtak. Ezek használata során kihívást jelent annak eldöntése, hogy melyik modellt érdemes éppen igénybe venni egy adott kérés esetén.
Sok meglévő útválasztó (routing) módszer szigorú, gyakran mesterséges mércéket és benchmarkokat alkalmaz, miközben figyelmen kívül hagyja a felhasználói igényeket és szubjektív minőségi szempontokat. Továbbá a legtöbb rendszer csupán limitált modelltípusokra tud támaszkodni, ami hátrányos lehet összetett, produktív környezetekben, ahol több LLM egyidejűleg üzemel.
A videóban bemutatott Arch Router 1.5B egy új, preferencia-alapú útválasztási megoldást kínál. A keretrendszer képes a felhasználói igényeket, a domaint és a feladattípust (pl. összegzés, fordítás, hibajavítás, kódgenerálás) figyelembe venni, automatikusan a legalkalmasabb modellt hozzárendelve minden kéréshez.
Az adott példán keresztül látható, hogyan lehet ezt a rendszert helyben, GPU-val szerelt eszközön gyorsan telepíteni és működtetni, külön hangsúlyozva az egyszerű használatot, alacsony memóriaigényt, valamint a teljesítmény és testreszabhatóság előnyeit. Felmerül az a kérdés is, hogy miként lehet a különféle, egyedi igényeket kiszolgáló modelleket összekapcsolni és védeni a rendszer outputjait.
