Az új Hugging Face Chat v2 legérdekesebb újdonsága az Omni Routing rendszer, amely lehetővé teszi, hogy több mint 115 nyílt forráskódú nyelvi modellt egyetlen felületen keresztül használjunk. Ez a fejlesztés nem arra törekszik, hogy egyetlen „zászlóshajó” modellt helyezzen előtérbe, hanem az integrációra és a koordinációra fókuszál.
A rendszer automatikusan kiválasztja a megfelelő modellt minden egyes felhasználói kéréshez a lekérdezés jellege – például hosszúság, összetettség vagy témakör – alapján. A koncepció emlékeztet a hálózati útválasztásra, ahol a forgalom a legoptimálisabb útvonalon halad, nem pedig egy fix alapértelmezett modellen keresztül.
A videóban a szerző különböző példákat is tesztel, többek között kódolási és fordítási feladatokat ad a rendszernek, figyelve, hogy az Omni mely modelleket választ: ezek között megjelenik például a GLM 4.6 és a Command A Translate is. Az is szóba kerül, hogyan kezeli a rendszer a terhelést, a válaszidőt és milyen technikai kihívásokkal kell szembenéznie a több mint száz modell összehangolásának.
Továbbá felvetődik a kérdés: milyen architektúra és háttértechnológia működteti ezt az útválasztót, valamint hogyan lehetne tovább egyszerűsíteni az összetett elosztott rendszerek menedzselését a felhasználó számára átlátható módon.
