A PipeCat csapat által fejlesztett PhoneLLM egy különleges, nagy nyelvi modell, amelyet kifejezetten hangalapú ügynökök számára optimalizáltak. Ez a rendszer a 30 milliárd paraméteres Nvidia Nemo Tron 3 Nano modellen alapul, és célja, hogy valós idejű telefonos beszélgetésekben gyors és pontos válaszokat adjon.
A bemutató során kiemelt figyelmet kap a válaszidő csökkentése és a valós eszközhasználat, vagyis hogy a modell ne csak szöveges választ adjon, hanem képes legyen konkrét műveleteket végrehajtani, például asztalfoglalásnál. Ennek teszteléséhez egy gyakorlati példán keresztül mutatják be, miként működik a PhoneLLM.
Részletesen tárgyalják, hogyan integrálható a modell vLLM-mel és hogyan lehet kihasználni az OpenAI API-val kompatibilis működését. A bemutató kitér arra is, hogy milyen erőforrás-igénye van a rendszernek, hogyan lehet optimalizálni, illetve milyen tényezők szabják meg a működés gyorsaságát és hatékonyságát.
Izgalmas kérdésként merül fel, hogy miként teljesít a PhoneLLM a nagyobb, drágább modellekkel szemben a késleltetés és költséghatékonyság terén, valamint mennyire képes természetes, emlékező és pontos ügynökként viselkedni. Mindeközben bemutatják a részletes benchmarkingot, és példákon keresztül látható, hogy a modell ténylegesen képes-e felülmúlni a konkurenseket a gyakorlatban.
