Az előadásban több szakértő járja körül, hogy az AI modellek gyakorlati hasznosítása során miért kulcsfontosságú az „inference” (azaz a modellek futtatása, használata) hatékonysága, sok esetben még a tanításnál is inkább, üzleti és technikai szempontból egyaránt.
Felszínre kerülnek olyan kérdések, mint hogy miért jelent komoly költség- és kapacitásbeli kihívást a nagy nyelvi modellek kiszolgálása, miként válik egyre fontosabbá a megfelelő üzemeltetés – például a GPU-k flop kihasználtságának optimalizálása, gyorsaság, válaszadási idő, cache-elés és throughput – különösen, amikor több száz vagy ezer gépen futtatnak modellhívásokat SaaS vagy AI natív felhőszolgáltatók.
A beszámolók azt is vizsgálják, hogy milyen új technológiák – például specializált kernel optimalizációk, különböző párhuzamosítási módszerek vagy kvantálás – járulhatnak hozzá ahhoz, hogy a modellek minél nagyobb teljesítménnyel és minél alacsonyabb költséggel tudjanak működni, miközben megmarad a modell minősége.
Részletesen bemutatásra kerülnek az olyan tipikus problémák, mint a különböző inference szolgáltatók közötti minőségbeli különbségek, a fejlesztők oldaláról jelentkező igények a stabil, gyors és egységes kiszolgálás iránt, illetve a kihívások, amikor egy felhasználó több szolgáltatón keresztül, helyi (pl. saját gépen) és felhős környezetben is futtat modelleket.
A technikai blokkokban szó esik a memóriakezelés, cache-struktúrák, futtatási menedzsment és ütemezés innovatív megközelítéseiről, köztük a radix fa alapú memóriakezelésről, kernel optimalizációk automatizálásáról, továbbá arról, hogyan lehet a legjobban kihasználni az újfajta GPU rackeket és hardvereket a párhuzamosításban. Mindeközben érdekfeszítően merül fel, hogy a modellek minősége, kvantálásának módja, a benchmarking, rugalmasság és az inference architektúrák radikálisan eltérő eredményt hozhatnak.
