Számos mesterséges intelligencia-modellt vizsgálva gyakran felmerül a kérdés: mennyire megbízhatóak a teljesítménymérések? Az eltérő infrastruktúrák miatt a klasszikus benchmarkok csak pillanatképet adnak, gyorsan elavulnak, és nehéz követni a friss fejlesztéseket.
Egy új, nyílt forráskódú éjszakai benchmark rendszer megoldást kínál erre: automatikusan naponta futtatódik több száz különféle GPU-n, AMD MI355X-től kezdve Nvidia GP200-ig, és rendszeresen frissíti az eredményeket. Így nyomon követhető, hogyan változik az inference sebessége, hatékonysága és megbízhatósága különféle LLM-modellek (például GPT, OSS, Deepseek, Lama 3.370B instruct) esetén.
A mérések különböző szempontokat vizsgálnak, például a GPU-nkénti áteresztőképességet, az interaktivitást és a megbízhatóságot, figyelembe véve a végponttól-végpontig tartó késleltetést, illetve a párhuzamos futtatás beállításait. A prezentált analitikák segítenek eldönteni, melyik GPU és konfiguráció felelhet meg legjobban egy adott feladathoz. Az is kiderül, hogy az új driver-, szoftver- vagy keretrendszer-frissítések milyen hatással vannak a stabilitásra és teljesítményre, valamint hogyan lehet az optimalizációk mozgását napi szinten követni.
A videó emellett betekintést nyújt abba is, hogyan érdemes olvasni a dashboardot, milyen kompromisszumok létezhetnek a felhasználói élmény (interaktivitás) és a teljes GPU-kihasználás között. Felmerül a kérdés, vajon a folyamatos monitorozás valóban megbízhatóbb képet adhat-e a modellek fejlődéséről, mint az időszakos tesztek, és hogy mennyire számít a hardverek és a szoftverek napi együttműködéséből származó dinamika.
