Két csúcskategóriás videokártya, az Nvidia RTX 5090 és az AMD RX 7900 XTX teljesítményét hasonlítják össze az élő, lokális nagy nyelvi modellek futtatásának szempontjából. A hardverek eltérő mennyiségű VRAM-mal és memória-sávszélességgel rendelkeznek, ami meghatározza, mekkora modellekkel tudnak zökkenőmentesen dolgozni.
A teszt során különböző modellekkel, mint például a Gemma 3 és a Quen 2.5 coder, vizsgálják a sebességet, a promptfeldolgozás gyorsaságát, valamint azt is, milyen mértékben korlátozza a VRAM mérete. Érdekesség, hogy nem csupán a generálási sebesség, hanem a promptok feldolgozása is meghatározó tényező.
A videó kitér a fogyasztásra is: a nagyobb teljesítményű GPU-k jelentősen több áramot igényelnek, így a hatékonyság is lényeges kérdéssé válik. A korlátozott VRAM-mal rendelkező kártyáknál a rendszer a CPU-t is igénybe veszi, ami érezhető lassulást okoz. Megjelennek szoftveres aspektusok is, például a Vulkan és CUDA motorok közötti különbségek Windows és Linux operációs rendszerekben.
Felvetődik, hogy tényleg megéri-e a drágább Nvidia vagy a kedvezőbb árú AMD csúcskártya, és mennyire befolyásolja a választást a felhasználó igénye és a futtatni kívánt modellek mérete. A videóban több különböző GPU-t is letesztelnek, így részletes képet nyújtanak a teljesítmény és energiafogyasztás összefüggéseiről.
