Összehasonlítanak egy új generációs laptopot és egy asztali számítógépet, mindkettő Nvidia RTX 5090 grafikus kártyával felszerelve. Azt vizsgálják, hogyan futnak a nagy nyelvi modellek (LLM-ek) különböző gépeken, kiemelve a token/másodperc teljesítményt és a VRAM-használatot, figyelembe véve a modellek méretét és kvantálását.
Az összehasonlítás során többféle RTX kártyát is bevonnak, például a 5060 Ti és az 5080, és rávilágítanak arra, hogy a mobil és az asztali GPU-k eltérő teljesítményt nyújtanak, még ha azonos néven is futnak. Vizsgálják továbbá az energiahatékonyságot, vagyis hogy mennyi token generálható egy watt energia felhasználásával, és milyen tényezők befolyásolják ezt laptopok és asztali PC-k esetén.
A videó kérdéseket vet fel arról, mennyire számít a VRAM-kapacitás, amikor nagy paraméterszámú modelleket futtatunk, és hogy a teljesítmény vagy éppen a hatékonyság az igazán fontos szempont napjaink gépi tanulási alkalmazásaiban. Külön kitérnek arra is, mennyire számít a névleges maximális fogyasztás és a hűtés az egyes kártyákban, illetve, hogy hogyan lehet ezeket a paramétereket szoftveresen szabályozni.
Érdekes dilemmák jelennek meg: érdemesebb-e olcsóbb, kisebb VRAM-mal rendelkező kártyát venni, vagy ráfizetni a drágábbra, illetve hogyan befolyásolja a használt operációs rendszer a teljesítményt. A bemutató végén további kártyák — köztük AMD és professzionális Nvidia modellek — tesztelését helyezik kilátásba, valamint szó esik arról, hogy miként értelmezhetők a mérési eredmények különböző szempontokból.
