Az AMD bejelentett egy új munkaállomást, amely elképesztő, akár 2 terabájt rendszermemóriával is felszerelhető. Felmerül a kérdés: kinek van erre szüksége a mindennapokban?
A szerző saját Threadripper gépén különféle GPU-k és változó mennyiségű RAM felhasználásával tesztelte, hogy mennyire számít a rendszermemória mennyisége a mesterséges intelligenciát futtató ügynökök teljesítményében. Meglepő módon nem a grafikus memóriából futott ki elsőként, hanem a rendszermemória lett a szűk keresztmetszet az ügynöki munkafolyamatok során.
Az összehasonlító tesztek során az is kiderült, hogy a nagyobb modellek nem feltétlenül jelentik a lassabb működést, sőt, egyes esetekben gyorsabbak, mint a kisebbek. A RAM mennyiségének növelésével nő az egyszerre futtatható ügynökök száma, és gyorsabbá válik maga a munkavégzés is.
A videó részletesen bemutatja, hogyan oszlik meg a feladat a VRAM és a rendszermemória között különböző hardverkonfigurációkban, és milyen tényezők szabják meg, hány ügynök futtatható párhuzamosan. Ezzel együtt érdekes kérdéseket vet fel arról is, hogy tényleg érdemes-e minél drágább és nagyobb GPU-kat vásárolni, vagy inkább a rendszermemória bővítése lehet a jobb befektetés AI fejlesztők számára.
