Különleges hordozható számítógépet mutatnak be, amely a mesterséges intelligencia területén egyre nagyobb jelentőségű, nagyméretű nyelvi modellek (LLM-ek) futtatásában is kiváló teljesítményt nyújt. A videó részletezi, hogy ez a laptop – a legújabb Asus Flow Z13, AMD Ryzen AI Max Plus 395 APU-val és akár 128 GB egységes memóriával – miként képes hatalmas, akár 110 milliárd paraméteres modelleket is futtatni, szemben a hagyományos asztali gépekkel.
Felszínre kerülnek a modern laptoparchitektúrák közti különbségek: az Apple és az AMD által megvalósított, úgynevezett egységes memória eltérő működést mutat. Vizsgálják, hogy valóban számít-e a memória mérete, illetve hogyan befolyásolja a sávszélesség és az erőforrás-allokáció az LLM futtatási sebességét és kapacitását.
Szó esik az elérhető szoftveres eszközökről is (pl. Olama, LM Studio), amelyekkel a felhasználó szabályozhatja, mi fut a CPU-n és mi kerül a GPU-ra. Az ismeretterjesztő blokk bemutatja, milyen jelentős eltérések lehetnek ugyanazon hardveren, ha az erőforrásokat automatikusan vagy manuálisan osztják el.
Felvetődik, hogy az óriási modellekhez való hozzáférés milyen előnyökkel járhat a minőség, a gyorsaság és a komplex feladatok megoldásában. Természetesen kérdés marad: érdemes-e ennyit beruházni memóriába, és mik a gyakorlati határok a különböző rendszerek között?
