Milyen teljesítményre képesek az olcsóbb, akár régebbi MacBook Air modellek a modern, nagy nyelvi modellek futtatása során? A videó különféle Apple M1, M2, M3 és M4-es MacBook Air készülékeken vizsgálja, hogyan kezelik ezek a gépek az olyan modelleket, mint a GPT OSS 20B, Deepseek vagy Quen, különféle memória- és prompt-hossz beállítások mellett.
Külön figyelmet kap az, hogyan hat a memória mennyisége és a hardver eltérése a hosszú kontextusok és nagyobb modellek futtatására, illetve hogy mennyire fontos az optimalizált futtatás: például mikor érdemes kisebb modellt választani, és milyen kompromisszumokat jelent ez.
A videó felveti azt a kérdést, valóban szükség van-e minden esetben óriási, több tízmilliárdos paraméterszámú nyelvi modellre, vagy sok hétköznapi, sőt fejlett programozói és multimédiás feladathoz elég egy célzottan kisebb modell is.
Részletes összehasonlítást kaphatunk arról is, hogy mennyiben befolyásolja a memória-sávszélesség vagy az Apple új fejlesztései – például az MLX könyvtár – a valós felhasználói élményt, illetve melyik típus számít jelenleg a legjobb ár-érték arányú választásnak, ha LLM-futtatás a cél.
