Egy úttörő újítás, az Edge Zero nyílt forráskódú streaming inference keretrendszer kerül bemutatásra, amely lehetővé teszi egy hatalmas, 35 milliárd paraméteres mesterséges intelligencia modell futtatását kevesebb mint 3 GB aktív memóriában. Ez igen jelentős fejlemény, hiszen ilyen méretű modellek tipikusan legalább 20 GB VRAM-ot igényelnek már a betöltéshez is.
A videó részletesen ismerteti, miként működik az Edge Zero, hogyan oldja meg a modellek memóriaigényének jelentős csökkentését, és milyen eltérő módon közelíti meg a modellek méretének és RAM-használatának problémáját más módszerekhez képest. Felmerülnek kérdések a minőségbeli kompromisszumokról is, amelyek az új, tömörített megoldás révén keletkeznek.
A Counter-check oldalra is felhívja a figyelmet: a rendszer egyelőre csak Mac OS-en, Apple Silicon processzorral fut, de a jövőben várható CUDA támogatás is, amely megnyithatja az utat újabb platformok előtt. A bemutató kitér arra, hogyan telepíthető és próbálható ki a megoldás lépésről lépésre, még ha a gyakorlati tesztelés egyelőre korlátozott is.
Technológiai újításaival az Edge Zero teljesen új szemléletet csempész a nagy modellek hétköznapi hardveren történő futtatásába: a teljes modell csak lemezen tárolódik, és a futáshoz mindig csak a szükséges részletek töltődnek be memóriába. Az architektúra részletei mellett szó esik a minőségi kompromisszumokról, a használhatóság jelenlegi korlátairól és a tervezett további fejlesztési irányokról is.
