Ebben a projektben sikerült üzembe helyezni egy Nvidia A4000 grafikus kártyát egy Raspberry Pi CM5 modulon, még akkor is, ha jelenleg nincs kijelzőkimenet. Az izgalmas technikai kihívás, hogy miként érhető el GPU-gyorsítás olyan mini számítógépeken, mint a Raspberry Pi vagy az ARM-alapú rendszerek.
A bemutató részletezi, hogyan zajlik a mesterségesintelligencia-modellek betöltése és futtatása a GPU segítségével, például a Lama 3B modell 121 token/másodperces sebessége mellett. Felmerül a kérdés, hogy az energiafogyasztás (kb. 160 watt) és a kompatibilitás milyen kompromisszumokat tartogat.
Több fejlesztő – köztük Yang Haku és Mario – dolgozik azon, hogy az Nvidia illesztőprogramokat kompatibilissá tegyék a Raspberry Pi és más ARM rendszerek számára, így az A4000 mellett más modelleket is kipróbálnak, például a Pi 5, Pi 500+ vagy Rock 5 Model B eszközökön. Bemutatásra kerül még a GL-INET Comet Pro router, egy 32GB AI Pro (vagy R9700) eszköz és a GB10 számítógép is.
Megemlítik azt is, mennyire különleges, hogy manapság már három nagy grafikus kártya-gyártó (Nvidia, AMD, Intel) termékei is működnek ARM alapú rendszereken, noha még vannak kisebb hiányosságok és driver problémák. A közösségi munka, hibajavítások és kernel-patchek beépülése új kapukat nyit hasonló projekteknél, miközben izgalmas kérdéseket vet fel a teljesítmény és a hatékonyság tekintetében.
