A Meta Reality Labs legújabb, mobil eszközökre szánt nyelvi modelljét, a MobileLLM-Pro-t ismerhetjük meg ebben a videóban. A bemutató kitér arra, hogy ki is valójában a fejlesztő – vagyis a Meta, korábban Facebook, és AI-kutatórészlege, a FAIR –, és hogyan kapcsolódnak ezek egymáshoz.
Az installációs lépéseken végighaladva betekintést nyerhetünk a modell technikai hátterébe: kiderül, hogy egy 1 milliárd paraméteres, nagy hatékonyságú nyelvi modellről van szó, amelyet kifejezetten on-device futtatásra fejlesztettek. Az architektúra újdonsága a hibrid, helyi és globális figyelmi rétegek ötvözése, amely fokozza a memóriahatékonyságot és a gyorsaságot.
A prezentáció rávilágít a tanítási folyamat különleges lépéseire is: logit alapú tudásátadási technikákat, többfázisú képzést, illetve pozíciós distillációt is alkalmaztak, amivel a hosszú kontextushoz igazodó modellezési képességek fejlődtek. Emellett szó esik arról is, hogy a MobileLLM-Pro kimondottan jól teljesít tömörítés, szöveg-összegzés, problémamegoldás és kód elemzés feladatokban, miközben szerény hardverigényekkel is működőképes.
Az installáció során GPU-t és CPU-t is bemutatnak, említve, hogy akár szerényebb számítástechnikai környezetben is eredményesen futhat a modell. Ez felveti a kérdést: hogyan változhat a helyi, eszközön futó mesterséges intelligencia szerepe a jövőben, és mennyiben képesek ezek a kompakt modellek a hétköznapokban releváns feladatokat ellátni?
