Az Egyesült Arab Emírségek technológiai kutatóintézete új, nagy teljesítményű mesterséges intelligencia modellt mutatott be Falcon H1R 7B néven, amely váratlanul a legjobbak közé került az év elején. A modell olyan, jóval nagyobb paraméterszámú rendszereket is felülmúlt összetett benchmarkokban, mint a Quen 3 32B vagy a Microsoft 54 Reasoning.
A Falcon H1R fő technikai újítása a hibrid Transformer–Mamba architektúra, amely ötvözi a hagyományos transformer rétegek gondolkodási képességeit a Mamba állapottér-modellek hatékony szekvenciafeldolgozásával. Ez a megoldás lehetővé teszi, hogy nagyobb adathalmazokon is gyorsabban, kevesebb memóriával tudjon dolgozni a rendszer, különösen magas batch-méretek mellett.
A videóban részletesen bemutatják a modell telepítését is: egy Ubuntu rendszeren, Nvidia A6000 GPU-n demonstrálják a futtatást, figyelve a VRAM-felhasználásra és az egyes csomagok telepítésére. Megismerhetjük, hogyan viselkedik a Falcon H1R különböző tesztekben, például összetett játékmenet logika vagy nyelvi feladatok megoldásában.
Felvetődik a kérdés, mennyire tud pontosan programkódot generálni vagy részletes nyelvi elemzéseket végezni, és hogy az új architektúra hogyan segíti elő a gondolkodási folyamatokat nagy szövegek, hosszú utasításláncok feldolgozásakor.
