Közel egy év folyamatos fejlődés után újabb változat jelent meg a LLaDA modellekből, amelyek a szöveggenerálás paradigmaváltó módját mutatják be. Ahelyett, hogy sorról sorra adná ki a szavakat, mint a hagyományos nyelvi modellek, a LLaDA egy diffúziós architektúrát alkalmaz, amely egyszerre több tokent, azaz nyelvi egységet képes előállítani és utólag javítani.
Az architektúra kulcsa, hogy a generált szöveget kétféle módban – gyorsaság és minőség – képes létrehozni. Az első körben minden token maszkolt és helykitöltő, majd egy többlépcsős tisztító folyamat révén alakul kifinomultabb szöveggé. Érdekessége, hogy ha hibát érzékel, például helytelen választási szóban, vissza tud menni és kijavíthatja azt, miközben tovább generálja az új részeket.
Az új verzió olyan innovatív paraméterekkel dolgozik, mint az előre generálható tokenmennyiség („block length”), a maximalizált utólagos javítási lépés („max post step”), valamint diffúziós küszöbök, amelyek befolyásolják, mikor álljon le a zajmentesítés vagy a javítás. A tesztelés során a modell használata közben a felhasználó betekintést nyer, hogyan működik élesben az ilyen diffúziós generálás logikai feladványokra, matematikai példákra, illetve kódolási feladatokra orientált promptokon keresztül.
A bemutató során végigvezetik a nézőt az installáció lépésein, a hardveres követelményeken, és kitérnek arra is, hogyan viszonyul a LLaDA teljesítménye a hagyományos autoregresszív modellekhez különböző benchmark feladatokban. Emellett felmerül a kérdés, hogy milyen előnyöket és új lehetőségeket kínálhat a diffúziós alapú szöveggenerálás a jövő nyelvi modelljeiben.
