Minden eddiginél nagyobb nyelvi modellt mutattak be, amelynek egyik legnagyobb előnye, hogy CPU-n és akár egyetlen GPU-n is futtatható, köszönhetően annak, hogy a 80 milliárd paraméterből egyszerre csak körülbelül 3 milliárd aktiválódik. Ez a technológiai áttörés néhány hete még elképzelhetetlen volt, de most kézzelfoghatóvá vált.
Az architektúra egy igen rafinált hibrid megközelítésre épül: a rétegek 75%-a speciális, gyorsított lineáris figyelemmechanizmust alkalmaz (gated delta net), míg a fennmaradó rész hagyományos, optimalizált figyelmi rétegekből áll. Ez lehetővé teszi a hosszú szekvenciák gyors feldolgozását anélkül, hogy az általában masszív erőforrásigénnyel járna.
A telepítési és futtatási folyamat során bemutatjuk, hogyan lehet egy virtuális környezetben, Ubuntu rendszer alatt elkülönítve, minden függőséget gondosan telepíteni, majd a modellt letölteni és kipróbálni, akár helyi gépen, akár felhőben bérelt VM-en. Kiemelt figyelmet kapnak a rendszerigények, a tárhely, valamint a CPU és GPU konfigurációk tiszta bemutatása.
Tesztelés közben többféle feladatot is végrehajtanak: HTML animáció generálása, bonyolult matematikai egyenletek (Lotka–Volterra) megoldása és ábrázolása, illetve soknyelvű fordítás, beleértve ritka vagy mesterséges nyelveket is. A modell gondolkodási láncolatának elemzése során kiemelkedik, mennyire összetetten és emberközeli módon oldja meg a feladatokat, még a logikai lépések szintjén is.
Felvetődik a kérdés, milyen további lehetőségek és kihívások várhatók ilyen modellek CPU-n történő futtatásánál, illetve mennyire hatékonyak a különféle hardverek és a koncepcióban alkalmazott architekturális újítások.
