Egy nagyméretű, 27 milliárd paraméteres mesterséges intelligencia nyelvi modellt mutat be a videó, amelyet különleges, kétbites tömörítéssel sikerült jelentősen kisebbé tenni anélkül, hogy a teljesítmény jelentős romlását szenvedte volna el.
A bemutató során megtudhatjuk, hogyan csökkentették a modell tárhelyigényét 50 GB-ról mindössze 10 GB-ra – nem a paraméterek számának csökkentésével, hanem az adatok agresszív tömörítésével. A tömörítés során rétegenként eltérő pontosságot alkalmaztak, hogy a legfontosabb részek érzékenységét megőrizzék, míg a többit erősebben kvantálták.
A modell telepítésének és futtatásának gyakorlati részletei is szóba kerülnek, különös figyelemmel arra, hogy átlagos vagy fogyasztói GPU-val is futtathatóvá válik a modell.
Részletesen bemutatnak két tesztet: az egyik egy valós ipari alkalmazás hibájának felismerése és javítása, a másik egy emberi érzelmekkel és összetett családi dinamikákkal teli öröklési vita kezelése, amely próbára teszi a modell következtetési, empatikus és érvelési képességeit is.
A végén többnyelvű fordítási teszt is szerepel, amely során az alacsony erőforrású (kevésbé elterjedt) nyelveken is próbálják ki a modellt, illetve felkérik a nézőket saját véleményük és tapasztalataik megosztására.
