Képzeld el, hogy egy rövid filmszkript hiányos párbeszédét szeretnéd befejezni, ahol csak a felhasználó kérdése szerepel, de a mesterséges intelligencia válasza hiányzik. Egy varázslatos gép segítségével, amely képes bármilyen szöveghez megjósolni a következő szót, lehetőség nyílik a hiányzó részek logikus kitöltésére.
A tartalom részletesen bemutatja, hogyan működnek a nagy nyelvi modellek – ezek kifinomult matematikai függvények, amelyek szövegrészekhez valószínűségi alapon társítják a következő lehetséges szavakat. A beszélgetések gördülékenysége érdekében a modellek néha kevésbé valószínű szavakat is random módon választanak, így válaszaik minden alkalommal kissé eltérnek.
A modell működését egy gigantikus mennyiségű szöveg elemzése, a mérhetetlen méretű számítási teljesítmény és több száz milliárd úgynevezett paraméter finomhangolása teszi lehetővé. Megtudhatjuk, hogyan zajlik az előzetes tanítás folyamata, majd milyen további lépésekkel alkalmazkodnak az emberi visszacsatoláshoz, hogy segítőkész mesterséges asszisztensek jöjjenek létre.
Kiemelésre kerül a gépi tanulás logikája és a neurális hálózatok szerepe, köztük a forradalmi transformer architektúra, amely párhuzamosan kezeli a teljes szöveget és speciális, úgynevezett attention műveleteket alkalmaz a szavak közti kapcsolatok erősítésére. Kérdésként merül fel, miként lehetséges ennyi egymást befolyásoló tényező mellett átlátni, pontosan miért ad egy modell éppen olyan választ, amilyet végül kapunk.
