Az előadás a mesterséges intelligencia, különösen a nagy nyelvi modellek (LLM-ek) fejlődését vizsgálja, kiemelve, hogyan vált a homokból szilícium, majd szilíciumból gondolkodó gép: mesterséges neuronhálózat. Felmerül a kérdés, milyen gyorsan jutottunk el a számolást segítő eszközöktől az általános célú, önálló következtetésre és tudásgyártásra képes rendszerekig.
A beszámoló betekintést ad az LLM-ek tanításának folyamatába: hogyan zajlik a nyers szövegre való előtréning, majd egy úgynevezett „befejező iskolába” (post-training) küldik őket, ahol például udvariasságot és hasznosságot tanulnak. Különféle példákat mutat be arra, hogyan mérhető a gépek fejlődése különböző tudományos szinteken – óvodástól a doktori szintig.
Érdekfeszítő témaként kerül szóba a skálázhatóság: hogyan növeli a gondolkodó gép képességeit egyszerűen a modellek mérete és a rájuk szánt számítási kapacitás, továbbá hogy az algoritmikus fejlődés legalább ennyire fontos az előrelépéshez. Felmerülnek kérdések arról, lehet-e még újat alkotni csupán „méretnöveléssel”, és mikor törnek át a modellek az emberi kreativitás, eredetiség határain.
A videó további izgalmas témákat érint: a gépi matematikai kutatás első lépései, együttműködések emberek és mesterséges intelligenciák között, valamint példák, ahol az AI nem csak követi, hanem túlszárnyalja az emberi teljesítményt matematikában vagy programozásban. Továbbá szó esik a jelenlegi és várható társadalmi-gazdasági hatásokról, például sokkal gyorsabban tanuló, klónozható digitális „Einsteinek” lehetőségéről, illetve arról, hogy a tudományos jövő mennyire nehezen megjósolhatóvá vált ebben az új, példátlan tempójú fejlődésben.
