Ebben az interjúban Jakob Uszkoreit, az Inceptive vezérigazgatója és a világhírű „Attention is All You Need” tanulmány társszerzője beszélget az AI világában vezető szerepet betöltő technológiák fejlődéséről. Egy személyes hangvételű bevezetővel mesél arról, miként alakította családi háttere és az egyetemi évek a mesterséges intelligenciához való viszonyát, valamint hogyan játszott közre szakmai pályájának elindításában.
A beszélgetés során áttekinti azokat a főbb paradigmaváltásokat, amelyek a nyelvfeldolgozás és a mesterséges intelligencia területén történtek az elmúlt évtizedekben. Érdekes részletek derülnek ki a szabályalapú, majd statisztikai és gépi tanuló rendszerekről, és hogy miként jelentett forradalmi ugrást a deep learning és a Transformer modellek megjelenése.
Uszkoreit kitér a Google-nál töltött évek tapasztalataira, megvilágítva, miként inspirálta a versenyhelyzet és az újabb alkalmazások fejlesztése – például a Google Assistant – az innovációt. A hallgatók betekintést nyernek az RNN-ek, LSTM-ek működésébe, valamint abba, hogy milyen technikai és hardveres kihívások vezettek a Transformer architektúra megalkotásához.
A Transformer-modell koncepciójának magyarázata mellett szóba kerül a csapat összeállása, a szakmai kísérletezések nehézségei és a „fekete mágia” néven ismert finomhangolási trükkök fontossága a mélytanulás területén. Megismerhetjük, hogyan változott meg néhány év alatt a szakma és a kutatók hozzáállása a cikk iránt, illetve hogy milyen hatással voltak a GPT, BERT és más jelentős modellek a technológia terjedésére és multimodalitására.
Az interjú eljut napjainkig, felvetve számos nyitott kérdést, többek között a mesterséges intelligencia jelentőségéről, a nagy nyelvi modellek tanulási képességeiről, az általános mesterséges intelligencia elérhetőségéről, a fenntarthatóságról, társadalmi hatásokról és a jövőbeli architektúrákról. Uszkoreit tudományfilozófiai reflexiói mellett kiemelt figyelmet kap az alkotómunka, a szakterületek közötti univerzális áttörések lehetősége, valamint mind a pozitív, mind a kockázatos, etikai következmények feltérképezése – a megfelelő technológiai és társadalmi irányítás fontosságát hangsúlyozva.
