Az előadó, aki egykor a Google gyakornoka és az ‘Attention is All You Need’ című tudományos publikáció társszerzője volt, személyes élményeit osztja meg a nagy nyelvi modellek és chatbotok fejlődéstörténetéről.
Korai kutatási projektjei során a gépi fordítás területén szerzett tapasztalatokat, ahol a legnagyobb gépi tanulási kihívásokkal találkozott. Útja később a Google nyelvértési csapatához vezetett, amelyből később a Google Assistant nőtt ki.
Foglalkozik a korai modellek teljesítményével, rávilágítva arra, hogy a kisebb, egyszerűbb neurális hálók gyorsabban tanultak, miközben a bonyolultabb rendszerek kifejezőbbek voltak. Kiemeli a kísérletet, amelynek célja az volt, hogy az egyszerűbb, gyors modelleket kifejezőbbé tegyék az RNMS vagy LSTM struktúrákhoz hasonlóan, miközben megőrzik a gyors tanulás előnyét.
Az előadás során felvetődnek olyan izgalmas témák, mint az, hogyan használhatók fel nagy mennyiségű, nem felügyelt szöveges adatok a modellek betanításához, milyen gyorsan lehet áthangolni vagy adaptálni ezeket különböző nyelvi feladatokra, és hogyan vezetett mindez az iparágban jelenleg tapasztalható infrastruktúra-beruházási hullámhoz.
