A videó az Apple egyik friss kutatását tárgyalja, amely a mesterséges intelligencia, különösen a nagy nyelvi modellek (LLM) gondolkodási és érvelési képességeit elemzi. Az anyag alapját az ‘Illusion of Thinking’ című tanulmány adja, amelyben különféle feladattípusokon tesztelik ezeknek a modelleknek a teljesítményét.
Felmerül a kérdés, vajon tényleg képesek-e ezek a modellek valódi, lépésről lépésre történő gondolkodásra, vagy csak megtanult válaszokat adnak az általuk ismert példákra, anélkül hogy valódi mélyebb logikai megértés állna a háttérben. Érdekes ellentmondás, hogy az Apple – melynek AI-termékeit nem tartják kiemelkedőnek – ilyen aprólékosan foglalkozik az LLM-ek kritikájával, holott saját, önálló érvelési modelljei nem jelennek meg a piacon.
A videó ismert logikai és matematikai teszteken keresztül mutatja be, mennyire másképp teljesítenek az azonnali válasszal dolgozó nyelvi modellek és az úgynevezett „reasoning modellek”. Kiderül például, hogy az egyszerűbb feladatoknál a gyors, gondolkodás nélküli válasz néha pontosabb, a közepes nehézségű feladatoknál azonban már előnyt jelent a lépésenkénti gondolkodás, míg a rendkívül bonyolult problémáknál mindkét modell gyakorlatilag összeomlik.
A videó önreflexiót is tartalmaz: felhívja a figyelmet arra, hogy a tesztek is lehetnek részrehajlóak, és hogy a feladványok, például a Tower of Hanoi, gyakran eleve benne lehetnek a modellek tanítási adataiban, így kérdéses, vajon valóban újszerű problémamegoldásról beszélünk-e, vagy csak mémorizált minták visszatükrözéséről.
Végül a műsor megkérdőjelezi az Apple motivációját és objektivitását, továbbá arra buzdítja a nézőket, hogy gondolják át: tényleg illúzió-e a mesterséges intelligencia gondolkodása, vagy csak az emberihez hasonló módszerekkel keresi a „rövidítést”, amikor túl bonyolulttá válnak a feladatok?
