Miért érzékeljük azt, hogy a mesterséges intelligenciával folytatott beszélgetések során az AI idővel egyre kevésbé ad okos, vagy akár ellentmondásos válaszokat? A videó azt vizsgálja, hogyan változik a szoftver teljesítménye több körös üzenetváltás után, és hogyan merül fel a jelenség, amikor a rendszer „elfelejti” az utasításainkat, vagy téves információkat közöl.
Részletesen bemutatásra kerül egy szemléletes analógia, amelyben az AI memóriáját egy fehér táblához hasonlítják: minél több információ kerül rá, annál gyorsabban telítődik, ezzel csökkentve a mesterséges intelligencia hatékonyságát. Az sem mindegy, milyen modellt használunk, hiszen az eltérő tokenlimitek (pl. 60 000, 200 000 vagy akár 1 millió tokennyi kontextus) jelentősen befolyásolják, meddig működik megbízhatóan a beszélgetés.
Felmerülnek fontos kérdések, például: milyen jelekből ismerhetjük fel, ha a modell már kezdi elfelejteni az eredeti utasításokat? Miért kezd el egy AI ellentmondani önmagának, vagy miért változtatja meg a korábban megbeszélt adatokat és részleteket? Ezekre a figyelmeztető jelekre is rámutat a tartalom.
Szóba kerülnek a fájlok is, amelyeket feltöltünk az AI számára, és azok eltérő „tokenköltsége”. Szó van azokról a stratégiákról, amelyek segítségével proaktívan megelőzhetjük a memória telítődését, például rendszeres összegzési pontok beiktatásával, vagy a beszélgetés „átadásával” egy új, friss memóriájú AI-szál számára. Emellett a fájlok darabolásának praktikus lehetőségét is előtérbe helyezi.
Végül kísérletezésre és tudatos tesztelésre bátorít a szerző: hogyan fejleszthetjük intuícióinkat arról, mire képes jelenleg az AI, és hol érdemes szétdarabolni a feladatokat több szálra, hogy megőrizzük a rendszer működőképességét. Az anyag sok kérdést vet fel a hatékonyság, a technikai korlátok és a használati szokások kapcsán.
