A Titans: Learning to Memorize at Test Time című videó egy új gépi tanulási modellről szól, amely képes a tesztelés során is memorizálni információkat. Bemutat egy innovatív architektúrát, ahol a modellek képesek hosszú szövegek elemzésére úgy, hogy korábbi szakaszokra is visszautalnak, és ezeket az információkat felhasználják későbbi döntések során.
Az elemzés során a különböző modellek – például transzformerek, lineáris transzformerek és RNN-ek – kontextusablak-korlátairól beszél a szerző, valamint ismerteti a múltbéli kutatások újrafelhasználását, illetve azok továbbfejlesztését. Részletezi, hogyan lehet a memória fogalmát másként értelmezni és alkalmazni ebben a paradigmában.
Külön kitér a videó arra, hogy miként működik az ún. lineáris attention mechanizmus, illetve miért jelent hátrányt, ha a memóriát túlzottan le kell egyszerűsíteni egyetlen vektorra vagy mátrixra. Bemutatásra kerül az a gondolat is, hogy a memória lehet egy önálló neurális hálózat, amelyet a modell a tesztelés folyamán saját maga frissít.
Felmerül a kérdés, hogy valóban szükség van-e ilyen bonyolult architektúrára, vagy elegendő lenne egyszerűbb memóriamegoldásokat választani. A beszélő kritikusan vizsgálja, hogy mennyire újak az itt tárgyalt elgondolások, illetve mennyit merítenek a korábbi koncepciókból, kiemelve a marketing szempontokat is.
