Ez az elemzés egy olyan tudományos publikációval foglalkozik, amely azt vizsgálja, vajon hatékonyabb lehet-e a nagy nyelvi modellek (LLM-ek) tesztelési idő alatti számítási kapacitásának bővítése, mint maguknak a modelleknek a méretnövelése. Az anyag a Google DeepMind és a UC Berkeley kutatóinak együttműködésében született meg.
A kutatás alapgondolata az, hogy sokszor van többlet erőforrásunk a modellek használatakor (nem képzéskor), és kérdés, hogyan lehet ezeket a tesztelési erőforrásokat okosan felhasználni. Erre különböző stratégiákat vizsgáltak, például többszörös minta-generálást, több lépéses válaszfinomítást és különféle keresési eljárásokat, mint például a „beam search”.
Fontos elem a kutatásban a ‘verifier’ vagy jutalmazó modell szerepe, amely pontozza a lehetséges válaszokat aszerint, hogy mennyire közelítik meg a helyes megoldást. Kiemelik, hogy ezek a módszerek csak akkor működnek, ha már jól beállított vagy testreszabott segédmodellek állnak rendelkezésre.
Érdekes kérdés a számítási erőforrások elosztása: mennyire célszerű a kapacitást párhuzamos (sok válasz egyszerre), illetve szekvenciális (egymás utáni, finomított válaszok) módon kihasználni. A kutatásban ezek kombinációjának hatékonyságát, illetve az optimális arányokat is próbálták meghatározni, különböző nehézségű feladatokra.
Felvetődik az a dilemma is, hogy vajon a többlet erőforrást jobb-e a modellek képzésére, vagy inkább a használat (tesztelés) során felhasználni. Ez nagyban függ a felhasználási gyakoriságtól, illetve a megoldandó problémák nehézségétől, és a kutatás konkrét szemléltetésekkel mutatja be ezek közötti kompromisszumokat.
