Az utóbbi időben felmerült, hogy az AI modellek esetében alkalmazott tokenalapú árazás egyre inkább elveszíti jelentőségét. Egy OpenAI csapattag nyilvánosan kijelentette, hogy erre a mutatóra már nem érdemes alapozni, és nem sokkal korábban egy Anthropic fejlesztő is hasonló tapasztalatokról számolt be: két különböző AI-modell ugyanazt a feladatot végezte el, mégis a látszólag olcsóbb modell költsége majdnem kétszerese lett a drágábbhoz képest.
Különösen érdekes, hogy ez a probléma nem csak az OpenAI vagy az Anthropic esetében merül fel, hanem más modelleknél is jelentkezik. Az okok feltárásához érdemes megérteni az olyan alapfogalmakat, mint a token és a „turn” (lépés). Míg a nagyobb, drágább modellek általában kevesebb lépéssel oldanak meg összetett feladatokat – vagyis tokenhatékonyabbak –, addig a kisebb, olcsóbb modelleknél a lépések száma többszörös is lehet, ami végül megemeli az összköltséget.
Izgalmas kérdés, hogyan lehet hatékonyabban összehasonlítani a különféle AI-modellek költségét: érdemes-e továbbra is tokenáron mérni, vagy inkább a teljes feladatonkénti ár az, ami igazán számít? A modellek különféle beállításai – például az erőfeszítési szint (effort level) – is jelentősen befolyásolják a teljes árat. Az efféle árnyalatok miatt egyre fontosabbá válik a saját körülményeink szerinti tesztelés, mivel a nyilvános ár- és teljesítményösszehasonlítások csak kiindulópontot jelentenek.
Felmerül tehát: mikor éri meg kis modell, és mikor gazdaságosabb egy nagyobb, költségesebb AI-t választani? Milyen konkrét feladatokra elég egy olcsóbb modell, és mikor éri meg a nagyobb kiadás egy összetettebb, több lépésből álló feladat esetén? Ezek a kérdések kerülnek fókuszba, miközben végigjárjuk az AI-modellek költségvetésének változó logikáját.
