Az összehasonlítás középpontjában négy Claude modell – Haiku, Sonnet, Opus és Fable – áll, amelyek különböző feladatokon keresztül kerülnek tesztelésre: e-mail íráson, tanulási terv készítésén, jegyzetek rendszerezésén, kreatív ötletelésen, jogi dokumentum értelmezésén, adatelemzésen, programkód generálásán és logikai feladványok megoldásán keresztül.
Az alkotó minden modellnek azonos feladatokat ad, hogy láthatóvá váljon, mikor elég egy olcsóbb verzió (mint például Haiku), és mikor indokolt váltani egy nagyobb tudású, de drágább modellre, például az Opusra. Külön kitér arra, hogyan teljesítenek ezek az AI-ok egyszerű vagy összetettebb felhasználási területeken – például adminisztratív rutinfeladatok, kreatív szövegírás, pontos adatelemzés, illetve programozás terén.
Felmerül a kérdés: mennyivel ad többet egy drágább modell, ha csak egy e-mailt szeretnénk írni vagy heti tanulási tervet készíteni? Mennyire találják meg a rejtett ellentmondásokat egy szerződésben, vagy a hibás sort egy adattáblázatban? Van-e valódi előnye a nagyobb modellek használatának a mindennapi, egyszerű feladatoknál, vagy csak akkor mutatkozik meg a különbség, amikor összetett, kritikus döntéseket kell hozni?
A teszt során azt is bemutatják, milyen fontos a jól definiált promptok használata, amelyek révén pontosabban megítélhető, mikor elég a kisebb modell, és mikor érdemes átváltani egy drágábbra. Végül szó esik arról, hogyan lehet hatékonyan kezelni több Claude fiókot, illetve hogy az AI Master platformmal tovább mélyíthető a promptírás és modellválasztás tudása.
