A
A
Ripple-65B: Thin and Deep Dense Model, Tested Locally

Ripple-65B: Thin and Deep Dense Model, Tested Locally

Lejátszás
  • Angol
  • Magyar
  • 11 perc

Ripple-65B: Új nyelvi modell bemutató gyakorlati példákkal és teszteléssel

A Ripple-65B új, sűrű transformer modell képességeit és fejlesztési érdekességeit gyakorlati példák, hibakeresés és kódgenerálás révén mutatja be ez a videó.

Ebben a bemutatóban egy új, nagy nyelvi modell, a Ripple-65B kerül fókuszba, amelyet egy kisebb csapat fejlesztett ki a Recursive Intelligence laborban. A középpontban a modell sűrű, vékony és mély transformer architektúrája áll, amely szemben áll a jelenleg népszerű MoE (mixture of experts) megközelítésekkel.

Különféle tesztek mutatják be a modell teljesítményét: elsőként egy valós alkalmazás hibakeresésére kerül sor, ahol a cél megtalálni és kijavítani egy rejtett, klasszikus programozási hibát egy nyugdíjkalkulátorban. Bevezetésre kerül az agentikus kódolás és érvelés kérdése, valamint hogy a modell miként kezeli a hosszú kontextust.

Interaktív példákon keresztül kiderülnek részletek a Ripple használatáról helyi környezetben, többek között arra is kitérve, hogyan kell beállítani, optimalizálni és Nvidia hardveren futtatni. A különböző futtatási körülmények buktatói és megoldási lehetőségei is terítékre kerülnek.

A tesztek során a kódgenerálás, logikai érvelés és adatbázis-lekérdezés is helyet kap. Bemutatásra kerül, miként képes a modell grafikailag megjeleníteni összetettebb feladatokat, például egy döner kebab fizikai szimulációját vagy összetett adatbázis-lekérdezések szerkesztését és értelmezését.

Részletesen ismertetésre kerül továbbá a modell fejlesztési filozófiája, az egyszerűsített tréningfolyamat, a hosszú kontextusok kezelése, az architektúra érdekességei és azok a benchmark eredmények, amelyekben a Ripple kiemelkedően teljesít agentikus kódolásban, miközben más területeken még hiányosságok is megfigyelhetők.