Az onPanda nevű, nyílt forráskódú eszközzel ismerkedhetünk meg, amelyet a Step One fejlesztőcsapat több éves munkával alkotott meg az LLM modellek adatainak annotációjához. Ez a szoftver lehetőséget ad arra, hogy ne teljes válaszokat kelljen átfogalmazni, hanem egyetlen hibás tokenre kattintva azonnal kiválasztható legyen egy másik, a modell által javasolt alternatíva, amely után a generálás az új választásból folytatódik.
Az eszköz betekintést enged a modellek gondolkodásába: minden token mellé színkód jelzi, mennyire volt magabiztos az adott szó vagy karakter kiválasztásában. A zöld nagy magabiztosságot, a piros bizonytalanságot jelent – különösen a kreatív vagy összetettebb szakaszoknál figyelhető meg a bizonytalanság növekedése.
Bemutatásra kerül az is, miként lehet beállítani a saját környezetet, akár GPU-s gépen, valamint hogy a rendszer hogyan futtatható, illetve hogy elérhető online felületről is, amivel akár mobilon is kipróbálható a szolgáltatás. Hasznos információkat kapunk a telepítés menetéről, valamint arról, hogyan lehet a token szintű javításokkal valós időben alakítani a modellek outputját.
A videó kitér a teljes architektúrára, példákat mutat be a token szintű javítás lehetőségeire, illetve szóba kerül egy, a témához kapcsolódó tudományos publikáció is. Felmerültek olyan témák is, mint a skálázhatóság, integrációs lehetőségek és a modell választásának beállításai – mindezek számos további kérdést vetnek fel az LLM modellek fejlesztésével és felhasználói visszacsatolásával kapcsolatban.
