Az adás első részében a Chalk nevű vállalkozás kerül fókuszba, amely az AI és gépi tanulási modellek számára képes releváns, friss adatokat szolgáltatni valós időben, közvetlenül a felhasználói interakciók pillanatában. A beszélgetés során szó esik arról, hogyan alakult át a gépi tanulás világa: míg korábban a hangsúly a modellek betanításán volt (nagy adatmennyiségekből „kötegelve”), egyre nagyobb jelentősége van annak, hogy az inferencia, vagyis a valós idejű használat során is friss és célnak megfelelő adatok álljanak rendelkezésre. Felvetődik, miért nem elegendőek a hagyományos adatkészletek vagy gyorsítótárazási megoldások, és hogy milyen technikai kihívások merülnek fel az azonnali adathívások kiszolgálásakor.
Külön kitérnek arra, hogy a Chalk hogyan segíti már most iparági szereplők (például Whatnot, Affirm) döntéshozatali és ajánlórendszereit, miként gyorsítja fel és teszi pontosabbá a felhasználói élményt. Szó esik a Python és C++ közötti konverzióról is, ami lehetővé teszi az adatmodellek gyors, termelési környezetben való futtatását anélkül, hogy bonyolult újratervezésre vagy külön fejlesztőcsapatokra lenne szükség.
Az interjú második részében a Tolbit nevű startupot mutatják be, amely „bot paywall”-t fejlesztett: céljuk, hogy a weboldaltulajdonosokat megvédjék az AI botok automatizált forgalmának költségeitől, és lehetőséget kínáljanak ezen forgalom pénzre váltására. Felmerül az a kérdés, hogyan különbözik a „retrieval augmented generation” (RAG) típusú AI lekérdezések üzleti és technikai szempontból a hagyományos AI betanítási (tréning) adatgyűjtéstől, és hogy a kiugróan nagy botforgalom milyen pénzügyi terhet ró a tartalomszolgáltatókra.
További érdekes kérdések merülnek fel arra vonatkozóan, hogy az AI cégek mennyiben tartják be a robots.txt protokollokat, milyen etikai és technológiai megoldások léteznek a botforgalom korlátozására, illetve milyen lehetőségek nyílnak különféle tartalomgazdák számára új bevételi források teremtésére az AI és bot-közvetített webes ökoszisztémában. A Tolbit szerepe ebben az, hogy piacteret kínál a kiadók és AI cégek között, hogy jogszerű és programozott módon valósulhasson meg az adatcsere és -használat.
