A mesterséges intelligencia alkalmazások rohamos fejlődése mellett sokszor háttérbe szorul a biztonság szerepe. A videó középpontjában álló DeepTeam nevű, nyílt forráskódú keretrendszer éppen ezt a kritikus területet hivatott erősíteni, különösen a nagy nyelvi modellekkel (LLM) kapcsolatban.
Megismerhetjük, miként próbálja a DeepTeam feltárni a nyelvi alapú rendszerek biztonsági gyengeségeit, például a prompt injection, bias, érzékeny információk kiszivárogtatása vagy félretájékoztatás elleni teszteléssel. Kiderül, hogy a szoftver képes automatikus támadó promptokat generálni, ezzel szimulálva a rosszindulatú felhasználók próbálkozásait.
Az előadó részletesen bemutatja a telepítési lépéseket Ubuntu rendszeren, saját NVIDIA RTX 6000 GPU-val felszerelt gépén, illetve az Olama eszközt is ismerteti, amellyel egyszerűen futtathatók LLM modellek helyben.
Felvetődik a költséghatékonyság kérdése, valamint szó esik arról is, hogy jelenleg mennyire nehézkes teljesen helyi modellekkel használni az eszközt. További témák között szerepel a valós idejű tesztelés, különböző támadási módszerek kipróbálása, valamint a tesztelés közben szerzett gyakorlati tapasztalatok és az eszköz potenciális fejlesztési irányai.
