Ebben az anyagban egy új, többnyelvű „reranker” modellt mutatnak be, amely képes bonyolult utasításokat követni, és mélyebb szemantikai elemzéssel értékeli a találatokat a lekérdezés alapján.
A bemutató során a telepítés lépéseit részletesen követhetjük Ubuntu rendszeren, ahol a fő hangsúly a helyi futtatáson és a költséghatékony működtetésen van. Bemutatják, hogyan lehet különböző méretű modelleket választani attól függően, hogy milyen VRAM áll rendelkezésre a gépen: például egy Nvidia RTX A6000 GPU-n végeznek próbákat.
Érdekes témaként felmerül, hogy egy MCP (Model Context Protocol) szerver adatainak újrasorolására használják a modellt valós esetben, így betekintést nyújtanak abba is, hogyan hasznosítható egy ilyen mesterséges intelligencia az automatizált eszközkiválasztásban.
Többek között szó esik nyílt forráskódú megoldásokról, a HuggingFace platformon keresztüli modellletöltésről, és olyan gyakorlati példákról, amelyek során egy pénzügyi lekérdezés alapján rangsorolják a szervereket. Ezzel együtt bemutatják, hogyan lehet a modellt kis VRAM-mal rendelkező gépeken is futtatni, vagy felhőalapú GPU-t bérelni kedvezményes áron.
Kiemelnek néhány izgalmas kérdést: Miben nyújt többet a szemantikaalapú keresés egy egyszerű kulcsszó-egyezésnél? Hogyan lehet automatizált, mégis testreszabott fejlesztéseket építeni AI-alapokon? Milyen kompromisszumokat rejt a különböző paraméterméretű modellek használata?
