A
A
  • Angol
  • Magyar
  • 10 perc

Hogyan építs saját AI-alapú webkutatót percek alatt Pythonnal

Gyakorlati bemutatón keresztül ismerheted meg, hogyan készíthetsz saját AI-alapú webkutatót Python és modern web scraping szolgáltatások segítségével.

Az AI modellek jelenlegi működését legtöbbször statikusnak tekinthetjük: a kezdeti tanítás után nem tudnak új ismereteket szerezni, csak akkor válaszolnak pontosan, ha elegendő kontextushoz jutnak. Ezért egyre inkább előtérbe kerülnek az olyan módszerek, mint a különböző kontextusfájlok használata, amelyekkel kiegészíthetők az AI tudásai az adott feladathoz szükséges háttérinformációkkal.

A retrieval augmented generation (RAG) technika bemutatásával a videó azt vizsgálja, hogyan lehet az AI-nak külső, aktuális adatforrásokat biztosítani, amelyek lehetnek akár internetes oldalak vagy saját adatbázisok. Különféle példákon keresztül ennek lépéseit is ismerteti: először információkat kell begyűjteni (például weboldalak pénzügyi hírei alapján), majd a kivonatolt adatok adják a modell kontextusát a válasz generálásához.

Részletes útmutatót kínál Python scriptek írásával – például a Google Finance oldalak híreinek lekérdezése, szövegfeldolgozása és egy markdown fájlba mentése –, majd azok elemzéséhez különböző LLM modellek (például Gemma 4) használatáig. A bemutatott folyamat során szó esik a leggyakoribb technikai kihívásokról is: nem minden oldal könnyen hozzáférhető, gyakran találkozhatunk JavaScript-nehezítéssel vagy blokkolásokkal.

E problémákra szolgálnak harmadik féltől származó szolgáltatások, például a Dodo web scraping API-ja, amely képes kezelni az összetettebb weboldalakat, ellensúlyozni az anti-bot védelmeket és biztosítani a szükséges adatok hozzáférhetőségét. Így a videó egy komplett AI-alapú webkutató munkafolyamat kialakításának fő lépéseit és akadályait járja körbe, külön kitérve az egyszerű implementációs lehetőségekre és a web scraping szolgáltatások előnyeire.