Az utóbbi időszak jelentős változásokat hozott a weboldalak indexelésében, különösen azok számára, akik Cloudflare szolgáltatást használnak. Egyes beállítások miatt ugyanis a Googlebot gyakran 403-as hibakódba ütközik, ami ahhoz vezethet, hogy a Google nem indexeli az érintett oldalakat.
A magyarázat szerint sok weboldal-tulajdonos aktiválta azt a Cloudflare funkciót, amely az AI modellek adatgyűjtését hivatott blokkolni. Ez a funkció azonban nemcsak az OpenAI-hoz hasonló botokat, hanem a keresőmotorok – például a Googlebot és a Bingbot – számára is akadályt jelent. Szeptember 15-től kezdve minden új domainnél ez lesz az alapértelmezett, így a probléma tovább terjedhet.
Az előadás rávilágít arra, miért okozhat az ilyen beállítás súlyos rangsorolás-csökkenést, és hogyan történhet meg, hogy a SEO ügynökségek és fejlesztők sem veszik észre a problémát azonnal. Felhívja a figyelmet, hogy a Cloudflare WAF (Web Application Firewall) beállításaiban apró változás is elegendő ahhoz, hogy a weboldal organikus forgalma drasztikusan visszaessen.
Válaszok helyett új kérdéseket vet fel: hogyan lehet biztonságosan védekezni az AI botok ellen anélkül, hogy a keresőrobotokat is kitiltanánk? Milyen információkat kell ellenőrizni a Search Console-ban, ha hirtelen forgalomcsökkenést tapasztalunk? Mennyire ismerik fel a cégek, hogy az alapértelmezett CDN beállítások közvetlenül hatnak a keresőoptimalizálás eredményeire?
