Cloudflare blokuje Googlebota? Nowe zasady dla crawlerów AI, które musisz znać

Cloudflare, jeden z najpopularniejszych na świecie CDN-ów, wprowadza istotne zmiany w zarządzaniu ruchem zautomatyzowanym. Aktualizacja ma na celu dać właścicielom stron większą kontrolę nad crawlerami AI. Problem w tym, że nowe domyślne ustawienia, które wejdą w życie 15 września, mogą przy okazji zablokować Googlebota w Twoim e-commerce, co bezpośrednio przełoży się na spadek widoczności i sprzedaży.

Trzy nowe kategorie crawlerów

Cloudflare odchodzi od prostego przełącznika “blokuj boty AI” na rzecz bardziej granularnego podejścia. Ruch zautomatyzowany jest teraz klasyfikowany na podstawie jego celu, a nie tylko pochodzenia. To kluczowa zmiana, która dzieli boty na trzy kategorie:

• Search: To klasyczne crawlery indeksujące, takie jak Googlebot czy Bingbot, których celem jest skanowanie strony, aby później wyświetlać ją w wynikach wyszukiwania. Cloudflare wiąże ten typ ruchu z generowaniem referral traffic.
• Agent: Boty działające w czasie rzeczywistym w imieniu użytkownika. Przykładem jest ChatGPT-User lub agenty przeglądarkowe, jak Gemini w Chrome. To zwiastun trendu agentic commerce, gdzie AI dokonuje transakcji w imieniu człowieka.
• Training: Crawlery, których jedynym celem jest pobieranie treści (opisów produktów, artykułów, zdjęć) w celu trenowania lub dostrajania modeli językowych i generatywnych.

Cloudflare oczekuje, że operatorzy botów (jak Google czy OpenAI) będą używać osobnych crawlerów dla każdej z tych aktywności, aby właściciele witryn mogli precyzyjnie decydować, na co zezwalają.

Co się zmienia 15 września i dlaczego to krytyczne?

Od 15 września wchodzą w życie dwie fundamentalne zmiany, które stanowią realne zagrożenie dla widoczności Twojego sklepu.

Po pierwsze, dla nowych klientów oraz dla obecnych użytkowników darmowego planu (którzy nie zmienią swoich ustawień) Cloudflare domyślnie zablokuje crawlery typu Training i Agent. Dostęp zachowają jedynie boty Search. Brzmi dobrze? Nie do końca.

Tu pojawia się druga, znacznie groźniejsza zmiana: Cloudflare zacznie traktować crawlery wielozadaniowe według najbardziej restrykcyjnej zasady. Co to oznacza w praktyce?

Jeśli crawler wykonuje jednocześnie zadania Search i Training (a tak działają dziś m.in. Googlebot, Applebot i Bingbot), zostanie on zablokowany, jeśli Twoja konfiguracja blokuje ruch typu Training.

Blokada na poziomie Cloudflare to nie jest sugestia z pliku robots.txt, którą Google może zignorować. To twarda ściana na poziomie sieci, której crawler nie ominie. Jeśli Googlebot nie będzie mógł przeskanować Twojego sklepu, z czasem przestanie on pojawiać się w wynikach wyszukiwania dla kluczowych fraz, a Twoje pozycje i ruch organiczny drastycznie spadną.

Dylemat e-commerce: chronić content czy widoczność?

Stajesz przed trudnym wyborem. Z jednej strony, chcesz chronić swoje unikalne opisy produktów, zdjęcia i know-how przed wykorzystaniem przez modele AI, które mogą zasilać narzędzia konkurencji. Z drugiej, nie możesz sobie pozwolić na utratę ruchu z Google, który stanowi podstawę sprzedaży w większości sklepów internetowych.

Według raportu Cloudflare, ruch związany z trenowaniem AI stanowi już większość zapytań od crawlerów w ich sieci. To pokazuje skalę problemu. Decyzja o blokadzie Training jest więc kusząca, ale jej skutki uboczne mogą być katastrofalne.

Ten ruch Cloudflare to symptom szerszego zjawiska — automatyzacji i “agentyzacji” internetu. Boty typu Agent pokazują kierunek, w którym zmierzamy: do świata, gdzie oprogramowanie będzie prowadzić interakcje i transakcje w naszym imieniu. Przygotowanie się na tę zmianę poprzez ustrukturyzowane dane i protokoły, takie jak UCP (Universal Commerce Protocol), staje się strategiczną koniecznością.

Co dalej?

Przede wszystkim, działaj. Nie czekaj na 15 września. Zaloguj się do swojego panelu Cloudflare i przejdź do ustawień Scrape Shield oraz Bot Fight Mode. Świadomie zdecyduj, które kategorie botów chcesz blokować. Jeśli masz włączoną starą opcję “Block AI bots”, jesteś w grupie największego ryzyka i musisz zaktualizować konfigurację.

Decyzja sprowadza się do oceny ryzyka. Czy bardziej obawiasz się wykorzystania Twoich treści przez AI, czy spadku widoczności w Google? Na razie, dla większości sklepów, odpowiedź jest oczywista — widoczność jest kluczowa. Warto więc świadomie zezwolić na ruch Training od kluczowych botów, przynajmniej do czasu, aż giganci technologiczni, jak Google, rozdzielą swoje crawlery zgodnie z nową taksonomią Cloudflare.