Nowy scraper Google ignoruje robots.txt. Jak chronić dane swojego e-commerce?

Google zaktualizowało swoje narzędzia — i listę swoich crawlerów. NotebookLM, eksperymentalny asystent AI, przechodzi rebranding na Gemini Notebook. Zmiana nazwy pociąga za sobą modyfikację jego crawlera, a to ma bezpośrednie implikacje dla Twojego e-commerce. Fetcher używany przez Gemini Notebook należy do kategorii „user-triggered”, co oznacza, że ignoruje dyrektywy z pliku robots.txt, otwierając drogę do niekontrolowanego wykorzystania Twoich treści i danych produktowych.

Czym jest Gemini Notebook i dlaczego to problem?

Gemini Notebook to osobisty asystent AI do researchu. Użytkownik może „karmić” go różnymi źródłami — dokumentami, linkami do stron czy nawet wideo z YouTube — aby uzyskać podsumowania i odpowiedzi na swoje pytania. Jedna z jego funkcji, „Discover Sources”, automatycznie wyszukuje i pobiera treści z sieci na zadany temat. I tu zaczyna się problem.

Fetcher Gemini Notebook nie tylko pobiera tekst. Może go przetwarzać, tworzyć na jego podstawie podsumowania, a nawet generować z niego podcast audio lub wideo. Wszystko to dzieje się bez Twojej zgody, bez atrybucji i bez generowania jakiegokolwiek ruchu do Twojego serwisu. W praktyce oznacza to, że Twoje unikalne opisy produktów, artykuły na blogu czy poradniki mogą zostać wykorzystane do zasilania odpowiedzi AI lub stworzenia konkurencyjnych materiałów, nie dając Ci nic w zamian.

Nowy User-Agent, stare zasady: robots.txt nie działa

Scrapery inicjowane przez użytkownika (user-triggered fetchers) z definicji nie respektują pliku robots.txt. Google traktuje je jako działanie w imieniu konkretnej osoby, a nie jako masowe indeksowanie, dlatego standardowe dyrektywy Disallow są pomijane. Jeśli chcesz zablokować tego bota, musisz sięgnąć po inne narzędzia.

Wraz z rebrandingiem zmienia się identyfikator bota. Dotychczasowy User-Agent Google-NotebookLM zostanie zastąpiony przez Google-GeminiNotebook. Stary identyfikator ma być wspierany do sierpnia 2026 roku, ale nie warto czekać. Już teraz powinieneś zaktualizować swoje reguły, aby przygotować się na nowy ruch.

Nowe User-Agent’y wyglądają następująco:

Agent mobilny: Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Mobile Safari/537.36 (compatible; Google-GeminiNotebook; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-gemininotebook)

Agent desktopowy: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 (compatible; Google-GeminiNotebook; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-gemininotebook)

Jak skutecznie zablokować Google-GeminiNotebook?

Jedyną skuteczną metodą blokady jest działanie na poziomie serwera lub zapory sieciowej (WAF). Musisz skonfigurować regułę, która będzie identyfikować bota po jego User-Agent i odrzucać jego zapytania. Jeśli korzystasz z serwera Apache, możesz dodać do pliku .htaccess następujący fragment kodu:

# Blokuj bota Google Gemini Notebook
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Google-GeminiNotebook [NC]
RewriteRule .* - [F,L]

Powyższa reguła sprawdza User-Agent każdego przychodzącego zapytania. Jeśli zawiera on ciąg Google-GeminiNotebook (flaga [NC] ignoruje wielkość liter), serwer odpowie kodem 403 Forbidden, skutecznie blokując dostęp. Analogiczne reguły można zaimplementować na serwerach Nginx, w ustawieniach Cloudflare czy w konfiguracji dowolnego Web Application Firewall.

Co dalej?

Era agentic commerce staje się faktem. Coraz więcej ruchu w sieci będzie generowane nie przez ludzi w przeglądarkach, ale przez zautomatyzowane agenty AI wykonujące zadania w ich imieniu. Ślepe blokowanie każdego bota AI jest strategią krótkoterminową. Prawdziwym wyzwaniem jest odróżnienie szkodliwego scrapingu od wartościowego ruchu, który może prowadzić do sprzedaży.

Zamiast budować mur, warto postawić precyzyjną bramę. Standard taki jak UCP (Universal Commerce Protocol) pozwala Twojemu sklepowi komunikować się z agentami AI w sposób kontrolowany. Zamiast pozwalać im na chaotyczny scraping front-endu, dajesz im dostęp do ustrukturyzowanego API, przez które mogą pobierać dane o produktach, sprawdzać ich dostępność, a nawet dodawać je do koszyka. W ten sposób potencjalne zagrożenie zamieniasz w nowy, zautomatyzowany kanał sprzedaży. Zanim zaczniesz blokować, zastanów się, jak przygotować swój e-commerce na rozmowę z AI.