Boty AI: wyszukujący vs treningowy, częsty błąd

Największy techniczny błąd w konfiguracji pod widoczność w AI to jedno zdanie w robots.txt, które miało zablokować tylko trening modelu, a przy okazji wykluczyło stronę z wyników wyszukiwania AI. GPTBot to nie OAI-SearchBot, ClaudeBot to nie Claude-SearchBot, a Google-Extended to nie Googlebot. Każdy operator prowadzi osobne boty do obu ról, i mylenie ich kosztuje widoczność bez żadnej korzyści w zamian.

Dlaczego każdy operator ma dwa różne boty, nie jednego?

Bo indeksowanie pod wyszukiwanie i zbieranie danych do treningu to dwa osobne produkty, z osobnym interesem wydawcy i osobnym ryzykiem po jego stronie. Wydawca może chcieć być cytowany w odpowiedziach modelu, a jednocześnie nie chcieć, żeby te same artykuły trafiły do zbioru danych trenującego kolejną wersję tego modelu. Jeden bot pod obie role nie pozwoliłby tego rozdzielić w pliku robots.txt.

To rozdzielenie nie powstało od razu. OpenAI wprowadził GPTBota w sierpniu 2023 roku, wyłącznie do zbierania danych treningowych. OAI-SearchBot pojawił się dopiero przy uruchamianiu ChatGPT Search, jesienią 2024 roku, ponad rok później. Część reguł robots.txt napisanych w tym przedziale czasu blokowała każdego bota z ciągiem „GPT" czy „OAI" w nazwie jedną, wspólną regułą, bez świadomości, że za kilkanaście miesięcy powstanie drugi bot tego samego operatora, z inną rolą, przypadkiem objęty tą samą blokadą.

Cloudflare, które obsługuje ruch dla dużej części witryn w sieci, podaje dodatkowy, praktyczny powód tej separacji: stosunek liczby wizyt crawlera do ruchu, jaki ten crawler oddaje z powrotem stronie (crawl-to-referral ratio). Dla Googlebota ten stosunek wynosi około 14 do 1. Dla crawlera OpenAI, według danych Cloudflare, sięga 1700 do 1, a dla crawlera Anthropic aż 73 000 do 1. Bot treningowy bierze treść i nie oddaje ruchu w żadnej rozpoznawalnej formie. Bot wyszukujący, przynajmniej w teorii operatora, prowadzi do cytowania i do części ruchu z odpowiedzi modelu.

Które boty odpowiadają za wyszukiwanie, a które za trening modelu?

Cztery duże operatory prowadzą wyraźnie rozdzielone role: jeden bot pod indeksowanie i cytowania, drugi pod trening przyszłych modeli, trzeci (tam gdzie istnieje) pod pobranie konkretnej strony na żądanie użytkownika w danej rozmowie. Poniższa tabela zbiera wszystkie oficjalnie zgłoszone boty czterech operatorów w jednym miejscu.

Perplexity wypada w tym zestawieniu inaczej niż pozostała trójka. Dokumentacja Perplexity nie opisuje osobnego bota treningowego, a przy PerplexityBocie wprost zaznacza, że nie jest on używany do zbierania danych pod trening modeli. Dla właściciela strony oznacza to prostszą decyzję niż w przypadku OpenAI, Anthropic czy Google: nie ma tu trzeciego, oddzielnego przełącznika do ustawienia, jest tylko wybór, czy w ogóle wpuścić PerplexityBota.

Czym różni się Google-Extended od Googlebota, skoro oba są od Google?

Googlebot indeksuje strony pod zwykłe wyszukiwanie, obrazy i wiadomości, a ten sam indeks zasila Google AI Overviews oraz AI Mode. Google-Extended nie indeksuje niczego osobno. To dodatkowy przełącznik nałożony na treść, którą Google już pobrał: decyduje, czy ta treść może zostać użyta do treningu kolejnych wersji Gemini oraz do groundingu, czyli podawania modelowi fragmentów wyszukiwarki jako kontekstu w aplikacji Gemini i w Vertex AI.

Zablokowanie Google-Extended nie usuwa strony z Google Search ani z AI Overviews. Dokumentacja Google mówi to wprost: Google-Extended nie jest sposobem zarządzania obecnością w wyszukiwarce, do tego służą inne mechanizmy, standardowy robots.txt dla Googlebota albo meta robots. Odwrotna pomyłka, zablokowanie Googlebota zamiast Google-Extended, kosztuje najwięcej ze wszystkich błędów opisanych w tym artykule, bo usuwa stronę z Google Search w całości, nie tylko z jednej funkcji AI.

Warto dodać jedno zastrzeżenie, żeby nie zostawić fałszywego wrażenia pełnej symetrii z OpenAI czy Anthropic. Google-Extended nie jest osobnym user-agentem technicznym w sensie protokołu HTTP, tylko tokenem sterującym w robots.txt, rozpoznawanym przez systemy Google przy okazji zwykłego crawlowania Googlebotem. Dla właściciela strony w praktyce nie ma to znaczenia, bo konfiguracja w pliku wygląda tak samo jak przy każdym innym bocie, ale to jedna z różnic, którą łatwo pomylić przy czytaniu dokumentacji zbyt szybko.

Na czym polega najczęstszy błąd konfiguracyjny w robots.txt?

Najczęstszy błąd to jedna, szeroka reguła Disallow, napisana z myślą o zablokowaniu treningu, która obejmuje też bota odpowiedzialnego za wyszukiwanie, bo oba mają podobnie brzmiącą nazwę albo trafiają razem na tę samą, skopiowaną z internetu listę „zablokuj boty AI". Blokowanie wszystkich botów z „AI" w nazwie naraz wyłącza widoczność w wyszukiwaniu bez żadnej korzyści w zamian, bo bot treningowy i bot wyszukujący pełnią różne role niezależnie od tego, jak podobnie się nazywają.

Mechanizm tego błędu bywa prosty do prześledzenia. Ktoś kopiuje gotowy blok reguł z poradnika sprzed roku, w którym pod jednym nagłówkiem „User-agent" wymieniono kilka botów naraz, w tym zarówno GPTBota, jak i OAI-SearchBota, obu z regułą Disallow: /. Intencją było zablokowanie treningu. Efektem jest wykluczenie z ChatGPT Search. Ten sam wzorzec powtarza się przy regule dopasowującej fragment nazwy user-agenta (np. każdy ciąg zawierający „Claude" albo „GPT") na poziomie firewalla albo CDN, zamiast osobnych, precyzyjnych wpisów na każdego bota z tabeli wyżej.

Originality.ai, firma monitorująca wykorzystanie treści przez systemy AI, sprawdzała regularnie próbkę czołowych witryn pod kątem blokady GPTBota. Dwa tygodnie po starcie tego bota, w sierpniu 2023 roku, blokadę miało 9,2% ze światowego top 1000 i 15% z top 100 witryn. Rok później, w sierpniu 2024, odsetek wśród top 1000 przekroczył jedną czwartą. To dane dostawcy narzędzia, szeroko relacjonowane w prasie branżowej, ale mierzące samą decyzję o zablokowaniu bota treningowego, nie to, czy przy okazji zablokowano też bota wyszukującego. txt`.

Czy poprawny plik robots.txt gwarantuje, że bot faktycznie dotrze do strony?

Nie. robots.txt to deklaracja intencji, nie mechanizm wymuszenia. Firewall aplikacji webowej, CDN albo sam hosting mogą blokować albo spowalniać bota na poziomie infrastruktury, niezależnie od tego, co napisano w pliku, a strona może tego nie widzieć bez sprawdzenia logów serwera.

Dobrze udokumentowany przykład tego zjawiska opisał Search Engine Land na próbce logów Cloudflare z jednego z hostingów zarządzanych WordPress. W badanym tygodniu GPTBot i ClaudeBot, oba boty treningowe, były ograniczane odpowiedzią HTTP 429 w około 29% żądań, mimo że plik robots.txt tych botów formalnie nie blokował. Boty działające na żądanie użytkownika, ChatGPT-User i PerplexityBot, nie były ograniczane wcale w tej samej próbce. Skutkiem w opisanym przypadku był brak jakichkolwiek cytowań w Claude, mimo obecności tej samej strony w Google AI Mode.

Praktyczny wniosek jest prosty i nie wymaga gotowej instrukcji konfiguracyjnej, żeby go zapamiętać: audyt techniczny musi sprawdzać rzeczywiste kody odpowiedzi serwera dla nazw botów z tabeli powyżej, nie tylko treść pliku robots.txt. Zgodność deklaracji z rzeczywistym zachowaniem infrastruktury to osobny krok, i bez niego sam plik robots.txt, nawet napisany bezbłędnie, niczego nie gwarantuje.

Czy w ogóle warto blokować bota treningowego?

To decyzja biznesowa, nie techniczny obowiązek. Zablokowanie bota treningowego (GPTBota, ClaudeBota, Google-Extended) nie szkodzi obecności w wyszukiwaniu, o ile bot wyszukujący tego samego operatora pozostaje dopuszczony, ale też nie jest wymogiem, żeby ta obecność działała.

Część marek świadomie zostawia oba boty otwarte, licząc, że obecność w danych treningowych zwiększa szansę, że model „zna" markę z pamięci, niezależnie od wyszukiwania w danej chwili (tzw. brand recall bez web). Inne marki blokują wyłącznie trening, chcąc być cytowane, ale nie chcąc oddawać treści do zbioru danych kolejnej wersji modelu bezpłatnie. Obie decyzje są uzasadnione i nie ma tu jednej uniwersalnie słusznej odpowiedzi, bo zależy to od modelu biznesowego strony (np. wydawca sprzedający treść premium ocenia to inaczej niż firma usługowa, dla której liczy się głównie cytowanie). Jedyny błąd w tym miejscu to podjęcie tej decyzji przypadkiem, blokując niewłaściwego bota zamiast tego, którego naprawdę miało się na myśli.

FAQ