Czy warto blokować crawlery AI w robots.txt?
Część witryn blokuje boty takie jak GPTBot czy Google-Extended w pliku robots.txt, żeby ich treść nie trafiała do zbiorów treningowych modeli AI. W kontekście samego AI Overview warto znać jeden szczegół: Google-Extended nie decyduje o obecności w wyszukiwarce. AI Overview korzysta z treści pobranych przez zwykłego Googlebota, więc blokada Google-Extended nie usuwa strony z podsumowań — a zablokowanie samego Googlebota usunęłoby ją z Google w ogóle.
Blokowanie GPTBot, PerplexityBot czy ClaudeBot ma z kolei realny skutek poza Google: strona przestaje być źródłem dla tych asystentów. Dla firmy usługowej, której zależy na byciu polecaną, to zwykle działanie wbrew własnemu interesowi — domyślnie warto zostawić crawlery AI odblokowane, chyba że masz konkretny, świadomy powód, żeby to zmienić.