Могут ли ИИ-роботы вас читать? Проверьте GPTBot, ClaudeBot и PerplexityBot

Это руководство — практическая часть статьи «GEO: как вас рекомендуют ChatGPT, Perplexity и Google AI», которая объясняет, почему доступ роботов важен. Здесь — только как проверить и как исправить, шаг за шагом.

Где искать файл

Файл всегда находится в корне сайта, никогда в подпапке: ваш-сайт.md/robots.txt. Откройте его прямо в браузере — это простой текст, никакой аккаунт или инструмент не нужен.

Три возможных результата:

Если у вас несколько поддоменов — blog.ваш-сайт.md, магазин.ваш-сайт.md — у каждого свой robots.txt, отдельный. Блог на поддомене не наследует правила с основного домена.

Как это читается, коротко

Файл организован блоками. Каждый блок начинается со User-agent: — именем робота, к которому относится, — за которым следуют строки Disallow: (запрещено) или Allow: (разрешено).

User-agent: GPTBot
Disallow: /

Блок выше запрещает ровно одного робота — GPTBot. Он не влияет ни на одного другого робота, включая тех, кто явно не назван.

User-agent: *
Disallow: /

Звёздочка * означает «все роботы, у которых нет отдельного блока, выше или ниже, с их точным именем». Если вы это видите, и ни у одного ИИ-робота нет своего блока, вы заблокированы для всех — включая Google.

Общее правило: блок с точным именем имеет приоритет над общим правилом *, независимо от порядка в файле. Если в файле есть Disallow: / для *, но также Allow: / для OAI-SearchBot, у этого конкретного робота всё равно есть доступ.

Роботы, которые важны, с точными именами

Вот актуальный список, проверенный напрямую по документации каждой компании — не предполагайте, проверяйте, потому что имена меняются.

OpenAI

Anthropic (Claude)

Perplexity

В отличие от OpenAI и Anthropic, Perplexity не документирует отдельного робота для обучения — PerplexityBot и есть поисковый.

Google

Шаблон robots.txt, готовый к копированию

Если вы хотите доступ для поисковых и цитирующих роботов, но не хотите, чтобы ваш текст использовался для обучения моделей, это разумная отправная точка:

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Несколько уточнений, чтобы не копировать вслепую:

• Явный Allow: / необязателен, но яснее. Без правил у робота и так свободный доступ. Явная запись показывает намерение — полезно для вас самих через год, когда вы уже не помните, почему файл выглядит именно так.
• Блокировка обучения (GPTBot, ClaudeBot) не убирает вас из цитируемых ответов. Поисковые роботы — OAI-SearchBot, Claude-SearchBot, PerplexityBot — отдельные и остаются активными в шаблоне выше.
• Единственно «правильного» варианта не существует. Если вы предпочитаете, чтобы ваш текст вообще не использовался для обучения, но и не цитировался, замените строки Allow на Disallow. Это ваш выбор, а не технический.

Как проверить, что правила действительно работают

Написание файла — первый шаг. Проверка, что роботы его соблюдают, — второй, и его часто пропускают.

1. Перечитайте живой файл, а не тот, что в редакторе. Откройте ваш-сайт.md/robots.txt снова после публикации изменения. Кэш хостинга или CDN может отдавать старую версию минуты или часы.
2. Проверьте отчёт robots.txt в Search Console. Старый инструмент «robots.txt Tester» Google убрал; вместо него отчёт robots.txt в Search Console показывает последнюю версию, которую прочитал Google, и есть ли ошибки синтаксиса.
3. Для конкретной страницы используйте проверку URL. Search Console прямо сообщает, заблокирована ли страница robots.txt для Googlebot.
4. Для ИИ-роботов эквивалентного официального инструмента нет. Самый надёжный способ — ручное чтение файла, с точными именами из таблиц выше.

Частые проблемы

Панель безопасности блокирует роботов, ничего не записывая в robots.txt. Некоторые расширения безопасности или файрволы (WAF) останавливают роботов на уровне сети, по имени агента, и это никогда не появляется в robots.txt. Файл может выглядеть полностью открытым, а робот всё равно не доберётся до страницы. Если подозреваете это, проверьте журналы доступа хостинга, а не только текстовый файл.

Cloudflare может добавлять правила автоматически. Функция managed robots.txt пишет директивы без уведомления — подробности в статье о GEO.

Старый плагин может перезаписывать файл при каждом сохранении. Некоторые SEO-модули WordPress регенерируют robots.txt из собственных настроек, игнорируя всё, что вы написали вручную. Если ваши изменения постоянно исчезают, проверьте сначала там.

Важный нюанс: robots.txt — это просьба, а не замок

Стоит сказать прямо, потому что это меняет то, как вы смотрите на весь файл.

robots.txt работает через добровольное сотрудничество. Крупные компании — OpenAI, Anthropic, Perplexity, Google — публично документируют своих роботов и подтверждают, что соблюдают правила. Но сам стандарт технически ничего не останавливает: самописный скрипт, не идентифицирующий себя ни одним из имён выше, может прочитать страницу в любом случае.

Практическое следствие: robots.txt — правильный инструмент для выражения предпочтения по отношению к крупным, документированным роботам, которые действительно его соблюдают. Это не система безопасности, и она не защищает чувствительную информацию — для этого нужна аутентификация, а не публичный текстовый файл.

Первое, что можно сделать сегодня

Откройте ваш-сайт.md/robots.txt. Сравните увиденное с таблицами выше. Если найдёте имя из списка, за которым следует Disallow: /, и не помните, чтобы решали это, вы нашли причину, по которой вас нет в ответе ИИ.

Источники

• OpenAI, официальная документация роботов — GPTBot, OAI-SearchBot, OAI-AdsBot, ChatGPT-User.
• Anthropic (Claude), документация о краулерах — ClaudeBot, Claude-SearchBot, Claude-User.
• Perplexity, документация о роботах — PerplexityBot, Perplexity-User.
• Google, обзор краулеров — Google-Extended и подтверждение, что он не влияет на ранжирование в Search.
• Google, отчёт robots.txt в Search Console — как проверить последнюю версию, прочитанную Google.
• Google, руководство по созданию robots.txt — полный синтаксис и особые случаи.