Генератор и тестер robots.txt

Бесплатный генератор и тестер robots.txt: составьте правила для Googlebot, Bingbot и ИИ-краулеров и проверьте, заблокирован ли URL, по правилам Google.

Также: Генератор мета-тегов · Генератор Open Graph · UTM-метки: конструктор ссылок

Что он делает

robots.txt лежит в корне сайта и сообщает краулерам, какие пути им можно загружать. Правила сгруппированы по user agent; краулер следует самой конкретной группе, где он назван, либо группе *. Внутри группы побеждает правило с самым длинным подходящим путём, а при равенстве побеждает allow; * соответствует любой последовательности, а $ обозначает конец URL. Блокировка страницы в robots.txt не убирает её из результатов поиска: для этого используйте тег noindex.

Как пользоваться

  1. На вкладке «Создать» выберите, что разрешить или заблокировать, добавьте ИИ-краулеры и карту сайта.
  2. Скопируйте результат в файл robots.txt в корне вашего сайта.
  3. На вкладке «Проверить» вставьте любой robots.txt и проверьте URL для выбранного краулера.

Частые вопросы

Не даёт ли robots.txt проиндексировать страницу?
Нет. Он запрещает сканирование, но заблокированный URL всё равно может появиться в результатах, если на него ссылаются другие сайты. Чтобы страница не попала в индекс, разрешите сканирование и добавьте метатег noindex.

Какие краулеры можно заблокировать для обучения ИИ?
Самые известные: GPTBot (OpenAI), Google-Extended (модели ИИ Google, не влияет на Поиск), CCBot (Common Crawl), ClaudeBot (Anthropic), PerplexityBot и Applebot-Extended. Их владельцы заявляют, что соблюдают robots.txt.