Генератор robots.txt
Визуально создавайте файл robots.txt для управления доступом поисковых роботов к вашему сайту.
Правило 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Об этом инструменте
Файл robots.txt сообщает совместимым веб-краулерам, какие страницы или разделы сайта им разрешено или запрещено сканировать и индексировать. Он должен быть размещён в корне вашего домена.
Используйте шаблоны для стандартных конфигураций или создавайте правила для каждого краулера. Добавление URL карты сайта позволяет краулерам находить её автоматически.
Как использовать
- Выберите шаблон или заполните поля User-agent, Allow и Disallow вручную.
- Добавляйте несколько правил для разных ботов кнопкой + Добавить правило.
- Введите URL карты сайта и при необходимости установите Crawl-delay.
- Скопируйте результат или скачайте robots.txt и загрузите в корень сайта.
Случаи использования
SEO-специалисты, веб-разработчики и администраторы используют для оптимизации бюджета сканирования, защиты конфиденциальных областей и блокировки агрессивных скраперов.
Частые вопросы
- Предотвращает ли robots.txt появление страниц в поиске? — Он предотвращает сканирование, но не индексирование. Используйте мета-тег noindex или заголовок X-Robots-Tag для блокировки индексирования.
- Все ли краулеры соблюдают robots.txt? — Авторитетные краулеры, такие как Googlebot и Bingbot, соблюдают. Вредоносные скраперы могут игнорировать.
- Где должен находиться robots.txt? — Всегда в корне домена. Пример: https://example.com/robots.txt