Gerador de robots.txt
Crie visualmente um arquivo robots.txt para controlar quais páginas os rastreadores de mecanismos de busca podem acessar.
Regra 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Sobre esta ferramenta
O arquivo robots.txt informa aos rastreadores web compatíveis quais páginas ou seções do seu site eles podem ou não rastrear e indexar. Deve ser colocado na raiz do seu domínio.
Use predefinições para configurações comuns ou crie regras personalizadas para cada rastreador. Adicionar a URL do sitemap permite que os rastreadores o descubram automaticamente.
Como usar
- Escolha uma predefinição ou preencha os campos User-agent, Allow e Disallow manualmente.
- Adicione várias regras com o botão + Adicionar regra para bots diferentes.
- Insira a URL do sitemap e opcionalmente defina um Crawl-delay.
- Copie a saída ou baixe robots.txt e faça o upload para a raiz do seu site.
Casos de uso
Profissionais de SEO, desenvolvedores web e administradores de sites usam para otimizar o orçamento de rastreamento, proteger áreas sensíveis e bloquear scrapers.
Perguntas frequentes
- O robots.txt impede páginas de aparecer nas buscas? — Previne o rastreamento mas não a indexação. Use uma tag noindex ou o cabeçalho X-Robots-Tag para evitar a indexação.
- Todos os rastreadores respeitam robots.txt? — Rastreadores confiáveis como Googlebot e Bingbot respeitam. Scrapers maliciosos podem ignorar.
- Onde o robots.txt deve ser colocado? — Sempre na raiz do domínio. Exemplo: https://example.com/robots.txt