TL
Tool Lab
💰Donar
💰Donar

Generador de robots.txt

Crea visualmente un archivo robots.txt para controlar qué páginas pueden acceder los rastreadores de motores de búsqueda.

Preajustes
Regla 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Acerca de esta herramienta

El archivo robots.txt indica a los rastreadores web conformes qué páginas o secciones de tu sitio pueden o no pueden rastrear e indexar. Debe colocarse en la raíz de tu dominio.

Usa preajustes para configuraciones comunes o crea reglas personalizadas para cada rastreador. Añadir la URL del sitemap permite que los rastreadores lo descubran automáticamente.

Cómo usar

  1. Elige un preajuste o rellena los campos User-agent, Allow y Disallow manualmente.
  2. Añade varias reglas con el botón + Agregar regla para diferentes bots.
  3. Introduce la URL del sitemap y opcionalmente establece un Crawl-delay.
  4. Copia la salida o descarga robots.txt y súbelo a la raíz de tu sitio.

Casos de uso

Profesionales SEO, desarrolladores web y administradores de sitios lo usan para optimizar el presupuesto de rastreo, proteger áreas sensibles y bloquear scrapers agresivos.

Preguntas frecuentes

  • ¿Robots.txt evita que las páginas aparezcan en búsquedas? — Previene el rastreo pero no la indexación. Usa una etiqueta noindex o el encabezado X-Robots-Tag para evitar la indexación.
  • ¿Todos los rastreadores respetan robots.txt? — Los rastreadores de confianza como Googlebot y Bingbot lo respetan. Los scrapers maliciosos pueden ignorarlo.
  • ¿Dónde debe colocarse robots.txt? — Siempre en la raíz del dominio. Ejemplo: https://example.com/robots.txt