Générateur robots.txt
Créez visuellement un fichier robots.txt pour contrôler l'accès des robots des moteurs de recherche à votre site.
Règle 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
À propos de cet outil
Le fichier robots.txt indique aux robots d'exploration conformes quelles pages ou sections de votre site ils peuvent ou ne peuvent pas explorer et indexer. Il doit être placé à la racine de votre domaine.
Utilisez les préréglages pour les configurations courantes ou créez des règles personnalisées pour chaque robot. L'ajout d'une URL de sitemap permet aux robots de le découvrir automatiquement.
Comment utiliser
- Choisissez un préréglage ou remplissez manuellement les champs User-agent, Allow et Disallow.
- Ajoutez plusieurs règles avec le bouton + Ajouter une règle pour différents bots.
- Saisissez l'URL de votre sitemap et définissez éventuellement un Crawl-delay.
- Copiez la sortie ou téléchargez robots.txt et uploadez-le à la racine de votre site.
Cas d'utilisation
Les professionnels SEO, développeurs web et administrateurs l'utilisent pour optimiser le budget d'exploration, protéger les zones sensibles et bloquer les scrapers agressifs.
Questions fréquentes
- robots.txt empêche-t-il les pages d'apparaître dans les recherches ? — Il empêche l'exploration mais pas l'indexation. Utilisez une balise noindex ou l'en-tête X-Robots-Tag pour empêcher l'indexation.
- Tous les robots respectent-ils robots.txt ? — Les robots réputés comme Googlebot et Bingbot le respectent. Les scrapers malveillants peuvent l'ignorer.
- Où placer robots.txt ? — Toujours à la racine de votre domaine. Exemple : https://example.com/robots.txt