TL
Tool Lab
💰Spenden
💰Spenden

robots.txt Generator

Erstellen Sie visuell eine robots.txt-Datei, um den Zugriff von Suchmaschinen-Crawlern auf Ihre Website zu steuern.

Voreinstellungen
Regel 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Über dieses Tool

Die robots.txt-Datei teilt konformen Web-Crawlern mit, welche Seiten oder Bereiche Ihrer Website gecrawlt und indexiert werden dürfen. Sie muss im Stammverzeichnis Ihrer Domain platziert werden.

Nutzen Sie Voreinstellungen für häufige Konfigurationen oder erstellen Sie benutzerdefinierte Regeln für jeden Crawler. Das Hinzufügen einer Sitemap-URL ermöglicht Crawlern, diese automatisch zu finden.

Anleitung

  1. Wählen Sie eine Voreinstellung oder füllen Sie die Felder User-agent, Allow und Disallow manuell aus.
  2. Fügen Sie mit der Schaltfläche + Regel hinzufügen mehrere Regeln für verschiedene Bots hinzu.
  3. Geben Sie Ihre Sitemap-URL ein und legen Sie optional einen Crawl-delay fest.
  4. Kopieren Sie die Ausgabe oder laden Sie robots.txt herunter und laden Sie sie in Ihr Website-Stammverzeichnis hoch.

Anwendungsfälle

SEO-Experten, Webentwickler und Website-Admins nutzen dies, um das Crawl-Budget zu optimieren, sensible Bereiche zu schützen und aggressive Scraper zu blockieren.

Häufige Fragen

  • Verhindert robots.txt, dass Seiten in Suchergebnissen erscheinen? — Es verhindert das Crawling, aber nicht die Indexierung. Verwenden Sie ein noindex-Meta-Tag oder den X-Robots-Tag-Header, um die Indexierung zu verhindern.
  • Respektieren alle Crawler robots.txt? — Seriöse Crawler wie Googlebot und Bingbot halten sich daran. Bösartige Scraper können es ignorieren.
  • Wo sollte robots.txt platziert werden? — Immer im Stammverzeichnis Ihrer Domain. Beispiel: https://example.com/robots.txt