TL
Tool Lab
💰Donate
💰Donate

robots.txt Generator

Skapa visuellt en robots.txt-fil för att styra sökmaskinernas crawlers' åtkomst till din webbplats.

Förinställningar
Regel 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Om det här verktyget

Filen robots.txt talar om för kompatibla webbcrawlers vilka sidor eller avsnitt på din webbplats de får eller inte får crawla och indexera. Den måste placeras i roten av din domän.

Använd förinställningar för vanliga konfigurationer eller skapa anpassade regler för varje crawler. Att lägga till en sitemap-URL låter crawlers hitta din XML-sitemap automatiskt.

Hur man använder

  1. Välj en förinställning eller fyll i fälten User-agent, Allow och Disallow manuellt.
  2. Lägg till flera regler för olika bots med knappen + Lägg till regel.
  3. Ange din sitemap-URL och ange valfritt en Crawl-delay.
  4. Kopiera resultatet eller ladda ner robots.txt och ladda upp det till din webbplats rot.

Användningsfall

SEO-proffs, webbutvecklare och webbplatsadministratörer använder det för att optimera crawl-budget, skydda känsliga områden och blockera aggressiva scrapers.

Vanliga frågor

  • Hindrar robots.txt sidor från att visas i sökresultat? — Det förhindrar crawling men inte indexering. Använd en noindex-metatag eller X-Robots-Tag-header för att förhindra indexering.
  • Respekterar alla crawlers robots.txt? — Seriösa crawlers som Googlebot och Bingbot gör det. Skadliga scrapers kan ignorera det.
  • Var ska robots.txt placeras? — Alltid i roten av din domän. Exempel: https://example.com/robots.txt