TL
Tool Lab
💰Donate
💰Donate

robots.txt Generator

Maak visueel een robots.txt-bestand om de toegang van zoekmachinecrawlers tot uw site te beheren.

Voorinstellingen
Regel 1
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Over deze tool

Het robots.txt-bestand vertelt conforme webcrawlers welke pagina's of secties van uw site wel of niet gecrawld en geïndexeerd mogen worden. Het moet in de root van uw domein staan.

Gebruik voorinstellingen voor veelgebruikte configuraties of maak aangepaste regels voor elke crawler. Een sitemap-URL toevoegen stelt crawlers in staat deze automatisch te vinden.

Hoe te gebruiken

  1. Kies een voorinstelling of vul de velden User-agent, Allow en Disallow handmatig in.
  2. Voeg meerdere regels toe voor verschillende bots met de knop + Regel toevoegen.
  3. Voer uw sitemap-URL in en stel optioneel een Crawl-delay in.
  4. Kopieer de uitvoer of download robots.txt en upload het naar de root van uw site.

Gebruiksscenario's

SEO-professionals, webontwikkelaars en sitebeheerders gebruiken het om crawlbudget te optimaliseren, gevoelige gebieden te beschermen en agressieve scrapers te blokkeren.

Veelgestelde vragen

  • Voorkomt robots.txt dat pagina's in zoekopdrachten verschijnen? — Het voorkomt crawling maar niet indexering. Gebruik een noindex-metatag of de X-Robots-Tag-header om indexering te voorkomen.
  • Respecteren alle crawlers robots.txt? — Gerenommeerde crawlers zoals Googlebot en Bingbot respecteren het. Kwaadaardige scrapers kunnen het negeren.
  • Waar moet robots.txt staan? — Altijd in de root van uw domein. Voorbeeld: https://example.com/robots.txt